Como calcular gradientes nas camadas internas

TL;DR
Os gradientes dos pesos entre a entrada e a camada intermediária são calculados aplicando a regra da cadeia à função de custo, até alcançar o peso desejado. Cada expressão combina o erro da saída, as derivadas das sigmoides, o peso que conecta o neurônio intermediário à saída e a entrada correspondente. Os caminhos da rede permitem adaptar o cálculo de w1 para w2, w3 e w4.
Transcript
e aí [Música] e aí e aí [Música] o olá bom dia boa tarde boa noite para você onde você estiver agora assistindo mais um vídeo do canal são deco hoje nós vamos falar sobre pé propagation parte 2 ah e não esqueça de ver essa série em série e ela é muito importante ver na sequência por isso uma deck propagation um parte 2 você deve ver a back-propagat... Read More
Key Insights
- A rede do exemplo possui dois neurônios de entrada, dois intermediários e um neurônio na saída.
- A regra da cadeia decompõe a função de custo até alcançar os pesos da camada intermediária.
- O gradiente de w1 inclui w5 porque o caminho entre esse peso e a saída passa por essa conexão.
- A derivada de cada sigmoide é substituída pela ativação multiplicada por um menos a ativação.
- O gradiente de w2 mantém o caminho de w1, mas utiliza a entrada x2 no lugar da entrada x1.
- O gradiente de w3 passa por w6 e pela ativação do outro neurônio intermediário, mantendo x1.
- O gradiente de w4 usa o caminho do segundo neurônio intermediário e termina multiplicado por x2.
- A regra delta é anunciada como uma forma de simplificar os cálculos dos pesos no próximo vídeo.
Install to Summarize YouTube Videos and Get Transcripts
Explore YouTube Video Summarizer or Get YouTube Transcript Extractor
Questions & Answers
Q: Como calcular o gradiente de w1 usando a regra da cadeia?
O cálculo começa pela função de custo, descrita como metade do quadrado da diferença entre a ativação de saída a21 e o valor y. Primeiro, substitui-se a21 pela sigmoide da combinação das ativações intermediárias com w5, w6 e o bias da saída. Depois, expande-se a ativação intermediária que contém w1. A regra da cadeia permite derivar sucessivamente essas funções até chegar ao termo w1 vezes x1. O resultado reúne a diferença a21 menos y, a derivada da sigmoide de saída, w5, a derivada da sigmoide intermediária e x1.
Q: Por que o peso w5 aparece no gradiente de w1?
O peso w5 aparece porque conecta à saída o neurônio intermediário cuja ativação depende de w1. Ao expandir a função de custo e aplicar a regra da cadeia, a derivação atravessa essa conexão antes de alcançar w1. Na combinação que alimenta a sigmoide de saída, o termo associado a esse neurônio contém w5 multiplicando sua ativação. Por isso, w5 permanece como fator no gradiente. A representação visual da rede reforça essa relação: o caminho usado para levar o erro da saída até w1 passa pela conexão de peso w5.
Q: Como obter o gradiente de w2 a partir do gradiente de w1?
O gradiente de w2 pode ser obtido observando que seu caminho até a saída coincide com o de w1 na parte que atravessa o neurônio intermediário e a conexão w5. A diferença está na entrada associada ao peso: w1 multiplica x1, enquanto w2 multiplica x2. Assim, permanecem os fatores ligados ao erro de saída, à derivada da sigmoide de saída, a w5 e à derivada da sigmoide intermediária. O fator final muda de x1 para x2. Essa adaptação é apresentada visualmente, sem repetir toda a expansão da função de custo.
Q: Como os gradientes de w3 e w4 diferem do gradiente de w1?
Os gradientes de w3 e w4 seguem o caminho do outro neurônio intermediário. Esse caminho chega à saída pela conexão w6, enquanto o caminho de w1 passa por w5. Portanto, a expressão precisa usar w6 e a derivada da sigmoide correspondente à ativação desse outro neurônio intermediário. Para w3, o fator associado à entrada continua sendo x1. Para w4, esse fator passa a ser x2. Os fatores relativos à diferença entre a saída a21 e y e à derivada da sigmoide de saída continuam participando desses cálculos.
Q: Como a derivada da sigmoide entra no cálculo de backpropagation?
A derivada da sigmoide aparece quando a regra da cadeia atravessa as funções de ativação da saída e da camada intermediária. Durante a explicação, essas derivadas são inicialmente indicadas por apóstrofos. Depois, cada uma é substituída pela ativação correspondente multiplicada por um menos essa mesma ativação. Na saída, isso produz a21 vezes um menos a21. Na camada intermediária, aplica-se a mesma substituição à ativação do neurônio percorrido. Assim, a expressão final do gradiente deixa de conter os apóstrofos e passa a usar diretamente os valores das ativações.
Q: Por que alguns termos desaparecem ao derivar a função de custo em relação a w1?
Os termos desaparecem quando não dependem de w1 na expressão que está sendo derivada. A explicação mostra que a derivada de menos y em relação a esse peso é zero. Ao avançar pela combinação que alimenta a saída, também são anuladas as parcelas que não contêm dependência de w1. Dentro do neurônio intermediário correspondente, o termo w2 vezes x2 e o bias não contêm w1, então suas derivadas são zero. Resta derivar w1 vezes x1, o que deixa x1 como fator final da expressão construída pela regra da cadeia.
Q: Como visualizar o caminho do erro ajuda a calcular os gradientes?
Visualizar o caminho do erro permite identificar os fatores que precisam aparecer no gradiente de cada peso. Para w1, o percurso envolve a saída, a conexão w5, a ativação do neurônio intermediário correspondente e a entrada x1. Para w2, esse percurso conserva os mesmos elementos intermediários, mas termina em x2. Já os caminhos de w3 e w4 passam por w6 e pelo outro neurônio intermediário. Essa leitura da rede ajuda a adaptar a expressão já desenvolvida para w1 e a compreender por que os pesos e as entradas mudam entre os gradientes.
Q: Por que o cálculo dos pesos intermediários exige mais substituições?
Os pesos intermediários exigem mais substituições porque estão dentro das funções que produzem as ativações usadas pela saída. Ao substituir apenas a ativação de saída por sua expressão com w5, w6 e as ativações intermediárias, w1 ainda não aparece explicitamente. É necessário expandir também a ativação do neurônio intermediário que depende dele. Essa sequência torna a derivação mais extensa que a apresentada anteriormente para w5 e w6. Ao reunir os gradientes, a explicação destaca o tamanho das fórmulas e anuncia a regra delta como o próximo recurso para simplificar os cálculos.
Summary & Key Takeaways
-
A rede apresentada tem dois neurônios de entrada, dois na camada intermediária e um na saída. Após os gradientes de w5 e w6, a explicação desenvolve os gradientes dos pesos w1, w2, w3 e w4.
-
O gradiente de w1 resulta da aplicação sucessiva da regra da cadeia à função de custo quadrática. As derivadas das sigmoides são substituídas pela ativação multiplicada por um menos essa ativação.
-
Os demais gradientes acompanham os caminhos da rede: w2 usa x2 no lugar de x1; w3 passa por w6 e pela outra ativação intermediária; w4 combina esse caminho com x2. A regra delta fica para o próximo vídeo.
Read in Other Languages (beta)
Share This Summary 📚
Summarize YouTube Videos and Get Video Transcripts with 1-Click
Try YouTube Summary with ChatGPT & Claude or YouTube Transcript Generator
Explore More Summaries from Sandeco 📚






Summarize YouTube Videos and Get Video Transcripts with 1-Click
Try YouTube Summary with ChatGPT & Claude or YouTube Transcript Generator