Como calcular gradientes nas camadas internas

10.4K views
•
March 1, 2020
by
Sandeco
YouTube video player
Como calcular gradientes nas camadas internas

TL;DR

Os gradientes dos pesos entre a entrada e a camada intermediária são calculados aplicando a regra da cadeia à função de custo, até alcançar o peso desejado. Cada expressão combina o erro da saída, as derivadas das sigmoides, o peso que conecta o neurônio intermediário à saída e a entrada correspondente. Os caminhos da rede permitem adaptar o cálculo de w1 para w2, w3 e w4.

Transcript

e aí [Música] e aí e aí [Música] o olá bom dia boa tarde boa noite para você onde você estiver agora assistindo mais um vídeo do canal são deco hoje nós vamos falar sobre pé propagation parte 2 ah e não esqueça de ver essa série em série e ela é muito importante ver na sequência por isso uma deck propagation um parte 2 você deve ver a back-propagat... Read More

Key Insights

  • A rede do exemplo possui dois neurônios de entrada, dois intermediários e um neurônio na saída.
  • A regra da cadeia decompõe a função de custo até alcançar os pesos da camada intermediária.
  • O gradiente de w1 inclui w5 porque o caminho entre esse peso e a saída passa por essa conexão.
  • A derivada de cada sigmoide é substituída pela ativação multiplicada por um menos a ativação.
  • O gradiente de w2 mantém o caminho de w1, mas utiliza a entrada x2 no lugar da entrada x1.
  • O gradiente de w3 passa por w6 e pela ativação do outro neurônio intermediário, mantendo x1.
  • O gradiente de w4 usa o caminho do segundo neurônio intermediário e termina multiplicado por x2.
  • A regra delta é anunciada como uma forma de simplificar os cálculos dos pesos no próximo vídeo.

Explore YouTube Video Summarizer or Get YouTube Transcript Extractor

Questions & Answers

Q: Como calcular o gradiente de w1 usando a regra da cadeia?

O cálculo começa pela função de custo, descrita como metade do quadrado da diferença entre a ativação de saída a21 e o valor y. Primeiro, substitui-se a21 pela sigmoide da combinação das ativações intermediárias com w5, w6 e o bias da saída. Depois, expande-se a ativação intermediária que contém w1. A regra da cadeia permite derivar sucessivamente essas funções até chegar ao termo w1 vezes x1. O resultado reúne a diferença a21 menos y, a derivada da sigmoide de saída, w5, a derivada da sigmoide intermediária e x1.

Q: Por que o peso w5 aparece no gradiente de w1?

O peso w5 aparece porque conecta à saída o neurônio intermediário cuja ativação depende de w1. Ao expandir a função de custo e aplicar a regra da cadeia, a derivação atravessa essa conexão antes de alcançar w1. Na combinação que alimenta a sigmoide de saída, o termo associado a esse neurônio contém w5 multiplicando sua ativação. Por isso, w5 permanece como fator no gradiente. A representação visual da rede reforça essa relação: o caminho usado para levar o erro da saída até w1 passa pela conexão de peso w5.

Q: Como obter o gradiente de w2 a partir do gradiente de w1?

O gradiente de w2 pode ser obtido observando que seu caminho até a saída coincide com o de w1 na parte que atravessa o neurônio intermediário e a conexão w5. A diferença está na entrada associada ao peso: w1 multiplica x1, enquanto w2 multiplica x2. Assim, permanecem os fatores ligados ao erro de saída, à derivada da sigmoide de saída, a w5 e à derivada da sigmoide intermediária. O fator final muda de x1 para x2. Essa adaptação é apresentada visualmente, sem repetir toda a expansão da função de custo.

Q: Como os gradientes de w3 e w4 diferem do gradiente de w1?

Os gradientes de w3 e w4 seguem o caminho do outro neurônio intermediário. Esse caminho chega à saída pela conexão w6, enquanto o caminho de w1 passa por w5. Portanto, a expressão precisa usar w6 e a derivada da sigmoide correspondente à ativação desse outro neurônio intermediário. Para w3, o fator associado à entrada continua sendo x1. Para w4, esse fator passa a ser x2. Os fatores relativos à diferença entre a saída a21 e y e à derivada da sigmoide de saída continuam participando desses cálculos.

Q: Como a derivada da sigmoide entra no cálculo de backpropagation?

A derivada da sigmoide aparece quando a regra da cadeia atravessa as funções de ativação da saída e da camada intermediária. Durante a explicação, essas derivadas são inicialmente indicadas por apóstrofos. Depois, cada uma é substituída pela ativação correspondente multiplicada por um menos essa mesma ativação. Na saída, isso produz a21 vezes um menos a21. Na camada intermediária, aplica-se a mesma substituição à ativação do neurônio percorrido. Assim, a expressão final do gradiente deixa de conter os apóstrofos e passa a usar diretamente os valores das ativações.

Q: Por que alguns termos desaparecem ao derivar a função de custo em relação a w1?

Os termos desaparecem quando não dependem de w1 na expressão que está sendo derivada. A explicação mostra que a derivada de menos y em relação a esse peso é zero. Ao avançar pela combinação que alimenta a saída, também são anuladas as parcelas que não contêm dependência de w1. Dentro do neurônio intermediário correspondente, o termo w2 vezes x2 e o bias não contêm w1, então suas derivadas são zero. Resta derivar w1 vezes x1, o que deixa x1 como fator final da expressão construída pela regra da cadeia.

Q: Como visualizar o caminho do erro ajuda a calcular os gradientes?

Visualizar o caminho do erro permite identificar os fatores que precisam aparecer no gradiente de cada peso. Para w1, o percurso envolve a saída, a conexão w5, a ativação do neurônio intermediário correspondente e a entrada x1. Para w2, esse percurso conserva os mesmos elementos intermediários, mas termina em x2. Já os caminhos de w3 e w4 passam por w6 e pelo outro neurônio intermediário. Essa leitura da rede ajuda a adaptar a expressão já desenvolvida para w1 e a compreender por que os pesos e as entradas mudam entre os gradientes.

Q: Por que o cálculo dos pesos intermediários exige mais substituições?

Os pesos intermediários exigem mais substituições porque estão dentro das funções que produzem as ativações usadas pela saída. Ao substituir apenas a ativação de saída por sua expressão com w5, w6 e as ativações intermediárias, w1 ainda não aparece explicitamente. É necessário expandir também a ativação do neurônio intermediário que depende dele. Essa sequência torna a derivação mais extensa que a apresentada anteriormente para w5 e w6. Ao reunir os gradientes, a explicação destaca o tamanho das fórmulas e anuncia a regra delta como o próximo recurso para simplificar os cálculos.

Summary & Key Takeaways

  • A rede apresentada tem dois neurônios de entrada, dois na camada intermediária e um na saída. Após os gradientes de w5 e w6, a explicação desenvolve os gradientes dos pesos w1, w2, w3 e w4.

  • O gradiente de w1 resulta da aplicação sucessiva da regra da cadeia à função de custo quadrática. As derivadas das sigmoides são substituídas pela ativação multiplicada por um menos essa ativação.

  • Os demais gradientes acompanham os caminhos da rede: w2 usa x2 no lugar de x1; w3 passa por w6 e pela outra ativação intermediária; w4 combina esse caminho com x2. A regra delta fica para o próximo vídeo.


Read in Other Languages (beta)

Share This Summary 📚

Explore More Summaries from Sandeco 📚