Como a regra Delta simplifica o backpropagation?

7.8K views
•
March 8, 2020
by
Sandeco
YouTube video player
Como a regra Delta simplifica o backpropagation?

TL;DR

A regra Delta simplifica o cálculo dos gradientes ao reunir fatores repetidos em deltas e organizar pesos e ativações em vetores. Primeiro são calculados os deltas de todas as camadas, depois os gradientes. No exemplo apresentado, o erro da saída e a derivada da sigmoide formam o delta da saída, que também participa do cálculo do delta da camada anterior.

Transcript

E aí [Música] eu vou estamos de volta bom dia boa tarde boa noite para você onde você estiver agora assistindo mais um vídeo do canal são Deco essa continuação back-propagation parte três e nós vamos falar sobre a regra Delta não é exatamente a regra Delta como é que nós vamos chega nela no último vídeo nós vimos essas seis equações encontradas a p... Read More

Key Insights

  • O termo a21 menos Y aparece nas seis expressões dos gradientes e representa o erro da saída.
  • O fator a21 multiplicado por um menos a21 corresponde à derivada da sigmoide no neurônio de saída.
  • O delta da saída reúne o erro e a derivada da sigmoide que se repetem nas expressões dos gradientes.
  • Os gradientes de W5 e W6 utilizam diretamente o delta associado ao neurônio de saída da rede.
  • O delta da primeira camada depende do delta da saída e dos pesos que conectam as duas camadas.
  • W5 influencia os gradientes de W1 e W2, enquanto W6 influencia os gradientes de W3 e W4.
  • A transposição do vetor de pesos da segunda camada permite a multiplicação apresentada na aula.
  • A sequência da regra Delta calcula os deltas de todas as camadas antes de calcular seus gradientes.

Explore YouTube Video Summarizer or Get YouTube Transcript Extractor

Questions & Answers

Q: Como a regra Delta simplifica o cálculo dos gradientes no backpropagation?

A regra Delta simplifica o cálculo dos gradientes ao agrupar fatores que aparecem repetidamente nas expressões derivadas para os pesos. No exemplo apresentado, o erro da saída, escrito como a21 menos Y, e a derivada da sigmoide do neurônio de saída aparecem nas seis expressões. Esses fatores são reunidos no delta da saída. Para a camada anterior, outro delta incorpora a influência desse erro, dos pesos que conectam as camadas e das derivadas das ativações intermediárias. A organização em vetores permite representar os gradientes de cada camada com expressões mais compactas.

Q: O que representa o delta do neurônio de saída na explicação apresentada?

O delta do neurônio de saída reúne os fatores relacionados ao erro da saída e à derivada da sigmoide aplicada nesse neurônio. O erro aparece como a21 menos Y, enquanto a derivada aparece como a21 multiplicado por um menos a21. A aula identifica a repetição desses fatores nas expressões dos gradientes e atribui a esse agrupamento o nome de delta dois. Ele é aplicado diretamente aos gradientes de W5 e W6. Também influencia os gradientes dos pesos da camada anterior, mas essa influência passa pelo cálculo de outro delta.

Q: Como o delta da primeira camada depende do delta da saída?

O delta da primeira camada é calculado a partir do delta da saída, considerando também os pesos da segunda camada e as derivadas da sigmoide nos neurônios intermediários. A explicação destaca que os gradientes de W1 e W2 recebem a influência de W5, enquanto os gradientes de W3 e W4 recebem a influência de W6. Os pesos W5 e W6 são organizados em W maiúsculo dois, usado de forma transposta no cálculo apresentado. As derivadas dos neurônios intermediários também são agrupadas para simplificar a expressão do delta da primeira camada.

Q: Por que os pesos da segunda camada são transpostos no cálculo apresentado?

A transposição dos pesos da segunda camada é apresentada como necessária para que a multiplicação de álgebra linear usada no cálculo do delta da primeira camada funcione. A aula reúne W5 e W6 em uma representação chamada W maiúsculo dois. Esses pesos conectam os neurônios intermediários ao neurônio de saída e participam da passagem do erro para a camada anterior. Como cada conexão influencia gradientes diferentes, a representação transposta permite organizar essa participação na expressão conjunta. O cálculo também inclui o delta da saída e as derivadas da sigmoide dos neurônios intermediários.

Q: Como são calculados os gradientes dos pesos da segunda camada?

Os gradientes dos pesos da segunda camada são apresentados em uma expressão conjunta que combina o delta da saída com as ativações da primeira camada. Nessa rede, W5 e W6 são os pesos da segunda camada, e as saídas dos neurônios intermediários são reunidas na representação A maiúsculo um. A expressão compacta indicada para o gradiente de W maiúsculo dois é delta dois vezes A maiúsculo um. Essa organização reúne os cálculos dos dois pesos e substitui a repetição dos fatores do erro e da derivada da sigmoide pelo delta já calculado.

Q: Como são calculados os gradientes dos pesos da primeira camada?

Os gradientes dos pesos da primeira camada são apresentados como a combinação do delta dessa camada com os valores de entrada, representados por x. A aula agrupa W1, W2, W3 e W4 em W maiúsculo um e escreve seu gradiente de forma compacta como delta um vezes x. Para usar essa expressão, o delta da primeira camada precisa ter sido calculado a partir do delta da saída, dos pesos da segunda camada e das derivadas das ativações intermediárias. Assim, a influência do erro da saída fica incorporada no delta utilizado para calcular esses gradientes.

Q: Qual é a ordem de cálculo dos deltas e dos gradientes na regra Delta?

A sequência apresentada para a regra Delta começa pelo cálculo dos deltas de todas as camadas e continua com o cálculo dos gradientes de todas as camadas. No exemplo, o delta da saída reúne o erro do neurônio de saída e a derivada da sigmoide. O delta da primeira camada utiliza esse resultado, os pesos da segunda camada e as derivadas dos neurônios intermediários. Com esses deltas disponíveis, os gradientes são expressos por camada: o da segunda camada combina seu delta com as ativações anteriores, e o da primeira combina seu delta com as entradas.

Q: O que a analogia do líquido e dos canos explica sobre a propagação do erro?

A analogia compara o erro a um líquido e os pesos a canos. Quando o líquido chega a um ponto com diferentes caminhos, ele se divide; de modo semelhante, a explicação apresenta o erro se distribuindo pelas conexões da rede. Essa imagem ajuda a acompanhar por que o erro do neurônio de saída influencia diferentes pesos na camada anterior. A aula concretiza essa ideia ao mostrar que W5 participa dos gradientes de W1 e W2, enquanto W6 participa dos gradientes de W3 e W4. Esses efeitos são organizados no cálculo do delta da primeira camada.

Summary & Key Takeaways

  • Os gradientes dos pesos compartilham fatores ligados ao erro da saída e à derivada da sigmoide. Agrupar esses fatores no delta da saída simplifica as expressões dos pesos da segunda camada.

  • O delta da primeira camada depende do delta da saída, dos pesos da segunda camada e das derivadas das ativações intermediárias. A transposição dos pesos permite organizar esse cálculo com álgebra linear.

  • Pesos e ativações são organizados em vetores para calcular os gradientes por camada. A sequência apresentada calcula todos os deltas antes dos gradientes e deixa o tratamento dos vieses para a continuação.


Read in Other Languages (beta)

Share This Summary 📚

Explore More Summaries from Sandeco 📚