Como implementar gradiente descendente em Python

8.8K views
•
September 16, 2018
by
Sandeco
YouTube video player
Como implementar gradiente descendente em Python

TL;DR

Para ajustar uma regressão linear em Python, atualize os parâmetros w0 e w1 repetidamente com os erros das previsões e a taxa de aprendizado, acompanhando o custo. No exemplo, aumentar as épocas aproxima a reta dos dados e muda a previsão para a entrada 1,5 de 0,25 para aproximadamente 1,8. Depois do treinamento, basta guardar os parâmetros e usá-los na expressão w0 + w1 × x.

Transcript

[Música] [Música] bom dia boa tarde boa noite pra você o que você espera agora chegam mais um vídeo do canaã deco hoje é a segunda parte de grade 16 dente da nossa série de planos aqui no canal são deco e hoje vai ser gradiente descendente em python um cara tão sem relação vamos direto para o código toda teoria desse código está no vídeo anterior q... Read More

Key Insights

  • A regressão apresentada usa uma variável de entrada e calcula previsões pela expressão w0 + w1 × x.
  • Os parâmetros w0 e w1 começam em 0,1, produzindo uma previsão inicial de 0,25 para a entrada 1,5.
  • O custo é calculado somando os erros ao quadrado e dividindo o resultado pela quantidade de exemplos.
  • A atualização de w0 utiliza a soma das diferenças entre as previsões e os valores observados.
  • A atualização de w1 utiliza a soma dos erros multiplicados pelo valor de entrada de cada exemplo.
  • Cada época atualiza os parâmetros e registra o custo, permitindo acompanhar o progresso do treinamento.
  • O teste com 2.000 épocas mostra queda do custo e estabilização visual aproximadamente entre 750 e 1.000.
  • Os parâmetros treinados podem ser salvos e reutilizados para prever valores pela mesma expressão linear.

Explore YouTube Video Summarizer or Get YouTube Transcript Extractor

Questions & Answers

Q: Como implementar uma regressão linear com gradiente descendente em Python?

A implementação apresentada começa com os dados de entrada e os valores observados, uma taxa de aprendizado chamada alfa e os parâmetros w0 e w1. A função de previsão recebe uma entrada e retorna w0 + w1 × x. Em seguida, uma função calcula o custo pela média dos erros ao quadrado. Outra função executa um passo de atualização dos parâmetros, acumulando os erros de todos os exemplos. Por fim, uma repetição executa esses passos durante a quantidade escolhida de épocas e registra os custos para acompanhar o ajuste da reta.

Q: Como a função de hipótese calcula as previsões da regressão linear?

A função de hipótese calcula a previsão pela expressão w0 + w1 × x. Ela recebe o valor de entrada e os parâmetros que definem a reta utilizada na regressão. No exemplo, w0 e w1 começam em 0,1. Ao fornecer a entrada 1,5, a função retorna 0,25 antes do treinamento. Depois das atualizações pelo gradiente descendente, a mesma entrada produz aproximadamente 1,8. A mudança acontece porque os parâmetros foram ajustados aos dados. A expressão de previsão permanece a mesma durante a demonstração e também pode ser utilizada depois que o treinamento termina.

Q: Como calcular o custo usando a média dos erros ao quadrado?

O cálculo do custo começa com um acumulador igual a zero e com a quantidade de exemplos obtida pelo tamanho do conjunto de entradas. Para cada exemplo, a função calcula a previsão com os parâmetros atuais, subtrai o valor observado e eleva essa diferença ao quadrado. Esses resultados são somados ao acumulador. Ao terminar a repetição, a soma é dividida pela quantidade de exemplos. Esse procedimento fornece a média dos erros ao quadrado utilizada na demonstração. O custo também é calculado depois das atualizações, formando um histórico que permite visualizar seu comportamento ao longo do treinamento.

Q: Como os parâmetros w0 e w1 são atualizados em um passo do gradiente descendente?

Um passo do gradiente descendente recebe os parâmetros atuais, as entradas, os valores observados e a taxa de aprendizado alfa. A função inicia dois acumuladores de erro. Para atualizar w0, soma as diferenças entre as previsões e os valores observados. Para atualizar w1, soma essas diferenças multiplicadas pela entrada correspondente. Cada novo parâmetro é calculado subtraindo do parâmetro anterior o produto entre alfa, o inverso da quantidade de exemplos e seu acumulador. Os dois novos valores são retornados pela função e usados na próxima repetição do treinamento, conforme a implementação apresentada.

Q: O que são as épocas no treinamento apresentado e como elas afetam o resultado?

As épocas representam a quantidade de repetições da função que atualiza os parâmetros da regressão. Na demonstração, o treinamento começa com dez repetições, mas a reta ainda fica distante dos pontos e o gráfico de custo não apresenta um resultado considerado satisfatório. Ao aumentar para 200 épocas, o custo mostra uma descida e a hipótese se aproxima dos dados. Depois, o teste com 2.000 épocas permite observar melhor a queda e a estabilização do custo. A comparação mostra como a quantidade de atualizações influencia o ajuste obtido nesse conjunto de dados.

Q: Como usar o gráfico de custo para escolher a quantidade de épocas?

A estratégia demonstrada consiste em executar uma quantidade maior de épocas e observar em que região o gráfico de custo começa a estabilizar. Para isso, a função de treinamento guarda o custo calculado após cada atualização dos parâmetros. No teste com 2.000 repetições, o apresentador identifica visualmente uma estabilização aproximadamente entre 750 e 1.000 épocas. Essa observação orienta a escolha de uma quantidade menor de repetições para o exemplo. O procedimento depende do histórico produzido pelo próprio treinamento, e a demonstração utiliza também o gráfico da reta para verificar sua aproximação aos pontos.

Q: Como reutilizar o modelo de regressão linear depois do treinamento?

Para reutilizar o modelo apresentado, basta guardar os valores de w0 e w1 obtidos ao final do treinamento. A previsão posterior usa esses parâmetros na expressão w0 + w1 × x, substituindo x pela entrada que se deseja avaliar. O apresentador explica que um problema real pode seguir esse procedimento: treinar com os dados disponíveis, salvar os parâmetros ajustados e incorporá-los ao sistema de previsão. No exemplo, a entrada 1,5 passa a produzir aproximadamente 1,8 após o ajuste. O sistema utiliza a mesma função de hipótese que foi definida antes do treinamento.

Q: Como o exemplo demonstra a diferença entre definir uma fórmula e treinar um modelo?

O exemplo define previamente a forma da previsão, w0 + w1 × x, mas ajusta seus parâmetros por meio do treinamento com dados. Inicialmente, os valores de w0 e w1 são 0,1, e a previsão para a entrada 1,5 é 0,25. As repetições do gradiente descendente modificam os parâmetros usando os erros observados, enquanto o custo permite acompanhar o resultado dessas mudanças. Depois do ajuste, a previsão para a mesma entrada fica em aproximadamente 1,8. É nesse processo de obter os parâmetros a partir dos dados que o apresentador fundamenta sua explicação de que o modelo é treinado.

Summary & Key Takeaways

  • A implementação define uma regressão linear com uma variável de entrada, usando a hipótese w0 + w1 × x. Os parâmetros começam em 0,1, e o custo é calculado pela média dos erros ao quadrado.

  • Cada passo acumula os erros das previsões e os erros multiplicados pelas entradas. A taxa de aprendizado e a quantidade de exemplos participam da atualização dos parâmetros w0 e w1.

  • O treinamento registra o custo por época e compara diferentes quantidades de repetições. A reta ajustada prevê aproximadamente 1,8 para a entrada 1,5, e seus parâmetros podem ser salvos para uso posterior.


Read in Other Languages (beta)

Share This Summary 📚

Explore More Summaries from Sandeco 📚