Como aplicar gradiente descendente a várias features

5.1K views
•
September 23, 2018
by
Sandeco
YouTube video player
Como aplicar gradiente descendente a várias features

TL;DR

O gradiente descendente com múltiplas variáveis ajusta um peso para cada característica, usando o erro entre a hipótese e o valor observado multiplicado pela característica correspondente. A inclusão de x₀ igual a um permite tratar o termo independente na mesma regra de atualização. A hipótese pode ser escrita como wᵀx, reunindo pesos e características em uma expressão de álgebra linear.

Transcript

[Música] [Música] bom dia boa tarde boa noite pra você onde você estiver agora assistindo mais um vídeo do canal são deco e hoje estaremos falando sobre gradiente descendente aplicado há múltiplas variáveis então é isso gradiente descendente aplicado há múltiplas variáveis é o seguinte pessoal no episódio passado nós fizemos uma regressão linear co... Read More

Key Insights

  • A regressão apresentada usa área, quantidade de quartos, idade e garagens para estimar o preço do apartamento.
  • Cada característica adicionada à hipótese recebe um peso correspondente no vetor de parâmetros.
  • O preço do apartamento permanece como y, enquanto as características recebem nomes de x₁ até x₄.
  • A característica artificial x₀ vale sempre um e é acrescentada a todas as observações da base.
  • A inclusão de x₀ permite escrever o termo independente w₀ como parte da soma dos produtos wⱼxⱼ.
  • A atualização de cada peso usa o erro da hipótese multiplicado pela característica na posição j.
  • A hipótese wᵀx reúne a soma dos produtos entre os pesos e suas características correspondentes.
  • A multiplicação de matrizes exige que as colunas da primeira correspondam às linhas da segunda.

Explore YouTube Video Summarizer or Get YouTube Transcript Extractor

Questions & Answers

Q: Como aplicar gradiente descendente a uma regressão com múltiplas variáveis?

Para aplicar gradiente descendente a múltiplas variáveis, a hipótese passa a incluir um peso para cada característica utilizada na previsão. No exemplo apresentado, o preço do apartamento é estimado a partir da área, da quantidade de quartos, da idade e da quantidade de garagens. A atualização de cada peso utiliza a diferença entre a hipótese e o valor observado, multiplicada pela característica correspondente. Esses termos são somados sobre as observações e multiplicados por α e por um sobre m. O resultado é subtraído do peso anterior, seguindo a regra generalizada para cada posição j.

Q: Quais variáveis são utilizadas para estimar o preço de um apartamento?

O exemplo utiliza metros quadrados, quantidade de quartos, idade do apartamento e quantidade de garagens como características para estimar o preço. Essas entradas são chamadas, respectivamente, de x₁, x₂, x₃ e x₄, enquanto o preço recebe o nome y. A apresentação também menciona a localização ao explicar por que a área sozinha não representa todos os aspectos envolvidos no preço. Entretanto, a configuração desenvolvida na explicação usa as características de área, quartos, idade e garagens. Cada uma delas recebe um peso correspondente na hipótese de regressão linear.

Q: Como a hipótese linear muda ao incluir várias características?

Com uma característica, a hipótese apresentada combina o termo independente w₀ com o produto entre um peso e a entrada x. Ao incluir várias características, essa expressão é ampliada com novos produtos entre pesos e entradas: w₀ + w₁x₁ + w₂x₂ + ... + wₙxₙ. Assim, acrescentar uma característica significa acrescentar também seu peso correspondente aos parâmetros da hipótese. No exemplo do apartamento, essa expansão permite incorporar quartos, idade e garagens além da área. A inclusão posterior de x₀ igual a um permite escrever também o termo independente como um produto.

Q: Por que adicionar uma característica x₀ igual a um?

A característica x₀ é adicionada para integrar o termo independente w₀ à mesma estrutura usada pelos outros pesos e características. Ela não existe na base original e recebe o valor um em todas as observações. Dessa forma, o produto w₀x₀ mantém o valor de w₀, mas permite escrever a hipótese inteira como uma soma de produtos correspondentes. A mesma escolha também uniformiza a atualização dos parâmetros: o ajuste de w₀ passa a incluir o erro multiplicado por x₀. Como essa característica vale um, o cálculo preserva a forma anteriormente apresentada para o termo independente.

Q: Qual é a regra de atualização de cada peso no gradiente descendente?

A regra apresentada é wⱼ ← wⱼ − α(1/m)Σ(h(x) − y)xⱼ, com o somatório aplicado às observações. Para cada posição j do vetor de pesos, calcula-se o erro entre a hipótese e o valor observado e multiplica-se esse erro pela característica naquela posição. A soma desses produtos, multiplicada por α e por um sobre m, é subtraída do peso anterior. A regra inclui o termo independente porque o índice também percorre a posição de x₀. Como x₀ vale um, a atualização de w₀ usa o próprio erro sem alterar seu valor pela multiplicação.

Q: Como representar a hipótese de regressão usando wᵀx?

A hipótese pode ser representada como wᵀx ao organizar os parâmetros em um vetor de pesos e as entradas em um vetor de características. O vetor de pesos contém w₀, w₁, w₂ e os demais parâmetros, enquanto o vetor de características inclui x₀, x₁, x₂ e as demais entradas. A transposição do vetor de pesos permite formar o produto que corresponde à soma w₀x₀ + w₁x₁ + w₂x₂ + ... + wₙxₙ. Como x₀ vale um, o termo independente está incluído nessa expressão. Essa notação reúne a hipótese em uma forma compacta.

Q: Por que a transposição aparece na explicação da hipótese linear?

A transposição aparece porque a multiplicação de matrizes exige compatibilidade entre suas dimensões: o número de colunas da primeira deve ser igual ao número de linhas da segunda. A explicação apresenta um exemplo em que a multiplicação na disposição inicial não pode ser realizada e utiliza a transposição para obter uma disposição compatível. Esse raciocínio é aplicado aos vetores de pesos e características. Ao usar wᵀx, o produto resulta na soma dos pesos multiplicados pelas entradas correspondentes, reproduzindo a hipótese linear. A transposição conecta, assim, a expressão da regressão à operação de álgebra linear.

Q: Como a álgebra linear simplifica a expressão do gradiente descendente?

A álgebra linear simplifica a expressão ao substituir a soma explícita dos produtos entre pesos e características pela hipótese wᵀx. Na regra de atualização, o erro passa a ser escrito como wᵀx − y, mantendo a multiplicação pela característica xⱼ correspondente ao peso que está sendo ajustado. A explicação reúne essa substituição com a característica artificial x₀, que permite incluir o termo independente na mesma estrutura. O resultado é uma apresentação generalizada do gradiente descendente para múltiplas variáveis. O vídeo relaciona essa forma compacta à facilidade de expressar o cálculo em Python e anuncia uma demonstração de implementação.

Summary & Key Takeaways

  • A regressão do preço de um apartamento passa de uma característica para várias: área, quartos, idade e garagens. A hipótese incorpora um peso para cada variável, além do termo independente w₀.

  • A característica artificial x₀ recebe sempre o valor um. Isso permite incluir w₀ na mesma atualização dos demais pesos: cada ajuste usa o erro da hipótese multiplicado pela característica correspondente.

  • A hipótese é representada pelo produto wᵀx, equivalente à soma dos pesos multiplicados pelas características. Essa expressão simplifica a apresentação do algoritmo e prepara sua implementação em Python.


Read in Other Languages (beta)

Share This Summary 📚

Explore More Summaries from Sandeco 📚