Como escalar dados para melhorar modelos de ML

874 views
•
June 25, 2021
by
Sandeco
YouTube video player
Como escalar dados para melhorar modelos de ML

TL;DR

O escalonamento coloca características de magnitudes diferentes em escalas semelhantes, evitando que os maiores valores dominem cálculos de distância e o treinamento. Com o MinMaxScaler do scikit-learn, os dados podem ser transformados para o intervalo entre 0 e 1, preservando a relação de mínimo e máximo de cada característica.

Transcript

o Olá bom dia boa tarde boa noite para você onde você estiver agora assistindo mais um vídeo do canal são Deco hoje eu quero falar sobre uma coisa muito legal e muito importante quando a gente vai trabalhar com dados né Para Baixinho ordem Então essa questão do Fiat eskelin Olha só eu que quero falar sobre o fio esquerdo em é o seguinte Imagine que... Read More

Key Insights

  • O escalonamento transforma características distintas para que seus valores ocupem escalas semelhantes.
  • Características de grande magnitude podem dominar a distância euclidiana calculada pelo algoritmo KNN.
  • Variáveis menores quase deixam de influenciar o KNN quando outra variável apresenta valores muito maiores.
  • Escalas desproporcionais deformam a representação da função quadrática de erro em redes neurais.
  • O gradiente descendente pode avançar lentamente ou sair da função quando as escalas estão deformadas.
  • O MinMaxScaler do scikit-learn reescala os valores de cada característica para o intervalo de 0 a 1.
  • A transformação mantém a posição relativa dos valores mínimos e máximos dentro de cada característica.
  • A projeção linear permite comparar visualmente a distribuição dos dados originais e escalonados.

Explore YouTube Video Summarizer or Get YouTube Transcript Extractor

Questions & Answers

Q: O que é escalonamento de características em machine learning?

Escalonamento de características é a transformação dos dados para que variáveis originalmente medidas em magnitudes muito diferentes passem a ocupar escalas semelhantes. O procedimento é importante porque uma tabela pode combinar características com valores pequenos e outras com valores muito grandes. Sem essa transformação, os maiores valores podem dominar os cálculos do algoritmo, enquanto os padrões associados às características menores quase desaparecem. O conteúdo apresenta esse efeito em métodos baseados em distância e também discute sua influência no treinamento de redes neurais.

Q: Por que escalas diferentes prejudicam o algoritmo KNN?

O KNN pode ser prejudicado porque utiliza distâncias para comparar objetos, incluindo a distância euclidiana apresentada no conteúdo. Quando uma característica contém valores muito maiores que as demais, sua diferença produz um termo dominante no cálculo. As contribuições das características menores tornam-se quase irrelevantes no resultado final. Na prática, é como se o algoritmo não utilizasse adequadamente essas variáveis nem os padrões ligados a elas. O escalonamento reduz esse desequilíbrio ao colocar as características em faixas mais comparáveis antes do cálculo das distâncias.

Q: Como a distância euclidiana revela a necessidade de escalonar os dados?

A distância euclidiana combina as diferenças entre as características dos objetos, elevando cada diferença ao quadrado, somando os termos e extraindo a raiz quadrada. No exemplo apresentado, a diferença da característica de maior escala gera um termo muito superior aos termos produzidos pelas outras variáveis. Por isso, o resultado final fica praticamente igual à contribuição dessa característica dominante. O exemplo mostra que características numericamente menores podem ter pouca influência, mesmo quando carregam padrões úteis, justificando a transformação prévia para escalas semelhantes.

Q: Como o escalonamento afeta o treinamento de redes neurais?

Em redes neurais, características em escalas desproporcionais afetam cálculos que envolvem somas ponderadas, funções de ativação e a função quadrática de erro mencionada no conteúdo. A representação dessa função pode ficar deformada, criando caminhos muito diferentes para o gradiente descendente. Dependendo da direção seguida, o processo pode demorar demais para chegar ao ponto ótimo ou avançar além da região da função. Ao reescalonar os dados, a superfície de erro fica menos deformada, favorecendo um percurso mais equilibrado durante a otimização.

Q: O que o MinMaxScaler faz com as características?

O MinMaxScaler reescala cada característica para que seus valores fiquem entre 0 e 1. O conteúdo mostra que os valores mínimos e máximos continuam representando os extremos observados em cada variável, mas passam a ocupar uma faixa comum. Assim, características que antes tinham magnitudes muito distintas tornam-se mais comparáveis. Essa transformação evita que uma variável com números grandes domine automaticamente os cálculos. A técnica é apresentada como uma opção bastante usada de pré-processamento e está disponível no scikit-learn.

Q: Como aplicar o MinMaxScaler com scikit-learn?

A aplicação apresentada começa pela importação do MinMaxScaler a partir dos recursos de pré-processamento do scikit-learn. Em seguida, cria-se um objeto dessa classe e utiliza-se o método de transformação sobre o conjunto de características. O resultado é uma nova tabela contendo os dados reescalonados. Na comparação mostrada, os valores originais são convertidos para o intervalo entre 0 e 1. O procedimento é descrito como simples e exige poucas linhas de programação para preparar as características antes de usá-las no algoritmo.

Q: Como visualizar a diferença entre dados originais e escalonados?

A diferença pode ser observada por meio de uma projeção linear, como a visualização utilizada na demonstração com a base de diabetes. O conteúdo compara a projeção dos dados originais com a projeção da versão que recebeu padronização. Nos dados sem transformação, algumas características aparecem mais concentradas devido às diferenças de escala. Depois do escalonamento, a distribuição visual fica menos comprimida e mais espalhada. Essa comparação ajuda a perceber, de forma prática, como a transformação modifica a representação das características sem depender apenas da tabela numérica.

Q: Quais técnicas de escalonamento são destacadas no conteúdo?

As técnicas destacadas como mais conhecidas são o MinMax e a padronização chamada de standard no conteúdo. Ambas fazem parte das opções disponíveis no scikit-learn para o pré-processamento de dados. A demonstração prática detalha principalmente o MinMaxScaler, que coloca os valores entre 0 e 1, enquanto a base de diabetes também é exibida em uma versão padronizada. O objetivo comum dessas abordagens é reduzir os efeitos de magnitudes desproporcionais e tornar as características mais adequadas aos cálculos realizados pelos algoritmos.

Summary & Key Takeaways

  • Características com escalas muito diferentes podem distorcer cálculos de distância. No exemplo apresentado, a característica de maior magnitude praticamente anula a influência das demais no resultado usado pelo KNN.

  • Em redes neurais, escalas desproporcionais deformam a função quadrática de erro. Isso pode fazer o gradiente descendente demorar para alcançar o ponto ótimo ou ultrapassar a região desejada.

  • O MinMaxScaler do scikit-learn transforma as características para valores entre 0 e 1. A demonstração também compara dados originais e padronizados por meio de uma projeção linear.


Read in Other Languages (beta)

Share This Summary 📚

Explore More Summaries from Sandeco 📚