Como transformar categorias para machine learning?

2.0K views
•
March 13, 2024
by
Sandeco
YouTube video player
Como transformar categorias para machine learning?

TL;DR

Dados categóricos precisam ser convertidos em representações numéricas antes de alimentar algoritmos de machine learning. O one-hot encoding evita sugerir uma ordem artificial entre categorias, mas aumenta a quantidade de colunas; já informações circulares, como dias da semana, podem ser representadas com seno e cosseno para preservar proximidade e sequência.

Transcript

eu quero trabalhar com vocês hoje aqui a questão de dados categóricos e nós vamos pensar no seguinte agora daqui para frente nós vamos tentar trabalhar com os dados e e e fazer com que os dados sejam eh processados por Inteligência Artificial certo e eu tenho aí ah dois tipos de dados né a gente vai trabalhar os dados categóricos e depois vamos tra... Read More

Key Insights

  • Algoritmos de machine learning precisam receber números, mesmo quando os dados originais são textos.
  • Atribuir números sequenciais às categorias pode sugerir importância ou ordem que não existe nos dados.
  • O one-hot encoding cria uma coluna para cada categoria e usa valores binários para indicar presença.
  • Categorias numerosas ampliam a base de dados e aumentam o volume de informação a ser processado.
  • Variáveis originalmente numéricas devem permanecer numéricas quando a categorização não for necessária.
  • Faixas de idade transformam uma variável numérica em várias categorias e, depois, em várias colunas.
  • Dias da semana são categorias circulares, pois o sábado e a segunda-feira ficam próximos do domingo.
  • Seno e cosseno preservam a continuidade de categorias circulares ao representar sua posição no ciclo.

Explore YouTube Video Summarizer or Get YouTube Transcript Extractor

Questions & Answers

Q: Por que dados categóricos precisam ser transformados para machine learning?

Dados categóricos precisam ser transformados porque algoritmos de machine learning, redes neurais e o processamento realizado em GPU trabalham com números. Embora textos também sejam representados numericamente internamente pelo computador, categorias como masculino, feminino, tipos sanguíneos, nomes de times ou cores não chegam ao modelo em uma forma adequada por si mesmas. É necessário criar um mapeamento que torne essas informações compreensíveis para o algoritmo, procurando preservar o significado das categorias e evitar relações artificiais de ordem, distância ou importância.

Q: Qual é o problema de atribuir números sequenciais às categorias?

Atribuir números sequenciais é uma forma de discretizar categorias, mas pode criar uma interpretação enganosa. Quando uma categoria recebe um valor pequeno e outra recebe um valor muito maior, a rede pode entender que a segunda é mais importante ou possui uma magnitude superior. Essa relação pode não existir no significado original dos dados. Cores, nomes de times e outras categorias nominais apenas identificam opções diferentes. Portanto, uma codificação sequencial pode introduzir ordem e distância numérica onde deveria existir somente distinção entre classes.

Q: Como funciona o one-hot encoding em dados categóricos?

O one-hot encoding transforma cada categoria possível em uma coluna própria. Quando uma observação pertence a determinada categoria, a coluna correspondente recebe um, enquanto as demais recebem zero. Para cores, por exemplo, cada cor passa a ter sua própria coluna, e apenas a cor presente fica ativa. Assim, os valores permanecem entre zero e um, e nenhuma categoria recebe um código numericamente maior que outra. A representação indica apenas se cada opção está presente ou ausente, sem impor uma hierarquia artificial.

Q: Por que o one-hot encoding pode reduzir o desempenho?

O one-hot encoding pode reduzir o desempenho porque aumenta a quantidade de colunas da base. Cada variável categórica é substituída por várias colunas, conforme o conjunto de categorias possíveis. Quando a base contém muitas variáveis desse tipo, a expansão se acumula e produz mais dados para o algoritmo processar. Esse crescimento exige mais trabalho computacional durante o tratamento e o treinamento. Por isso, ao estruturar uma base, é recomendável minimizar categorias e colunas desnecessárias, mantendo apenas divisões que contribuam de fato para o problema.

Q: Quando uma variável numérica deve continuar numérica?

Uma variável deve continuar numérica quando sua natureza já expressa uma quantidade útil, como idade, peso ou altura, e não existe uma necessidade clara de criar grupos. Converter uma idade em faixas produz categorias, e essas categorias podem virar diversas colunas durante o one-hot encoding. Isso aumenta o tamanho da base e elimina parte da precisão presente no valor original. A categorização em intervalos pode ser usada quando for realmente necessária, mas não deve substituir automaticamente uma informação que já possui significado numérico.

Q: O que são dados categóricos circulares?

Dados categóricos circulares são categorias organizadas em um ciclo no qual o final volta ao começo. Os dias da semana ilustram essa característica: o domingo é seguido pela segunda-feira e também está próximo do sábado. Uma codificação convencional pode perder essa relação, colocando categorias vizinhas em posições numericamente distantes. O ponto essencial é que essas categorias não formam apenas uma lista independente ou uma sequência reta. Elas ocupam posições em um ciclo, e a transformação deve conservar tanto a continuidade quanto a proximidade entre seus extremos.

Q: Como seno e cosseno representam categorias circulares?

Seno e cosseno representam categorias circulares ao posicionar cada categoria em uma parte de um círculo e transformar essa posição em valores numéricos. Como essas funções retornam aos mesmos valores depois de uma volta completa, elas preservam a natureza repetitiva do ciclo. Aplicadas aos dias da semana, permitem que sábado e segunda-feira apareçam próximos do domingo, enquanto categorias mais afastadas no ciclo também mantenham essa distância. A combinação das duas funções oferece uma representação mais adequada da posição e da continuidade circular.

Q: Qual é a diferença entre one-hot encoding e codificação circular?

O one-hot encoding trata cada categoria como uma opção separada, criando uma coluna para cada possibilidade e ativando somente a categoria presente. Essa abordagem é apropriada quando não existe ordem, distância ou continuidade entre as opções, como em cores ou nomes de times. A codificação circular, por sua vez, é indicada quando as categorias formam um ciclo e possuem relações de vizinhança. Ela usa seno e cosseno para preservar essas relações. Escolher entre as técnicas depende da estrutura real da informação categórica.

Summary & Key Takeaways

  • Algoritmos de machine learning e redes neurais processam números, por isso categorias textuais precisam ser mapeadas antes do treinamento. A transformação escolhida deve preservar o significado original dos dados.

  • O one-hot encoding cria uma coluna binária para cada categoria, marcando com um a opção presente e com zero as demais. Essa abordagem evita que códigos numéricos sejam confundidos com importância ou ordem.

  • A expansão de colunas pode prejudicar o desempenho quando existem muitas variáveis categóricas. Para dados circulares, seno e cosseno preservam relações de vizinhança que uma codificação comum perderia.


Read in Other Languages (beta)

Share This Summary 📚

Explore More Summaries from Sandeco 📚