Por que Pré-Processar os Dados?

Dados do mundo real raramente chegam prontos para análise: eles costumam conter valores ausentes, erros de digitação, duplicidades e inconsistências entre diferentes fontes.

O pré-processamento é a etapa do KDD responsável por transformar esses dados brutos em um conjunto limpo, consistente e adequado para os algoritmos de Data Mining.

Limpeza de Dados

A limpeza de dados trata da remoção ou correção de registros incompletos, ruidosos ou inconsistentes, o que evita conclusões distorcidas nas etapas seguintes.

Valores ausentes podem ser tratados por remoção do registro, preenchimento pela média/moda ou por técnicas mais sofisticadas de imputação estatística.

Dados ruidosos (com erros aleatórios ou variações que não representam o fenômeno real) podem ser suavizados por técnicas como agrupamento em faixas (binning), regressão ou detecção de outliers.

Sem uma limpeza adequada, até o algoritmo de mineração mais sofisticado produzirá resultados pouco confiáveis — por isso essa etapa costuma consumir a maior parte do tempo de um projeto de dados.