As linhas são independentes?
Use esta rota apenas com independência justificada. Pessoas repetidas, documentos relacionados e previsões futuras podem exigir divisão externa por grupos ou tempo.
Elysia Tools
Navegação
Workflow Playbook
Prepare registros independentes, fixe uma divisão estratificada reproduzível, confira cobertura de classes e limites da análise de vazamento e entregue conjuntos rastreáveis.
Novo neste fluxo? Siga os passos em ordem, começando pela primeira ferramenta abaixo. Já sabe o que precisa? Vá direto ao passo correspondente: todas as ferramentas deste fluxo estão na tabela comparativa.
Primeira ferramenta: Validador CSV
Temas
| Ferramenta | O que faz | Categoria |
|---|---|---|
| Validador CSV | Valida a estrutura CSV, detecta linhas malformadas, aspas desbalanceadas e colunas inconsistentes | Data Processing |
| Perfilador de qualidade de datasets | Gera um perfil de qualidade para CSV ou JSON com faltantes, duplicados, drift de formato, tipos e outliers. | Data Analysis |
| CSV Data Grouper | Group CSV data by specified columns with aggregation options. Perfect for summarizing and analyzing large datasets by categories, dates, or other criteria. | Data Processing |
| CSV Column Selector | Select specific columns from CSV data by column names or indices. Perfect for extracting relevant data from large CSV files with many columns. | Data Processing |
Temas
| Removedor de linhas duplicadas CSV |
| Envie um arquivo CSV ou cole texto CSV, remova linhas duplicadas com correspondencia exata ou difusa e baixe um CSV limpo. |
| Data Processing |
| Verificador de Hash de Arquivo | Calcula valores hash MD5/SHA1/SHA256 para arquivos e verifica contra hashes esperados | Utilities |
| Divisor train/test com estratificação | Lê um dataset CSV/JSON e divide em train/validation/test com amostragem estratificada pela coluna alvo (70/15/15 padrão, semente reprodutível), ou k-fold estratificado; relatório de distribuição de classes por split com barras de desvio, checagem de vazamento por linhas duplicadas, prévia de SMOTE (interpolação de vizinhos no treino) e exportação dos CSV em ZIP. | Data Analysis |
| Detector de desbalanceamento e reamostragem | Detecta desbalanceamento de classes em datasets CSV ou JSON, compara estrategias e previsualiza uma saida balanceada | Data Analysis |
Este roteiro entrega arquivos revisados de treino, validação e teste para um experimento de classificação, não um modelo ou certificado de ausência de viés. Defina a observação e as informações disponíveis no instante da previsão. Pacientes, usuários, famílias e documentos relacionados não se tornam independentes por ocupar linhas diferentes. Se precisar respeitar grupos ou tempo, use outra abordagem: o divisor não oferece esses controles.
Confirme permissão e preserve um vínculo controlado com as fontes. Confira rótulos vazios, grafias e contagens; um alvo ausente não deve virar uma classe silenciosamente. Valide o CSV antes da divisão: o leitor pode completar linhas curtas e cortar células além da largura do cabeçalho. Resolva nomes ambíguos e registros danificados; uma exportação bem-sucedida não comprova preservação de todos os valores.
Para contar classes no agrupador, use uma tabela simples só de rótulos, verificada separadamente, sem textos multilinha nem delimitadores entre aspas. O leitor é básico; se os rótulos exigirem regras CSV complexas, use um leitor externo adequado e concilie totais. Não renomeie nem una rótulos para acomodar o leitor.
Escolha atributos e alvo e mantenha uma chave estável fora das variáveis do modelo, ou um registro externo autorizado. Compare conteúdo relevante em uma cópia separada sem IDs únicos mascarando igualdade, mantendo a rastreabilidade de cada fonte. A deduplicação remove linhas: não a execute no único original nem aceite correspondências aproximadas automaticamente.
Medições repetidas podem ser legítimas e exigir outra divisão, não remoção. Rótulos conflitantes no mesmo conteúdo precisam de adjudicação, não exclusão arbitrária. Registre cópias acidentais removidas e chaves preservadas. Não ajuste imputação, escala, seleção de atributos ou balanceamento na base inteira; transformações aprendidas devem ser ajustadas apenas no treino.
Registre hash da entrada exata, ordem, campos, alvo, versão, modo, proporções, semente e opções de embaralhamento e estratificação. A semente isolada não reproduz entrada alterada ou outra implementação, nem garante os mesmos membros do scikit-learn. No modo padrão, teste recebe o restante após treino e validação. Confira quantidades inteiras reais, não apenas percentuais solicitados.
Com 100 observações independentes e classes de 80 e 20, um plano 70/15/15 pode distribuir a menor classe em 14/3/3. Dois exemplos não cobrem três conjuntos. Não una rótulos diferentes nem desligue estratificação apenas para eliminar alertas. Em k-fold, os treinos se sobrepõem entre partições por definição, mas cada par deve isolar seus membros de validação. Não é criado um teste final independente.
Inspecione o ZIP: no modo padrão há train.csv, validation.csv, test.csv e split_report.json. Reconte classes e concilie chaves com a entrada aprovada; cada original elegível deve aparecer exatamente uma vez entre os três conjuntos. A verificação integrada compara linhas completas: IDs diferentes ou pequenas edições podem ocultar atributos equivalentes. Confira entidades, quase cópias e informações derivadas do futuro separadamente. O JSON não é um registro completo de membros ou vazamentos; preserve os avisos exibidos e verificações externas.
Use a ferramenta de desequilíbrio apenas em uma cópia do treino e, na validação cruzada, dentro de cada treino. SMOTE aqui é uma prévia numérica e não adiciona exemplos aos CSV exportados. Códigos inteiros e IDs não são atributos contínuos válidos só por serem números. Preserve a avaliação e trate qualquer reamostragem aprovada como experimento separado. Valide e calcule hashes dos CSV finais, guarde arquivos locais, aprovação e riscos pendentes, e exclua as chaves do modelo. Mudar fonte, ordem ou parâmetros exige nova revisão; limpeza geral e análise estatística seguem nos roteiros relacionados.
Guia de fluxo de trabalho
Valide o CSV, examine rótulos ausentes e conte classes. Revise unidade e tempo de previsão; interrompa se o isolamento necessário por grupo ou tempo não puder ser imposto.
Selecione campos mantendo uma chave não preditiva ou vínculo externo. Compare conteúdo, não apenas IDs; remova somente cópias acidentais confirmadas e registre o motivo.
Calcule o hash exato e registre ordem e parâmetros. Execute a divisão estratificada padrão com semente e exporte o ZIP; k-fold opcional gera pares, não um teste final independente.
Reconte rótulos, confira membros, avisos e sobreposição de entidades e conteúdo. Preserve a avaliação; compare balanceamento apenas no treino e não trate a prévia SMOTE como dados aumentados exportados.
Use esta rota apenas com independência justificada. Pessoas repetidas, documentos relacionados e previsões futuras podem exigir divisão externa por grupos ou tempo.
Confira quantidades reais. Uma classe pode faltar mesmo com entrada válida; colete dados ou revise o plano, em vez de desativar estratificação para ocultar avisos.
Guarde primeiro uma base inalterada. Compare alternativas somente no treino ou dentro de cada partição de treinamento da validação cruzada, nunca na base completa ou avaliação.
Valide cada CSV e confira colunas, quantidades e membros aprovados. Guarde hashes, arquivos locais, split_report.json e revisões externas; mudanças exigem nova aprovação.