Независимы ли строки?
Применяйте этот путь только при обоснованной независимости. Повторяющиеся люди, связанные документы или прогноз будущего могут требовать внешнего разбиения по группам или времени.
Elysia Tools
Навигация
Workflow Playbook
Подготовьте независимые записи, зафиксируйте воспроизводимое разбиение, проверьте покрытие классов и ограничения контроля утечек и передайте выборки с журналом.
Впервые проходите этот процесс? Следуйте шагам по порядку, начиная с первого инструмента ниже. Уже знаете, что нужно? Переходите сразу к подходящему шагу: все инструменты этого процесса собраны в сравнительной таблице.
Первый инструмент: Валидатор CSV
Темы
| Инструмент | Что делает | Категория |
|---|---|---|
| Валидатор CSV | Проверяет структуру CSV, обнаруживает битые строки, несбалансированные кавычки и несовпадение колонок | Data Processing |
| Профилировщик качества датасетов | Строит профиль качества CSV или JSON, выявляя пропуски, дубли, дрейф форматов и выбросы. | Data Analysis |
| Группировщик данных CSV | Группируйте данные CSV по указанным столбцам с опциями агрегации. Идеально для суммирования и анализа больших наборов данных по категориям, датам или другим критериям. | Data Processing |
| Выборщик столбцов CSV | Выбирайте определенные столбцы из данных CSV по именам столбцов или индексам. Идеально для извлечения релевантных данных из больших CSV файлов со множеством столбцов. | Data Processing |
Темы
| Удаление дублирующихся строк CSV | Загрузите CSV-файл или вставьте CSV-текст, удалите дубли строк по точному или нечеткому совпадению и скачайте очищенный CSV. | Data Processing |
| Проверщик Хеша Файла | Вычисляет хеш-значения MD5/SHA1/SHA256 для файлов и проверяет их соответствие ожидаемым | Utilities |
| Разделение train/test со стратификацией | Читает датасет CSV/JSON и делит на train/validation/test со стратификацией по целевому столбцу (по умолчанию 70/15/15, воспроизводимое зерно) или стратифицированный k-fold; отчёт о распределении классов по сплитам с полосами отклонения, проверка утечек через дубликаты строк, предпросмотр SMOTE (интерполяция ближайших соседей на train) и экспорт CSV в ZIP. | Data Analysis |
| Детектор дисбаланса датасета и ресемплер | Выявляет дисбаланс классов в CSV или JSON, сравнивает стратегии ресемплинга и показывает сбалансированный набор | Data Analysis |
Этот порядок даёт проверенные файлы обучения, валидации и теста для классификационного эксперимента, но не модель и не подтверждение отсутствия смещения. Определите наблюдение и информацию, доступную в момент прогноза. Пациенты, пользователи, семьи и связанные документы не становятся независимыми из-за разных строк. При обязательной изоляции групп или времени применяйте внешний способ: инструмент не имеет таких настроек.
Подтвердите разрешение и сохраните контролируемую связь с источниками. Проверьте пустые метки, варианты написания и количества; пропуск цели нельзя незаметно превращать в класс. До разбиения проверьте CSV: считыватель может дополнять короткие строки и обрезать ячейки за шириной заголовка. Исправьте неоднозначные заголовки и повреждённые записи; успешный экспорт не доказывает сохранение всех значений.
Для подсчёта классов передавайте группировщику отдельно проверенную простую таблицу меток, без многострочных признаков и разделителей внутри кавычек. Его разбор прост: при сложном CSV используйте подходящий внешний считыватель и сверяйте суммы. Не переименовывайте и не объединяйте метки ради совместимости с разбором.
Выберите признаки и цель, оставив устойчивый ключ вне признаков модели либо разрешённый внешний реестр. Для проверки повторов сравнивайте значимое содержимое в отдельной копии, где уникальные ID не скрывают равенство, сохраняя связь с каждой исходной строкой. Удаление дубликатов меняет данные: не запускайте его на единственном оригинале и не принимайте нечёткие совпадения автоматически.
Повторные измерения могут быть законными и требовать другого разбиения, а не удаления. Противоречащие метки одинакового содержимого нужно рассмотреть, а не произвольно отбросить одну. Запишите удалённые случайные копии и сохранённые ключи. Не подгоняйте заполнение пропусков, масштабирование, отбор признаков или балансировку по всему набору; обучаемые преобразования подгоняются только на обучении.
Запишите хеш точного ввода, порядок, поля, цель, версию инструмента, режим, доли, начальное число и переключатели перемешивания и стратификации. Одно начальное число не воспроизводит изменённый ввод или другую реализацию и не гарантирует состав как в scikit-learn. В стандартном режиме тест получает остаток после обучения и валидации. Проверяйте целые фактические количества, а не только запрошенные проценты.
Для 100 независимых записей с классами 80 и 20 план 70/15/15 может дать меньшему классу 14/3/3. Два примера не покрывают три части. Не объединяйте разные по смыслу метки и не отключайте стратификацию только ради исчезновения предупреждений. В k-fold обучающие части разных складок намеренно пересекаются, но каждая пара должна изолировать своих валидационных участников. Независимый итоговый тест не создаётся.
Проверьте ZIP: стандартный режим содержит train.csv, validation.csv, test.csv и split_report.json. Пересчитайте классы и сверьте ключи с утверждённым вводом; каждый допустимый оригинал должен встречаться ровно один раз среди трёх частей. Встроенный контроль сравнивает полные строки: другой ID или небольшое изменение могут скрыть одинаковые признаки. Отдельно проверяйте сущности, близкие копии и информацию из будущего. JSON не является полным реестром состава или утечек; сохраните также показанные предупреждения и внешние проверки.
Инструмент дисбаланса используйте только на копии обучения, а при кросс-валидации — внутри каждой обучающей части. SMOTE здесь показывает числовые примеры, не добавляя их в экспортируемые CSV. Целочисленный код или ID не становится непрерывным признаком лишь потому, что читается как число. Оценочные наборы не меняйте, а утверждённую балансировку оформляйте отдельным экспериментом. Проверьте и хешируйте итоговые CSV, сохраните локальные файлы, одобрение и открытые риски, исключив ключи из модели. Изменение источника, порядка или настроек требует новой проверки; общая очистка и статистика относятся к связанным сценариям.
Руководство по рабочему процессу
Проверьте CSV, пропуски меток и количества классов. Уточните единицу и время прогноза; остановитесь, если обязательную групповую или временную изоляцию обеспечить нельзя.
Выберите поля, сохранив непредиктивный ключ или внешнюю связь. Сравнивайте содержимое, а не только ID; удаляйте лишь подтверждённые случайные копии с записью причины.
Вычислите хеш точного ввода, запишите порядок и настройки. Выполните стандартное разбиение с фиксированным начальным числом и выгрузите ZIP; k-fold создаёт пары, а не независимый финальный тест.
Пересчитайте метки, сверьте состав, предупреждения, сущности и содержимое. Оценку не меняйте; балансировку рассматривайте только на обучении, а SMOTE — как предварительный просмотр, не выгруженное дополнение.
Применяйте этот путь только при обоснованной независимости. Повторяющиеся люди, связанные документы или прогноз будущего могут требовать внешнего разбиения по группам или времени.
Проверяйте реальные количества. Класс может отсутствовать даже при допустимом вводе; соберите данные или пересмотрите план, а не отключайте стратификацию ради скрытия предупреждений.
Сначала сохраните неизменённую базу. Сравнивайте балансировку только на обучении либо внутри каждой обучающей части кросс-валидации, не на всём наборе и не на оценке.
Сверьте каждый CSV со столбцами, количеством и утверждённым составом. Сохраните хеши, локальные файлы, split_report.json и внешние проверки; изменения требуют повторного одобрения.