Elysia Tools
Навигация
Workflow Playbook
Выясните, почему импорт CSV раз за разом срывается, свейте разнобой заголовков со схемой цели, уберите дубликаты по заявленному правилу и получите типизированные инструкции INSERT или TSV для массовой загрузки.
Впервые проходите этот процесс? Следуйте шагам по порядку, начиная с первого инструмента ниже. Уже знаете, что нужно? Переходите сразу к подходящему шагу: все инструменты этого процесса собраны в сравнительной таблице.
Первый инструмент: Валидатор CSV
Темы
| Инструмент | Что делает | Категория |
|---|---|---|
| Валидатор CSV | Проверяет структуру CSV, обнаруживает битые строки, несбалансированные кавычки и несовпадение колонок | Data Processing |
| Резолвер псевдонимов заголовков CSV | Сопоставляет грязные заголовки CSV с чистой целевой схемой. Вставьте CSV, первая строка которого содержит неаккуратные имена столбцов (Customer ID, user_id, customerId, CUST_ID…), целевую схему (один столбец на строку) и необязательный словарь "псевдоним=цель". Каждый заголовок разрешается в четыре прохода — точное совпадение, словарь, нормализация (регистр/акценты/разделители/camelCase) и нечёткая дистанция редактирования — и выводится в таблице с методом и уверенностью, плюс покрытие целей и опциональный нормализованный CSV. | Development |
| Удаление дублирующихся строк CSV | Загрузите CSV-файл или вставьте CSV-текст, удалите дубли строк по точному или нечеткому совпадению и скачайте очищенный CSV. | Data Processing |
Темы
| Генератор INSERT SQL из CSV |
| Разбирает CSV/Excel-CSV/TSV (авто-диалект, RFC 4180) и генерирует пакеты INSERT для MySQL/PostgreSQL/SQLite/SQL Server с выводом типов и ON CONFLICT/IGNORE |
| Format Conversion |
| Конвертер CSV ↔ TSV | Двусторонняя конвертация CSV↔TSV. Корректно обрабатывает поля в кавычках, встроенные разделители и многострочные ячейки. | Format Conversion |
Провалившийся импорт редко объясняет сам себя. Загрузчик сообщает синтаксическую ошибку около такой-то строки или, того хуже, грузит половину файла и останавливается, а оператору остаётся гадать между кодировками, разделителями и стилями кавычек. Поэтому первый шаг — не починка, а диагностика — запустите структурную валидацию и получите список дефектов с номерами строк: битые строки, незакрытые кавычки, столбцы, не сходящиеся с заголовком. Файл, который валидируется чисто, но всё равно не грузится, страдает заголовками или дубликатами — ровно тем, чем занимаются следующие два шага. Файл, который валидируется грязно, сперва чинит неровные строки или сознательно их пропускает, потому что каждый следующий инструмент доверяет той структуре строк, которую ему вручили.
Целевая таблица — договор; первая строка файла — торг. Внешние выгрузки приходят с Customer ID в январе, userid в феврале и CUSTID всякий раз, когда отчёт делает другая команда. Разрешение заголовков отображает каждое из этих имён на настоящие столбцы целевой схемы, соединяя многослойное автосопоставление с явным словарём псевдонимов для имён, уже известных как ненадёжные. Результат этого шага — таблица соответствий, где каждый столбец схемы питается ровно от одного исходного заголовка — ничего не осталось неохваченным, ничего не оспаривается вдвоём. Неохваченный столбец обернётся тихими NULL после загрузки; оспариваемый двумя — тем, что одно поле молча затрёт другое. Оба дефекта дешевле поймать на экране сопоставления, чем в запросе три недели спустя.
Повторные строки в файле импорта редко бывают случайностью — это повторные выгрузки, формы, отправленные дважды, или два человека, вносящие одного клиента. Поэтому дедупликация принадлежит заявленному правилу, а не рефлексу. Точное совпадение — честное значение по умолчанию — оно убирает строки, встречающиеся дважды слово в слово, и никогда не трогает те, что лишь похожи. Нечёткое заслуживает места, когда файл набран вручную и пробел или регистр разделяют настоящих близнецов — и оно обязано быть записанным, ибо «мы удалили 340 строк» защищаемо лишь тогда, когда критерий зафиксирован. Арифметика строк замыкается на этом шаге — исходные строки, минус дубликаты, минус пропущенные битые строки, равны тому, что выдаст следующий шаг.
Конечный артефакт следует пути загрузки. Пакетные инструкции INSERT подходят для умеренной, проверяемой загрузки — они несут вывод типов, нацелены на MySQL, PostgreSQL, SQLite или SQL Server и объявляют стратегию конфликтов, ON CONFLICT или IGNORE, так что повторный прогон ничего не удваивает. Их можно читать на код-ревью, положить в систему контроля версий и проиграть заново по мере надобности. Выход TSV служит штатному массовому загрузчику — пути COPY и LOAD DATA поглощают чистый файл с табуляцией несравнимо быстрее любого потока инструкций, а преобразование диалекта заботится о полях в кавычках и встроенных разделителях, чтобы TSV оставался безопасным для разбора. Оговорка одна — массовый загрузчик не станет разрешать конфликты за вас, поэтому файл с возможными повторными прогонами принадлежит пути INSERT, где живёт стратегия конфликтов.
Эта страница чинит один внешний CSV, отвергнутый базой данных, и доводит его до первой успешной загрузки. Когда задача перерастает эти рамки, передайте её соседям. Источники, приходящие рабочими книгами, или передача, которая должна еженедельно идти без присмотра, — владение процесса ETL-приёма. Подозрительные значения, выбросы и доказательства качества для спора — владение исследования качества данных. Фильтрация, группировка и переформатирование таблицы, которая и так грузится, — владение процесса утилит CSV, а проектирование или миграция самой схемы — владение страниц миграции схемы базы. Почините сначала — а когда дело станет рутиной, повышьте его до конвейера.
Руководство по рабочему процессу
Запустите структурную валидацию и получите поимённый список дефектов с номерами строк — битые строки, незакрытые кавычки, неровное число столбцов — вместо молчаливого отказа базы.
Разрешите несовместные имена столбцов вроде Customer ID, user_id и CUST_ID на настоящие столбцы таблицы, сочетая автосопоставление с явным словарём псевдонимов для имён, которым вы уже не доверяете.
Возьмите точное совпадение для повторных выгрузок, встречающихся дважды слово в слово, и нечёткое для почти-дубликатов ручного ввода — и запишите выбор, потому что само правило часть поставки.
Сгенерируйте пакетные инструкции INSERT с выводом типов и стратегией конфликтов для MySQL, PostgreSQL, SQLite или SQL Server, либо отдайте безопасный по кавычкам TSV штатному массовому загрузчику COPY или LOAD DATA.
Точное совпадение убирает настоящие повторные выгрузки, где одна и та же строка встречается дважды слово в слово; нечёткое ловит и почти-дубликаты ручного ввода, различающиеся пробелом или регистром, но рискует слить две действительно разные строки.
Пакетные INSERT проверяемы, переносимы между MySQL, PostgreSQL, SQLite и SQL Server и несут обработку конфликтов ON CONFLICT или IGNORE; TSV, отданный штатному пути COPY или LOAD DATA, на миллионах строк куда быстрее, но конфликтами занимается сам загрузчик.
Явный словарь псевдонимов делает еженедельные импорты повторяемыми и проверяемыми; многослойное автоматическое сопоставление подходит для разового файла, чьи заголовки вы видите впервые.