Elysia Tools

Просматривайте инструменты, примеры, визуальные объяснения и тематические руководства в одном понятном пространстве.

Популярные категории

Темы

Язык
ZHDERUPTENFRES

Elysia Tools

Навигация

Data Analysis

Оценщик обрезки Parquet по bloom-фильтрам, zone-картам, словарям и статистике колонок

· Последнее обновление:2026-09-06

Декодирует thrift-footer Parquet и количественно оценивает обрезку predicate pushdown: min/max zone-карт, split-block bloom-фильтры (XXH64), доли словарей и кодировки, с оценками экономии по группам строк для примерных предложений WHERE.

Детали

С чем помогает этот инструмент

Самописный ридер thrift compact декодирует footer и обходит каждую заголовок страницы; статистика превращается в настоящие zone-карты; проверка bloom выполняет реальную арифметику XXH64 + SBBF; предикаты (=, !=, <, <=, >, >=, BETWEEN, IN) по каждой группе строк классифицируются как обрезано-картой, обрезано-bloom или сканирование с байтовой стоимостью из totalcompressedsize.

Запуск

Запустить этот инструмент

Заполните форму, запустите инструмент и посмотрите результат на этой же странице.

Примеры

Примеры для этого инструмента

Связано

Продолжить с похожими инструментами и темами

Подготовлено командой Elysia Tools

Руководство по использованию инструмента

Узнайте, когда использовать этот инструмент, что он поддерживает и как его применяют пользователи.

Ключевые факты

Категория
Data Analysis
Типы ввода
file, textarea
Тип вывода
html
Покрытие примерами
4
API доступен
Да

Обзор

Инструмент анализирует thrift-footer Parquet-файла, извлекая zone-карты min/max, страницы-словари и split-block bloom-фильтры (XXH64), чтобы рассчитать реальную эффективность predicate pushdown и объем сэкономленных байтов для указанных фильтров WHERE.

Когда использовать

  • Оптимизация производительности аналитических SQL-запросов и оценка пропуска групп строк (row groups) в хранилищах данных.
  • Проверка наличия, корректности и эффективности bloom-фильтров и min/max-статистики после генерации Parquet-файлов пайплайнами данных.
  • Аудит распределения словарей, кодировок (RLE_DICTIONARY/PLAIN) и потенциального объема считывания данных при фильтрации.

Как это работает

  1. 1Парсер читает thrift-footer и декодирует метаданные колонок, заголовки страниц и параметры кодирования для каждой группы строк.
  2. 2Вычисляются точные диапазоны zone-карт (min/max) и при наличии проверяются блоки bloom-фильтра (SBBF) через алгоритм XXH64.
  3. 3Каждое переданное условие WHERE проверяется против метаданных, классифицируя статус группы строк: обрезано zone-картой, обрезано bloom-фильтром или полное сканирование.
  4. 4Формируется детальный интерактивный HTML-отчет с экономией сжатого объема данных (total_compressed_size) в байтах и процентах.

Сценарии использования

  • Анализ структуры Parquet-файлов перед деплоем ETL-процессов в хранилища DuckDB, ClickHouse или Spark.
  • Диагностика медленных запросов из-за отсутствия bloom-фильтров по колонкам с высокой кардинальностью (UUID, ID заказов).
  • Проверка эффективности сортировки данных и ее влияния на диапазонную обрезку через zone maps.

Примеры

1. Оценка обрезки по числовым и строковым предикатам

Data Engineer

Контекст

Инженер подготовил датасет с двумя группами строк (id 1–50 и 51–100) и настроил 96-байтовые bloom-фильтры по полю id.

Проблема

Необходимо проверить, срабатывает ли пропуск групп строк по условиям равенства и диапазона.

Как использовать

Загрузите файл Parquet и вставьте список целевых предикатов в поле ввода.

id = 75
id > 60
name = 'zeta'

Результат

HTML-отчет показывает: предикат id = 75 отсекает группу 0 по zone-карте, id > 60 дает 50% экономии байт, а name = 'zeta' обрезает обе группы на 100%.

2. Аудит словарного кодирования и zone map без bloom-фильтров

Аналитик данных

Контекст

В Parquet-файле из Arrow присутствуют только словарные страницы и min/max статистика, bloom-фильтры отсутствуют.

Проблема

Определить, достаточна ли zone map для фильтрации точечного значения товара.

Как использовать

Загрузите файл `sample.parquet` и укажите фильтр по строковой колонке.

FAQ

Какие операторы предикатов поддерживаются для анализа?

Поддерживаются операторы =, !=, <, <=, >, >=, а также диапазоны BETWEEN a AND b и списки IN (x, y).

Как рассчитывается экономия байтов при пропуске данных?

Экономия рассчитывается суммированием total_compressed_size тех групп строк и колонок, чтение которых исключается благодаря фильтрам.

Поддерживаются ли bloom-фильтры формата Parquet?

Да, инструмент выполняет нативную проверку Split-Block Bloom Filter (SBBF) с использованием хеш-функции XXH64.

Какой максимальный размер Parquet-файла можно загрузить?

Максимальный поддерживаемый размер файла составляет 100 МБ (104 857 600 байт).

Что означает статус «сканирование» (scan) в отчете?

Статус сканирования означает, что min/max статистика и bloom-фильтр не смогли исключить группу строк, и движку придется прочитать эти данные.

Главная
Инструменты3212
Примеры593
Визуализации471
Средства просмотра файлов103
Темы239
Теги333
Изображения, аудио и видео657

Инструменты для обработки, конвертации и оптимизации изображений, аудио и видео

Математика, даты и финансы647

Калькуляторы, числовые инструменты, логика дат, статистика и финансы

Дизайн и цвет298

Инструменты для цвета, макетов, графики, визуального стиля и дизайна

Текст и письмо209

Инструменты для письма, очистки, форматирования, извлечения и анализа текста

Разработка и Web193

Инструменты разработчика, сетевые утилиты, веб-отладка и автоматизация

Преобразование и кодирование175

Инструменты для преобразования форматов, файлов, архивов, единиц и кодировок

Запуск квиза для привлечения потенциальных клиентов и передача контактов
Памятные тексты: семейная проверка и передача в печать
Личные привычки: резервная копия, восстановление и проверка перед передачей
Из статьи в черновики X и LinkedIn: проверка фактов и передача
Проверка интерактивного Markdown-урока и автономная передача

© 2026 Elysia Tools. Все права защищены.

ДокументацияТарифыО насУсловия использованияПолитика конфиденциальностиCookieКонтакты
Data Analysis

Примеры прунинга Parquet

Parquet-фикстуры для проверки оценщика прунинга по bloom-фильтрам, картам зон и словарям

Java

Примеры Обработки Изображений Android Java

Примеры обработки изображений Android Java включая чтение/сохранение, масштабирование и преобразование формата

Kotlin

Примеры Обработки Изображений Android Kotlin

Примеры обработки изображений Android Kotlin включая чтение/сохранение, масштабирование и преобразование формата

Python

Примеры Обработки Изображений Web Python

Примеры обработки изображений Web Python используя PIL/Pillow включая чтение, сохранение, изменение размера и преобразование формата

Design

Компоновщик сетки шаблонов для соцсетей

Загрузите одно мастер-изображение и получите полный комплект: Instagram (1:1 / 4:5 / 3:4 для сетки / Story / Reel), X (хедер 1500×500 / лента), LinkedIn (личный баннер / обложка компании / картинка поста), YouTube (превью / баннер канала) и ссылку Facebook. Каждый кроп показывается с проверенной 2025-2026 маской безопасной зоны (поля Story, круг аватара X, зона аватара LinkedIn, плашка длительности YouTube) и всё уезжает в ZIP.

Media

Тональное преобразование HDR AVIF в SDR PNG

Декодирует PQ или HLG AVIF, преобразует BT.2020 в sRGB и отображает света в SDR PNG.

Media

Массовое сжатие изображений

Сжатие нескольких изображений с контролем качества и оптимизацией размера

Development

Генератор Data URI

Преобразует файлы в Data URI (Base64 или процентное кодирование) для встраивания изображений, шрифтов и ресурсов прямо в HTML, CSS или Markdown

product = 'Keyboard'

Результат

Инструмент выводит структуру страниц RLE_DICTIONARY и предупреждает, что значение попадает в диапазон Headphones–Mouse, требуя полного сканирования из-за отсутствия bloom-фильтра.