Elysia Tools

Durchsuche Tools, Beispiele, visuelle Erklärungen und Themenguides an einem klaren Ort.

Beliebte Kategorien

Themen

Sprache
ZHDERUPTENFRES

Elysia Tools

Mobile Navigation

Data Analysis

Parquet-Bloom-Filter-ZoneMap-Wörterbuch- und Spaltenstatistik-Pruning-Bewerter

· Zuletzt aktualisiert:2026-09-06

Dekodiert den Parquet-Thrift-Footer und quantifiziert Predicate-Pushdown-Pruning: Zone-Map-Min/Max, Split-Block-Bloomfilter (XXH64), Wörterbuchverhältnisse und Encodings, mit Pruning-Einsparungen je Zeilengruppe für Beispiel-WHERE-Klauseln.

Einzelheiten

Wobei dieses Tool hilft

Ein handgeschriebener Thrift-Compact-Reader dekodiert den Footer und läuft über jeden Page-Header; Statistiken werden zu echten Zone-Maps dekodiert; die Bloom-Mitgliedschaft führt die echte XXH64- + SBBF-Arithmetik aus; Prädikate (=, !=, <, <=, >, >=, BETWEEN, IN) werden je Zeilengruppe als durch-Zone-Map-geprunt, durch-Bloom-geprunt oder Scan eingestuft, mit Bytekosten aus totalcompressedsize.

Ausführung

Dieses Tool ausführen

Fülle das Formular aus, starte das Tool und prüfe das Ergebnis an einem Ort.

Beispiele

Beispiele zu diesem Tool

Verwandt

Mit verwandten Tools und Themen fortfahren

Verfasst vom Elysia Tools Team

Leitfaden zur Tool-Nutzung

Erfahren Sie, wann dieses Tool passt, was es unterstützt und wie Nutzer es anwenden.

Wichtige Fakten

Kategorie
Data Analysis
Eingabetypen
file, textarea
Ausgabetyp
html
Sample-Abdeckung
4
API bereit
Ja

Überblick

Dieser Pruning-Bewerter analysiert Parquet-Dateien über das Thrift-Footer-Protokoll und berechnet das Einsparpotenzial durch Predicate Pushdown. Er prüft Zone-Maps, Split-Block-Bloomfilter (XXH64) sowie Wörterbuch- und Spaltenstatistiken, um für definierte WHERE-Klauseln exakt aufzuzeigen, welche Zeilengruppen übersprungen oder gescannt werden.

Wann verwenden

  • Vor dem Deployment von Parquet-Pipelines zur Validierung von Min/Max-Statistiken und Split-Block-Bloomfiltern.
  • Zur Ursachenanalyse langsamer Abfragen in Data-Lakehouse-Engines wie DuckDB, Spark oder Trino.
  • Zur Optimierung von Sortierreihenfolgen und Partitionierungsstrategien anhand realer WHERE-Filter.

So funktioniert es

  1. 1Der Thrift-Compact-Reader liest den Dateifooter ein und extrahiert Page-Header, Kompressionsgrößen sowie Spaltenstatistiken.
  2. 2Eingegebene SQL-Prädikate (=, !=, <, <=, >, >=, BETWEEN, IN) werden gegen die decodierten Zone-Map-Grenzwerte jeder Zeilengruppe abgeglichen.
  3. 3Gleichheitsfilter führen die XXH64- und Split-Block-Bloomfilter-Berechnung aus, um die Mitgliedschaft in Spalten-Chunks zu verifizieren.
  4. 4Das Tool generiert einen HTML-Report mit Kennzeichnung als Zone-Map-Pruning, Bloom-Pruning oder Scan inklusive der prozentualen Byte-Einsparung.

Anwendungsfälle

  • Prüfung der Wirksamkeit von Parquet-Bloomfiltern bei IDs oder UUIDs mit hoher Kardinalität.
  • Messung der Datenreduktion durch Min/Max-Zone-Maps bei chronologisch oder numerisch sortierten Datensätzen.
  • Benchmarking von Wörterbuch- und RLE-Kodierungsverhältnissen vor dem Schreiben großer Datenmengen.

Beispiele

1. Evaluierung von ID-Lookups mit Bloomfiltern

Data Engineer

Hintergrund

Eine Analytics-Pipeline speichert Transaktionen in Parquet-Dateien mit mehreren Zeilengruppen und nutzt Split-Block-Bloomfilter.

Aufgabe

Es soll überprüft werden, ob Punktabfragen auf trans_id unnötige Zeilengruppen-Scans zuverlässig vermeiden.

Verwendung

Parquet-Datei hochladen und die Klausel `trans_id = 10452` in das Prädikate-Feld eingeben.

trans_id = 10452

Ergebnis

Der Report zeigt, welche Zeilengruppen per Bloomfilter übersprungen werden und wie viele komprimierte Bytes eingespart wurden.

2. Bereichsabfrage auf sortierten Zeitreihen

Database Administrator

Hintergrund

Ein Data Warehouse führt regelmäßige Zeitbereichsabfragen über große, nach Timestamp sortierte Parquet-Dateien aus.

Aufgabe

Unklare Scan-Kosten bei Abfragen, die nur einen kleinen Zeitraum eines mehrteiligen Row-Group-Datensatzes betreffen.

Verwendung

Datei auswählen und den Zeitbereichsfilter per BETWEEN-Ausdruck im Textfeld definieren.

FAQ

Welche Prädikate werden für die Pruning-Berechnung unterstützt?

Unterstützt werden Gleichheit (=), Ungleichheit (!=), Vergleichsoperatoren (<, <=, >, >=), BETWEEN sowie IN-Listen.

Wie wird die Bloomfilter-Prüfung durchgeführt?

Die Prüfung nutzt native XXH64-Hashwerte und die Parquet-Split-Block-Bloomfilter-Arithmetik (SBBF) der Spalten-Chunks.

Welche Dateiformate und Größenlimits gelten?

Es werden .parquet- und .pq-Dateien bis zu einer Größe von 100 MB unterstützt.

Werden Daten während der Analyse auf einen Server übertragen?

Die Auswertung erfolgt direkt im Browser über das Decodieren des Thrift-Footers ohne externe Speicherung.

Was bedeutet ein 'Scan' im generierten Bericht?

Ein Scan tritt auf, wenn weder Zone-Maps noch Bloomfilter beweisen können, dass der gesuchte Wert in der Zeilengruppe fehlt.

Start
Werkzeuge3212
Beispiele593
Visualisierungen471
Dateibetrachter103
Themen239
Schlagwörter333
Bilder, Audio & Video657

Werkzeuge für Bild-, Audio- und Videobearbeitung, Konvertierung und Optimierung

Mathe, Datum & Finanzen647

Rechner, Zahlenwerkzeuge, Datumslogik, Statistik und Finanztools

Design & Farbe298

Werkzeuge für Farben, Layouts, Grafiken, visuelle Gestaltung und Designhilfen

Text & Schreiben209

Werkzeuge für Schreiben, Bereinigung, Formatierung, Extraktion und Textanalyse

Entwicklung & Web193

Entwicklerwerkzeuge, Netzwerk-Utilities, Web-Debugging und Automatisierungshelfer

Konvertierung & Kodierung175

Werkzeuge für Format-, Datei-, Archiv-, Einheiten- und Kodierungskonvertierung

Lead-Quiz veröffentlichen und Kontakte sicher übergeben
Gedenktexte: Familienprüfung und Übergabe zum Druck
Private Gewohnheiten: Sicherung, Wiederherstellung und Freigabeprüfung
Vom Artikel zu X- und LinkedIn-Entwürfen: Faktenprüfung und Übergabe
Interaktive Markdown-Lektion prüfen und offline übergeben

© 2026 Elysia Tools. Alle Rechte vorbehalten.

DokumentationTarifeÜber unsNutzungsbedingungenDatenschutzerklärungCookiesKontakt
Data Analysis

Parquet-Pruning-Beispiele

Parquet-Fixtures, die den Pruning-Evaluator für Bloomfilter, Zonenkarten und Wörterbücher testen

Java

Android Java Bildverarbeitungsbeispiele

Android Java Bildverarbeitungsbeispiele einschließlich Lesen/Schreiben, Skalierung und Formatkonvertierung

Kotlin

Android Kotlin Bildverarbeitungsbeispiele

Android Kotlin Bildverarbeitungsbeispiele einschließlich Lesen/Schreiben, Skalierung und Formatkonvertierung

Python

Web Python Bildverarbeitung Beispiele

Web Python Bildverarbeitungsbeispiele mit PIL/Pillow einschließlich Lesen, Speichern, Skalieren und Formatkonvertierung

Design

Social-Media-Vorlagen-Raster-Composer

Lade ein Master-Bild hoch und erhalte das komplette Kit: Instagram (1:1 / 4:5 / 3:4 fürs Grid / Story / Reel), X (Header 1500×500 / Feed), LinkedIn (persönliches Banner / Firmencover / Post-Bild), YouTube (Thumbnail / Kanalbanner) und Facebook-Link. Jeder Zuschnitt wird mit seiner 2025-2026 verifizierten Safe-Zone-Maske angezeigt (Story-Ränder, X-Avatar-Kreis, LinkedIn-Avatar-Zone, YouTube-Dauer-Badge) und alles geht als ZIP raus.

Media

HDR-AVIF-zu-SDR-PNG-Tonemapper

Dekodiert PQ- oder HLG-AVIF, konvertiert BT.2020 nach sRGB und bildet Lichter in SDR-PNG ab.

Media

Batch-Bildkompression

Mehrere Bilder mit Qualitätskontrolle und Größenoptimierung komprimieren

Development

Data-URI-Generator

Konvertiert Dateien in Data URIs (Base64 oder prozent-kodiert), um Bilder, Schriftarten und Ressourcen direkt in HTML, CSS oder Markdown einzubetten

created_at BETWEEN '2024-01-01' AND '2024-01-31'

Ergebnis

HTML-Übersicht weist Row-Groups außerhalb des Zeitfensters als 'pruned by zone map' mit 100 % Byte-Einsparung für diese Chunks aus.