Observabilité à 100 PB avec SysEx et HyperDX

LogHouse passe de 19 PiB à plus de 100 PB et de ~40 T à 500 T de lignes.

Traitement d'une hausse ×20 du volume d'événements avec moins de 10 % des CPU précédents.

Le pipeline OpenTelemetry présente des goulots d'étranglement à très grande échelle.

Introduction de SysEx, un exportateur spécialisé qui réalise une copie byte-à-byte des tables système ClickHouse.

Gestion dynamique des schémas et assemblage des versions via le Merge table engine pour compatibilité continue.

Snapshots périodiques des tables en mémoire pour analyses historiques et time-travel d'états.

Requêtes à l'échelle de la flotte pour diagnostics transversaux et analyses avant/après déploiement.

HyperDX offre une UI native ClickHouse flexible, gérant schémas évolutifs et explorations Lucene ou SQL.

Modèle d’événements larges stockés en brut avec agrégation en temps de requête, sans pré-agrégation.

Perspectives : zero-impact scraping depuis S3 et évaluation du type JSON pour données semi-structurées.