Observabilidade a 100 PB com SysEx e HyperDX

LogHouse cresceu de 19 PiB/37 trilhões para mais de 100 PB/500 trilhões de linhas em um ano.

Pipeline OpenTelemetry provou-se ineficiente: overhead de parsing, marshalling e perda de dados em picos de tráfego.

SysEx (System Tables Exporter) realiza cópia byte-a-byte de tabelas de sistema ClickHouse, eliminando conversões e reduzindo uso de CPU para menos de 10% do necessário com OTel.

Arquitetura SysEx usa scrapers Go distribuídos por hash ring, janelas de 5 minutos para evitar perda e unificação dinâmica de esquemas com Merge engine.

Introdução do HyperDX: UI nativa ClickHouse com sintaxe Lucene e suporte SQL para exploração, correlação e análise raiz em larga escala.

Mudança de paradigma: armazenar eventos amplos e alta cardinalidade sem pré-agregação, delegando agregações ao tempo de consulta.

Novas fontes no LogHouse incluem kubenetmon, Kubernetes Event Exporter, dados do plano de controlo, RUM e logs do Istio.

Futuro aponta para zero-impact scraping via discos em S3 e avaliação de JSON vs Map para dados semi-estruturados.