Skalowanie platformy observability do 100 PB

Platforma LogHouse urósł z 19 PiB do 100 PB nie­sko­m­p­re­so­wa­nych logów i z 40 na 500 bln wierszy.

Standardowy pipeline OpenTelemetry okazał się wąskim gardłem – przetwarzanie JSON, marshal/unmarshal i limity CPU prowadziły do strat danych.

SysEx (System Tables Exporter) wykonuje dosłowne kopiowanie bajt po bajcie z systemowych tabel ClickHouse, eliminując pośrednie konwersje i zachowując pełną wierność danych.

SysEx potrzebuje zaledwie 70 rdzeni CPU do przesyłu 37 mln logów/s, podczas gdy OTel wymagałby ponad 800 rdzeni do 2 mln logów/s.

Dynamiczne zarządzanie schematami: SysEx generuje wersje tabel, a silnik Merge łączy je w jednorodny widok, zapewniając kompatybilność wsteczną.

Okresowe migawki tabel pamięciowych (np. system.processes) pozwalają na analizę stanu klastra w dowolnym momencie i historyczne śledzenie zmian.

Możliwość wykonywania zapytań fleet-wide – te same zapytania diagnostyczne uruchamiane na wszystkich instancjach klientów w czasie rzeczywistym.

Integracja HyperDX jako ClickHouse-natywne UI umożliwia szybkie przeszukiwanie, korelację i analizę szerokich zdarzeń w Lucene-syntax i SQL.

Model Observability 2.0 opiera się na przechowywaniu szerokich zdarzeń o wysokiej krotności atrybutów i agregacji dopiero przy zapytaniu, zamiast w fazie ingestu.