Κλιμάκωση Παρατηρησιμότητας σε 100+ PB

Το LogHouse κλιμακώθηκε από 19 PiB σε πάνω από 100 PB αδόμητα δεδομένα και από ~40 τρισεκατομμύρια σε 500 τρισεκατομμύρια γραμμές.

Η ειδική pipeline System Tables Exporter (SysEx) επιτυγχάνει 20× αύξηση όγκου συμβάντων με λιγότερο από 10% της CPU σε σχέση με την OpenTelemetry.

Το SysEx αντιγράφει δεδομένα byte-for-byte απευθείας από τα ClickHouse system tables, χωρίς ενδιάμεσους μετατροπείς, διατηρώντας πλήρη ακεραιότητα.

Η δυναμική διαχείριση σχημάτων με δημιουργία νέων εκδόσεων πινάκων και χρήση Merge engine επιτρέπει απρόσκοπτη εξέλιξη ενώσεων.

Συνδυασμός SysEx και OpenTelemetry: OTel χρησιμοποιείται για logs σε καταστάσεις σφαλμάτων, ενώ SysEx για υψηλές απαιτήσεις απόδοσης.

Η ενσωμάτωση HyperDX παρέχει ClickHouse-native UI με Lucene syntax και δυνατότητα εναλλαγής σε SQL για σύνθετη ανάλυση.

Υιοθετείται μοντέλο wide events με καταγραφή κάθε μεμονωμένου συμβάντος και μετάθεση όλων των υπολογισμών σε ερώτημα χρόνου εκτέλεσης.