LogHouse creció de 19 PiB y 37 billones de filas a más de 100 PB y casi 500 billones de filas.
El pipeline genérico de OpenTelemetry resultó ineficiente y provocaba pérdidas de datos y alto consumo de CPU.
SysEx, un exportador especializado de tablas de sistema, copia datos byte a byte entre ClickHouse evitando transformaciones intermedias.
SysEx usa 70 núcleos de CPU para procesar 37 millones de logs por segundo, frente a los 800 núcleos que requería OpenTelemetry para 2 millones de logs por segundo.
Se implementa scraping basado en ventanas temporales y snapshots periódicos de tablas en memoria para asegurar la entrega completa y permitir análisis históricos.
Las consultas a nivel de toda la flota permiten ejecutar dashboards y diagnósticos SQL en cientos de instancias simultáneamente.
HyperDX, UI nativa de ClickHouse, ofrece exploración, correlación y análisis con sintaxis Lucene y soporte SQL para consultas complejas.
Se adopta un modelo de eventos anchos y alta cardinalidad, almacenando todos los datos sin preagregación y dejando la agregación para el momento de la consulta.
OpenTelemetry sigue usándose para logs en crash loops y solo a nivel de información para reducir volumen y recursos.
Se incorporan nuevas fuentes de datos: kubenetmon, exportador de eventos de Kubernetes, RUM e logs de Istio para visibilidad multinivel.
Get notified when new stories are published for "🇪🇸 Hacker News Espanyol"