Postgres'ten Apache Iceberg'e Kesintisiz CDC

Apache Iceberg veri yükleme sırasında satır silme için iki mekanizma sunar: position delete ve eşitlik delete.

Position delete, dosya yolu ve satır numarasıyla hızlı sorgu performansı sağlar ancak gerçek zamanlı CDC senaryolarında yüksek gecikme ve düşük verimlilik yaratır.

Equality delete, satırın fiziksel konumunu bilmeden birincil anahtar değerleriyle silme işlemi yapar ve yazma tarafında düşük gecikme sunar, ancak sorgularda merge-on-read nedeniyle performans maliyeti ortaya çıkar.

Birçok ana akım sorgu motoru (Snowflake, Databricks, Redshift) tam equality delete desteği sunmadığından gerçek zamanlı CDC kurulumu zorlaşır.

RisingWave, hibrit silme stratejisi (aynı batch içi konum silme ve batch dışı eşitlik silme), zamanlanabilir kompaksiyon ve ön dışa aktarma optimizasyonu ile tam uçtan uca CDC→Iceberg akışını destekler.

RisingWave’ın saklama günlükçüsü ile tekrarlanabilir, idempotent commit garantisi, yüksek frekanslı güncelleme ve silme senaryolarında veri kaybını ve çift yazımı önler.

Siemens örneğinde, RisingWave kullanımı gerçek zamanlı görünürlüğü artırdı, mimariyi basitleştirdi ve ek Spark işi ihtiyacını ortadan kaldırdı.