Deleção por Igualdade no Apache Iceberg

Em cenários de streaming CDC, apenas a deleção por igualdade é viável, mantendo escrita rápida porém penalizando a leitura com merge-on-read.

Sistemas principais como Snowflake, Databricks e Redshift não suportam totalmente deleções por igualdade em Iceberg, comprometendo a consistência dos deletes.

Apache Iceberg define dois mecanismos de deleção: position delete (requere localização física, alto desempenho de leitura) e equality delete (baseado em valores de coluna, mais simples para CDC).

RisingWave implementa um pipeline CDC para Iceberg com abordagem híbrida, usando position deletes no lote e equality deletes fora do lote para alta performance e baixa latência.

A compaction agendada de RisingWave remove arquivos de igualdade e compacta dados para controlar amplificação de leitura e compatibilidade cross-engine.

Antes do export, RisingWave gera uma versão clean sem arquivos de deleção por igualdade, garantindo compatibilidade com engines que não suportam este tipo de delete.

A arquitetura de RisingWave oferece garantias de exatamente-uma vez e idempotência, evitando duplicação de commits em ingestões de alta frequência.