인덱스 문서 수가 광고 탐지 알고리즘 도입으로 3.5억에서 8억으로 증가함.
기존 메모리 매핑 B-트리를 버리고 direct-mode 읽기와 deterministic block skip list 구조를 채택함.
NVMe SSD 성능 최적화를 위해 128KB 블록 크기가 읽기 속도와 지연 시간의 균형점으로 확인됨.
io_uring 기반 비동기 병렬 읽기로 포지션 데이터 조회 성능을 5~20배 향상하고 동시성 및 I/O 지연을 관리함.
데이터 지역성을 고려해 포지션 데이터를 문서별로 클러스터링하여 읽기 효율을 높임.
향후 포지션 데이터 압축 알고리즘 개선 및 브룸 필터 재도입으로 I/O 부담을 추가로 줄일 여지가 있음.
디스크 I/O 벤치마킹 시 캐시 계층, 읽기 모드, 큐 깊이 등을 종합적으로 고려해야 함.
Get notified when new stories are published for "heavy-ties-deny"