O autor construiu um motor de busca do zero em dois meses usando embeddings neurais para melhorar a relevância sobre correspondência de palavras-chave.
Foi gerada uma base de 3 bilhões de embeddings com um cluster de 200 GPUs e indexadas 280 milhões de páginas com latência de consulta de cerca de 500 ms.
O pipeline inclui normalização de HTML para extrair só texto sem «chrome», divisão em sentenças e preservação de contexto via encadeamento de dependências.
O crawler em Node.js usa filas estocásticas e um coordenador Rust para distribuir tarefas, lidar com limites de taxa e falhas de DNS.
A infraestrutura de armazenamento evoluiu de PostgreSQL a um sistema RocksDB em múltiplos shards para suportar 200K gravações por segundo.
Foi implementado serviço de malha com HTTP/2 e mTLS para descoberta, autenticação e comunicações seguras entre serviços distribuídos.
A geração de embeddings em larga escala foi otimizada em Runpod, atingindo 100K embeddings por segundo com 90% de utilização de GPU.
O índice vetorial HNSW foi fragmentado em 64 nós e depois substituído pelo CoreNN, banco vetorial open source com atualização dinâmica em disco.
A camada de apresentação adota server-side rendering e Argo da Cloudflare para reduzir TTFB e garantir experiência de busca instantânea.
Get notified when new stories are published for "Hacker News 🇵🇹 Português"