Delphi Scala con Pinecone

Delphi, una startup di AI, gestisce le sue Digital Minds che si basano su chatbots personalizzati attingendo a libri, social feed e registrazioni degli utenti.

L’adozione di Pinecone, un database vettoriale gestito, ha risolto i problemi di scalabilità e prestazioni incontrati con soluzioni open source.

Ogni Digital Mind usa un namespace dedicato in Pinecone per garantire privacy, conformità e ricerche veloci sotto i 100 ms nel 95° percentile.

L’architettura RAG (retrieval-augmented generation) di Delphi suddivide i contenuti in chunk, li embeda e li recupera rapidamente tramite Pinecone per generare risposte in tempo reale.

Pinecone carica dinamicamente i vettori e scarica quelli inattivi, ottimizzando costi e scalabilità orizzontale in base all’utilizzo.

Grazie all’architettura serverless di Pinecone, Delphi gestisce oltre 100 milioni di vettori e 12.000 namespace senza interruzioni, con circa 20 query al secondo.

Delphi punta a scalare fino a milioni di Digital Minds e prevede l’introduzione di nuove funzionalità come la “modalità intervista” per raccogliere ulteriori dati.

Gli esperti sottolineano che RAG resterà fondamentale anche con contesti estesi dei modelli di linguaggio, per migliorare velocità, accuratezza ed efficienza dei costi.