Yerel LLM Önbelleğe Alma ve Test Sunucusu

Rubberduck, popüler LLM sağlayıcılarını taklit eden ve önbelleğe alan bir ters proxy sunucusudur.

Başarılı 2xx yanıtları SHA-256 tabanlı anahtarlarla sadece başarılı cevaplar için önbelleğe alınır ve proxy örneği başına manuel önbellek geçersiz kılma imkanı sunar.

Zaman aşımı simülasyonu, HTTP hata kodu enjeksiyonu ve hız sınırlama gibi test senaryolarını yapılandırmaya olanak tanır.

IP filtreleme, kullanıcı başına izole proxy örnekleri ve JWT tabanlı kimlik doğrulama gibi güvenlik özellikleri içerir.

Gerçek zamanlı günlük kaydı, metrik toplama, maliyet takibi ve React tabanlı bir yönetim panosu ile proxy yaşam döngüsü ve sistem istatistiklerini görsel olarak yönetmeyi sağlar.