Servidor proxy reverso local que faz cache de pedidos e respostas de modelos LLM com chaves SHA-256.
Suporta simulação de falhas, incluindo atrasos configuráveis, injeção de erros HTTP e limites de taxa.
Permite filtragem de IP, autenticação JWT, isolamento de instâncias por utilizador e gestão de acesso.
Inclui interface web em React com dashboard para criar, arrancar e monitorizar proxies.
Regista pedidos em tempo real com metadata, exporta logs em CSV/JSON e agrega métricas.
Compatível com OpenAI, Anthropic, AWS Bedrock, Azure OpenAI e Google Vertex AI.
Fornece métricas de performance, acompanhamento de custos, uso de tokens e verificação de saúde.
Get notified when new stories are published for "Hacker News 🇵🇹 Português"