Kerangka lintas platform untuk menjalankan model LLM, VLM, dan TTS secara lokal di smartphone.
Mendukung model GGUF dari HuggingFace seperti Qwen, Gemma, Llama, dan DeepSeek.
Tersedia integrasi untuk Flutter dan React-Native dengan API teks, embedding, dan visi.
Menyediakan kuantisasi model dari FP32 hingga 2-bit untuk efisiensi dan mengurangi beban perangkat.
Memiliki mekanisme fallback ke model cloud untuk tugas kompleks atau saat perangkat gagal.
Menyertakan template chat dengan dukungan Jinja2 dan streaming token.
Backend ditulis dalam C/C++ dan dapat dijalankan di berbagai perangkat seperti TV pintar dan jam tangan.
Dokumentasi lengkap mencakup instalasi, contoh penggunaan API, dan panduan kontribusi.
Get notified when new stories are published for "Berita Peretas 🇮🇩 Bahasa Indonesia"