MiniMax-M1 es el primer modelo de razonamiento híbrido a gran escala y peso abierto, utilizando una arquitectura híbrida de mezcla de expertos con un mecanismo de atención rápida.
El modelo soporta una longitud de contexto de hasta 1 millón de tokens, lo que lo hace adecuado para tareas complejas que requieren la manipulación de entradas largas.
La eficiencia en el uso de recursos de cómputo en el tiempo de prueba permite que MiniMax-M1 sea una base potente para agentes de modelos lingüísticos de próxima generación.
Se entrenaron dos versiones del modelo con presupuestos de pensamiento de 40k y 80k, mostrando buenos resultados en tareas de ingeniería de software y uso de herramientas.
MiniMax-M1 destaca en la eficiencia con el uso de un algoritmo CISPO que mejora los métodos de aprendizaje por refuerzo.
El modelo ofrece buenas capacidades para el llamado de funciones, identificando cuándo es necesario utilizar funciones externas.
Get notified when new stories are published for "🇪🇸 Hacker News Espanyol"