Семейство открытых инструментов ИИ (Cline, Roo, Kilo) выросло до триллиона токенов в месяц из-за ограничения пользователей приватных сервисов Cursor и Claude.
Отрасль ошибочно предположила, что снижение стоимости сырого вывода автоматически приведёт к снижению затрат на вывод в приложениях, но фактически затраты выросли.
Стоимость токена у передовых моделей осталась неизменной из-за роста их размеров и масштабирования во время вывода, требующего до 100× больше вычислений.
Потребление токенов в приложениях увеличилось из-за расширения контекстных окон и более объёмных предложений, что за два года повысило затраты в 10 раз.
Плоская подписка в $200 вынуждает сервисы ограничивать активных пользователей, в то время как открытые инструменты предлагают отсутствие троттлинга и оптимизации затрат.
В будущем затраты на вывод для одного разработчика превысят $100 000 в год из-за массового использования параллельных агентов и уменьшения роли человеческого контроля.
Затраты на обучение моделей в сотни раз превышают расходы на вывод, и их контролируют немногие «инженеры по обучению», управляющие бюджетами сотен миллионов долларов в год.
Get notified when new stories are published for "Hacker News 🇷🇺 Русский"