Транскрипция аудио в FFmpeg с Whisper

Whisper.cpp интегрирован в FFmpeg для автоматической транскрипции аудио одной командой.

Требуется установить библиотеку whisper.cpp и собрать FFmpeg с опцией --enable-whisper.

Фильтр whisper поддерживает параметры model, language, queue, use_gpu, format и другие.

Можно генерировать субтитры в формате srt и добавлять их в видео контейнер или перекодировать с наложением.

Поддерживается транскрипция живых потоков (HLS) с выводом результатов в формате text, srt или JSON.

Вывод фильтра можно отправлять на внешние сервисы через HTTP с помощью FFmpeg AVIO.

Использование VAD-модели позволяет разбивать поток на фрагменты и транскрибировать звук микрофона или WebRTC.

GPU-ускорение обеспечивает обработку аудио в реальном времени при достаточном объёме видеопамяти.