Как это работает
Современная расшифровка опирается на нейросети, обученные на огромных массивах размеченных записей. Модель Whisper, на которой построена расшифровка в Фолене, её авторы описали в декабре 2022 года. Она обучена на 680 тысячах часов многоязычных и многозадачных данных и, по оценке самих авторов, на стандартных тестах приближается по точности и устойчивости к человеку, причём без дополнительной настройки под конкретный набор данных.
Это не значит, что ошибок нет. На плохой записи, с шумом и с людьми, которые перебивают друг друга, качество заметно падает, а у любой нейросети бывают сбои другого рода, о которых ниже.
Как получить текст из записи пошагово
- Подготовьте файл. Подойдут MP3, M4A, WAV, OGG, OPUS, FLAC и AAC, а также видео в форматах MP4, MOV, WebM и MKV: звук из видео достанет браузер.
- Откройте страницу «Аудио в текст». Для голосовых сообщений есть страница «Голосовое в текст», для роликов «Видео в текст».
- Выберите язык и, если знаете, сколько человек говорит. Тогда подписи «Говорящий 1», «Говорящий 2» получаются точнее.
- Отметьте согласие на обработку записи на сервере и нажмите «Расшифровать». Вкладку можно закрыть: результат будет доступен по ссылке.
- Прочитайте текст и прослушайте сомнительные места: у каждого абзаца есть метка времени.
- Исправьте имена, термины и числа, переименуйте говорящих и скачайте результат в Word, PDF, TXT, RTF или SRT.
Что подходит для разных задач
| Задача | Как записать | На что обратить внимание |
|---|---|---|
| Лекция в аудитории | Сядьте ближе к лектору и положите телефон микрофоном к нему | Эхо зала и шум аудитории: сложные места проверьте на слух |
| Интервью | Поставьте телефон между собеседниками на ровную поверхность | Заранее выберите число говорящих, чтобы подписи получились точнее |
| Созвон или совещание | Запишите звук средствами программы для звонков | Предупредите участников: записывать и расшифровывать можно только с их согласия |
| Голосовое сообщение | Сохраните его как файл | Короткие записи часто содержат оборванные фразы и слова-паразиты |
| Видеоролик | Загрузите видео целиком, звук достанется автоматически | Для субтитров скачайте результат в формате SRT |
Что мешает точности
| Что мешает | Как влияет | Что сделать |
|---|---|---|
| Шум и гул | Речь тонет, слова пропускаются или подменяются | Записывайте в тихом месте, выключите вентилятор и уведомления |
| Далёкий микрофон и эхо | Слова размываются | Положите телефон ближе к говорящему, микрофоном к нему |
| Несколько человек говорят одновременно | Реплики сливаются, часть слов теряется | Просите не перебивать, а важные места проверьте на слух |
| Редкие имена, термины, названия | Похожие по звучанию слова подставляются вместо нужных | Сверьте имена и термины с записью |
| Быстрая речь, сильный акцент, вставки на другом языке | Ошибок становится больше | Выберите язык вручную и проверьте сомнительные места |
| Запись, которую много раз пересылали | Каждое сжатие с потерями стирает детали звука | Берите исходный файл, а не пересланную копию |
Что сделать с записью до загрузки
- Обрежьте длинную тишину и посторонние звуки в начале и в конце файла: это можно сделать в любом аудиоредакторе.
- Если запись очень тихая, поднимите её громкость. Речь ровной громкости распознаётся лучше, чем едва слышный шёпот.
- Не обрабатывайте запись сильным шумоподавлением без нужды: агрессивные фильтры иногда оставляют искажения, которые тоже мешают распознаванию.
- Не пересохраняйте файл несколько раз в сжатых форматах, например MP3: каждый раз теряется часть деталей. Загружайте оригинал.
Какие ошибки делает нейросеть
Помимо пропущенных слов, нейросеть иногда добавляет то, чего в записи не было. В исследовании 2024 года, где Whisper проверяли на более чем 13 тысячах фрагментов записей, около 1 % расшифровок содержали целые придуманные фразы или предложения. Чаще это случалось у говорящих с длинными паузами между словами. В 38 % таких случаев придуманный текст нёс явный вред: описывал насилие, выдумывал ложные связи между людьми или подразумевал ложный авторитет говорящего.
Авторы работали с версией модели 2023 года, а разработчики с тех пор её улучшали, поэтому сегодняшние показатели могут быть ниже. Но вывод остаётся практическим: расшифровка это черновик. Для текстов, от которых зависят деньги, здоровье или юридические последствия, сверяйте результат с записью.
Как проверить расшифровку за десять минут
- Прочитайте текст целиком, не слушая запись. Фразы, которые не складываются по смыслу, скорее всего и есть места ошибок.
- Проверьте по записи все имена, фамилии, названия организаций, числа, даты и суммы: здесь ошибка обходится дороже всего.
- Послушайте места, где текст выглядит странно или обрывается. Метки времени подскажут, где искать.
- Найдите фразы, которых никто не произносил. Они чаще всего появляются там, где в записи была тишина или шум, и могут оказаться выдумкой модели.
- Проверьте подписи говорящих: в начале записи модель могла перепутать голоса, и ошибка тянется дальше.
- Только после этого пересылайте или публикуйте текст.
Как записать, чтобы текст получился чистым
- Положите телефон на стол микрофоном к говорящему. Карман и сумка глушат звук и добавляют шорох.
- Выключите звук уведомлений и вибрацию: звонки и сигналы попадают в запись и мешают распознаванию.
- Для интервью сядьте напротив собеседника рядом с телефоном, а не через всю комнату.
- Просите называть имена, фамилии и числа чётко. Потом их проще сверить.
- Специальных настроек не нужно: M4A или MP3 из обычного диктофона подходят.
- Перед длинной записью проверьте микрофон и сделайте тестовую запись на десять секунд.
Расшифровка и субтитры: в чём разница
Расшифровка рассчитана на чтение: текст разбит на абзацы, у каждого есть метка времени и подпись говорящего. Субтитры нужны для показа вместе с видео: это короткие строки, каждая со своим временем появления. Если вам нужны субтитры, скачайте результат в формате SRT. Если нужен текст для работы, берите Word или PDF.
Куда деваются записи и что делать с чужими голосами
Расшифровка в Фолене работает на сервере в России: запись передаётся туда, распознаётся и сразу удаляется, а готовый текст хранится сутки и удаляется автоматически, раньше его можно стереть кнопкой «Удалить с сервера». Голоса сравниваются только внутри одной записи, чтобы подписать реплики, а сведения о голосах не хранятся.
Если в записи звучат другие люди, получите их согласие на запись и расшифровку. Перед загрузкой вы подтверждаете, что вправе передать запись на обработку, и эта ответственность лежит на вас.
Длинные записи и формат результата
Длинную запись разделите на части и расшифровывайте по очереди. Актуальные ограничения на длительность и число записей указаны на странице инструмента.
| Формат | Для чего подходит |
|---|---|
| Word (DOCX) | Дописать конспект, выделить главное, сдать расшифровку |
| Читать с телефона и печатать | |
| TXT и RTF | Любые программы и старые версии текстовых редакторов |
| SRT | Субтитры для видео: у каждой строки своё время появления |
Источники
- Radford и др. «Robust Speech Recognition via Large-Scale Weak Supervision», arXiv, 2022описание модели Whisper, 680 тысяч часов данных, сопоставление с точностью человека
- Koenecke и др. «Careless Whisper: Speech-to-Text Hallucination Harms», arXiv, 2024около 1 % расшифровок с придуманными фразами, 38 % таких случаев с явным вредом
- Cornell Chronicle: AI speech-to-text can hallucinate violent languageкомментарий автора о том, что модель с тех пор улучшили