Microsoft подала патент на систему искусственного интеллекта, которая сможет изменять видео и аудио живых выступлений практически в реальном времени. Описанная технология не просто редактирует звуковую дорожку: ИИ-агенты должны будут менять изображение говорящего, в том числе движения губ и выражение лица, чтобы они соответствовали новой версии речи.
Система сможет фильтровать определённые слова и фразы, удалять их или заменять другими. Для этого она будет использовать заранее заданные параметры или пользовательские профили. Алгоритм также должен корректировать видео и звук непосредственно до и после изменённого фрагмента, чтобы переходы выглядели и звучали естественно.
Источник изображения: сгенерировано Muse
Среди возможных применений Microsoft называет перевод прямых трансляций на предпочтительный для зрителя язык. Система также сможет убирать слова-паразиты, исправлять заикание и другие особенности речи. В патенте перечислены и более спорные варианты: удаление местных выражений и разговорных оборотов, неправильно произнесённых или употреблённых слов, а также оскорбительных и неуместных высказываний. Слова для замены система, согласно описанию, сможет подбирать в том числе с помощью поиска в интернете.
Технологию предполагается применять к самым разным форматам: лекциям, презентациям, телевизионным программам, церемониям, шоу и спортивным трансляциям. Так, зритель сможет получать не только перевод, но и персонально отредактированную версию выступления — с формулировками, которые система сочтёт подходящими под его настройки.
В патенте предусмотрено сохранение исходных видео и аудио в качестве эталонной записи. Это может помочь отличать оригинальную трансляцию от обработанной версии, однако само наличие такой функции не исключает путаницы при распространении изменённых записей.
