В Санкт-Петербурге было создано приложение и нейросеть для распознавания речи по губам. Эта технология может быть полезна для людей с нарушениями слуха, а также для улучшения качества аудиовизуальных материалов.

Распознавание речи по губам — это процесс определения слов, которые произносятся, путем анализа движений губ. Эта технология может использоваться как замена аудио-переводчика для людей с нарушениями слуха, так и для создания лучшего качества видео субтитров и озвучки.

Приложение и нейросеть были разработаны в лаборатории компании «Speech Technology Center» (STC) — одного из крупнейших разработчиков систем распознавания речи в России. Оно было создано на базе искусственных нейронных сетей, которые были обучены распознаванию губных движений.

Использование нейросети и приложения для распознавания речи по губам может помочь людям с нарушениями слуха лучше понимать речь других людей, а также улучшить их способность общаться. Кроме того, этот метод может быть использован в качестве инструмента для создания более точных субтитров и озвучки в фильмах и телевизионных передачах.

Однако, как и любая технология, эта технология имеет свои ограничения. Например, распознавание речи по губам может быть затруднено, если губы человека не видны (например, при использовании маски), или если движения губ сильно отличаются от стандартных.

Тем не менее, это важный шаг в развитии технологии распознавания речи, и приложение и нейросеть для распознавания речи по губам могут стать очень полезными инструментами для людей с нарушениями слуха и для улучшения качества аудиовизуальных материалов.