Группа исследователей из Массачусетского технологического института разработала (http://newsoffice.mit.edu/2014/algorithm-recovers-speech-fro...) технику (http://people.csail.mit.edu/mrub/VisualMic/) воссоздания речи на основе анализа вибрации предметов в видеозаписи. Для воссоздания речи достаточно записи с частотой 60 кадров в секунду и наличия в кадре легко вибрирующих предметов, таких как упаковка от чипсов, стакан воды и даже листья комнатных растений. Процесс анализа является достаточно ресурсоёмкой операцией и требует нескольких часов вычислений на современном персональном компьютере.

Техника воссоздания речи по вибрации предметов не нова и активно используется спецслужбами для организации подслушивания в помещениях по вибрации оконного стекла или предметов. Но до сих пор для воплощения данной техники требовались специализированные высокочувствительные устройства, такие как лазерные микрофоны. Новый метод позволяет обойтись обычной видеокамерой с разрешением порядка 700x400.  

Суть метода в том, что для того чтобы уловить колебания предмета в несколько микрометров, которые невозможно заметить через перемещение пикселей (изменение в 5/1000 пикселя), используется анализ изменения цвета отдельных пикселей граничных областей предметов. Камера не улавливает малые вибрации на уровне перемещения пикселей, но отражает их через аберрации цветового спектра. Изначально эксперименты проводились с использованием высокоскоростных камер, способных снимать с частотой 2-6 тысяч кадров в секунду, но по мере усовершенствования техники разработчики смогли обеспечить разбор речи и при съёмке обычной DSLR-камерой, выдающей 60 кадров в секунду.

<center><iframe width="640" height="360" src="//www.youtube.com/embed/FKXOucXB4a8?rel=0" frameborder="0" allowfullscreen></iframe></center>

URL: http://newsoffice.mit.edu/2014/algorithm-recovers-speech-fro...
Новость: http://www.opennet.me/opennews/art.shtml?num=40349