Web拍手：
「映像だけから音を復元するビジュアルマイク技術。防音ガラス越しのポテチ袋から会話を再現 - Engadget Japanese」
http://japanese.engadget.com/2014/08/05/vm/
1分50秒あたりから．原音とその再現音．
「防音ガラス越しの4.5m先にあるポテトチップの袋の映像から、室内の会話内容を復元」
「会話」というよりは「叫び声」．とはいえ，聞き取れるレベルに復元されている．すごい．
http://youtu.be/FKXOucXB4a8?t=1m50s
45 秒あたりから．原音とその再現音．これは観葉植物の葉っぱの振動から．メリーさんのひつじ．
http://youtu.be/FKXOucXB4a8?t=45s
2分35秒あたりから．このデモは再現音だけ．イヤホンコーンの振動から，曲を識別．
http://youtu.be/FKXOucXB4a8?t=2m36s
「
震えやすい薄膜のような物体とはいえ、音による変形はマイクロメートル(1/1000ミリ)単位。映像では数百から数千分の1ピクセル分しかありません。映像の最小単位である1ピクセルのさらに数千分の1では手の出しようがないように思えますが、研究者チームは画像全体のわずかな色の揺らぎから動きを解析する手法を用いて音を復元しています。」
これが可能ならば過去に撮影した動画から拾えていない音を再現したり、サイレント映画から撮影現場の音を再現することも期待できそうですが、実験の大部分では音の高い周波数を拾うため、一秒に2000コマ以上を撮影できるハイスピードカメラを用いています。
だよねぇ．
音でモノが震えるよ．震えから音に戻せるはずだよ → でも震えがすっごく細かくて，1ピクセルの数千分の1だから映らないよ → じゃあ色の揺らぎから震えを推定しよう → でも普通の速度のカメラじゃ色の揺らぎが映らないよ → ハイスピードカメラを使おう，という流れ．
5602fps で音叉を撮影した動画が紹介されていたくらいだから，2000fpsよりはずっと余力のある機材を使っているっぽい．
でも，別の技術との合わせ技で，一般的な 60fps しかないカメラでもある程度のことができる，というデモもあった．
CMOSカメラで生じるローリングシャッター現象を利用することで時間解像度を上げて，その上で映像からの音の再現をしたデモ．
3分35秒あたりから．原音とその再現音．一般的な 60fps CMOSカメラ．メリーさんのひつじ．
http://youtu.be/FKXOucXB4a8?t=3m35s
こっちのほうが，私は興味あるなぁ．
==
2011年07月20日
これは，すごーく，おもしろい映像ですね． ギターの弦が波打っているように見える． CMOSカメラのような，「端からラインスキャンして撮影するタイプのカメラ」で「高速に移動するモノ」を撮影したときに起こる現象ですね．
http://knoike.seesaa.net/article/215823062.html
