Web拍手:
「映像だけから音を復元するビジュアルマイク技術。防音ガラス越しのポテチ袋から会話を再現 - Engadget Japanese」
http://japanese.engadget.com/2014/08/05/vm/
1分50秒あたりから.原音とその再現音.
「防音ガラス越しの4.5m先にあるポテトチップの袋の映像から、室内の会話内容を復元」
「会話」というよりは「叫び声」.とはいえ,聞き取れるレベルに復元されている.すごい.
http://youtu.be/FKXOucXB4a8?t=1m50s
45 秒あたりから.原音とその再現音.これは観葉植物の葉っぱの振動から.メリーさんのひつじ.
http://youtu.be/FKXOucXB4a8?t=45s
2分35秒あたりから.このデモは再現音だけ.イヤホンコーンの振動から,曲を識別.
http://youtu.be/FKXOucXB4a8?t=2m36s
「
震えやすい薄膜のような物体とはいえ、音による変形はマイクロメートル(1/1000ミリ)単位。映像では数百から数千分の1ピクセル分しかありません。映像の最小単位である1ピクセルのさらに数千分の1では手の出しようがないように思えますが、研究者チームは画像全体のわずかな色の揺らぎから動きを解析する手法を用いて音を復元しています。」
これが可能ならば過去に撮影した動画から拾えていない音を再現したり、サイレント映画から撮影現場の音を再現することも期待できそうですが、実験の大部分では音の高い周波数を拾うため、一秒に2000コマ以上を撮影できるハイスピードカメラを用いています。
だよねぇ.
音でモノが震えるよ.震えから音に戻せるはずだよ → でも震えがすっごく細かくて,1ピクセルの数千分の1だから映らないよ → じゃあ色の揺らぎから震えを推定しよう → でも普通の速度のカメラじゃ色の揺らぎが映らないよ → ハイスピードカメラを使おう,という流れ.
5602fps で音叉を撮影した動画が紹介されていたくらいだから,2000fpsよりはずっと余力のある機材を使っているっぽい.
でも,別の技術との合わせ技で,一般的な 60fps しかないカメラでもある程度のことができる,というデモもあった.
CMOSカメラで生じるローリングシャッター現象を利用することで時間解像度を上げて,その上で映像からの音の再現をしたデモ.
3分35秒あたりから.原音とその再現音.一般的な 60fps CMOSカメラ.メリーさんのひつじ.
http://youtu.be/FKXOucXB4a8?t=3m35s
こっちのほうが,私は興味あるなぁ.
==
2011年07月20日
これは,すごーく,おもしろい映像ですね. ギターの弦が波打っているように見える. CMOSカメラのような,「端からラインスキャンして撮影するタイプのカメラ」で「高速に移動するモノ」を撮影したときに起こる現象ですね.
http://knoike.seesaa.net/article/215823062.html
【コンピュータの最新記事】
- このブログ「とり茶」を,Seesaaブログから自宅サーバーの WordPress..
- メロディを入力することで楽譜を検索できるシステム,「musiconn.score..
- いつのまにか,MuseScore のモバイルアプリが Freemiumモデルに移..
- 「blogramサービス終了のお知らせ」 どこが運営しているブログシステムかを問..
- noike.info サイトの内容を WordPress で管理することにしまし..
- A 様から,「SMF to MP3 with ぼーか郎」に Amazon ギフト..
- noike.info ドメインの有効期限を 1年延長した.去年と変わらず 160..
- MuseScore の 2.3.2 がリリースされたそうです.
- 「MusicXML to MP3 with ぼーか郎」で,拡張子が .music..
- MuseScore の 2.3.1 がリリースされました.同梱されている言語ファ..
- Windows 用の MuseScore 2.3 で,ストレージ(ディスク)に十..
- MuseScore の 2.3 が公式にリリースされました.個人的には,新機能の..
- MEI, MusicXML, PAE(RISM) のデータを WordPress..
- 池添 彰 様から,noike.info のサービスに Amazon ギフト券での..
- 先日の Windows Update 適用後から Emacs(NTEmacs) ..
- 「東芝コミュニケーションAI「RECAIUS」(リカイアス)の音声合成技術」「音..
- TVアニメ版の「紅殻のパンドラ」を観終えた.全 12 話.「攻殻機動隊」の世界観..
- Android タブレットを PC のマルチディスプレイのひとつにすることを思い..
- MuseScore が 2.2.1 にアップデートされました.2.2 のリリース..
- MuseScore の 2.2 がリリースされました.いままでと同様に無料で使え..