モニターから発せられる超音波で表示内容を推測する手法 39
ストーリー by hylom
高精度化できるかは今後の課題 部門より
高精度化できるかは今後の課題 部門より
やや旧聞となるが、モニターから出る超音波からモニターの表示内容を推測するという手法があるそうだ(WIRED、この手法を解説するページ)。
この手法を使うことで、たとえばモニター近くに設置されたWebカメラを使ってモニターから発せられる超音波を録音・伝送し、そこから画面表示内容を知るといったことができるという。モニターからの距離が遠くなれば音響信号は劣化するが、記事では約9メートル離れたモニターからの音も抽出できる場合があるとしている。
画面の表示内容によって表示内容を処理するプロセッサの電力需要が変動し、それによって電源ユニットが「鳴き」を発生させるのが原因。研究者らは数十個の液晶モニタを調べたところ、そのすべてで何らかの音が発生していたそうだ。
ただ、今回の手法では音声データをあらかじめ画面情報を学習させた機械学習モデルに入力し、そこから画面を推測している。そのため、現時点では文字の読み取りについては「大きなフォントの単語」でしか成功していない模様。
文字以上に (スコア:3, おもしろおかしい)
>表示内容を推測する手法
肌色成分が多いかどうかを推測されるとマズいな...
Re: (スコア:0)
稀勢の里の取り組みを見ているんですね、分かります。
Re:文字以上に (スコア:2)
Re: (スコア:0)
正真正銘のミリオネアを馬鹿にするな!
#一家総出でビジネスに取り組む根性も凄い
Re:文字以上に (スコア:1)
そっち系だったのか!
ま、他人の趣味にはとやかく言いませんが
ブラウン管の水平走査信号 (スコア:1)
部屋の近くに寄っただけで「ん?! テレビが点いているな!」とニュータイプ的直感が頭によぎった人はかなりのオジサン。
Re: (スコア:0)
2011年の地デジ前はまだブラウン管TVが大量に生き残っていたので10代も聞いたことあるかと。
# 後CCTVが未だにブラウン管。
Re: (スコア:0)
その昔、共同の社宅マンションで一緒に帰った時、
ドアを開けた瞬間、TVが付いてることを察して相方に話したら、驚愕されたわ。
懐かしい思い出。
Re: (スコア:0)
垂直方向走査線数×秒間フィールド数÷2(インターレース)
525×60÷2=15750Hz
https://www.onosokki.co.jp/HP-WK/nakaniwa/keisoku/16khz.mp3 [onosokki.co.jp]
どうでしょうか?
おっさんになったあなたのニュータイプ的直感は、既に失われているかもしれませんw
Re:ブラウン管の水平走査信号 (スコア:1)
いま、耳鳴りがちょうどそのあたりの周波数かなあ
年々周波数が低くなってきている
Re: (スコア:0)
有毛細胞が死んでゆく過程でその有毛細胞が担当する帯域の耳鳴りが聞こえるんだっけか。
てことはなるほど、加齢につれて耳鳴りの周波数は下がるわけだ……
Re:ブラウン管の水平走査信号 (スコア:1)
幻肢と同じようなモンですかね。無くなったはずの神経のシグナルを受け取ったような気がする現象。かれこれ20年くらい音と付き合ってますが、どうやら無視する以外の治療方法?はない様子。
Re:ブラウン管の水平走査信号 (スコア:1)
なぜ高周波数の有毛細胞からダメになっていくのか、そのへんが不可思議です。
どの周波数帯担当でも経年でダメになる率はあんまり変わらない気がするです。
音の持つエネルギーが高いから? 高音担当は絶対数が少ないから?
Re: (スコア:0)
ワイデックス「みみから。」 [widexjp.co.jp]
エネルギーは高いかもしれんけど小さくなる分エ
Re:ブラウン管の水平走査信号 (スコア:1)
おおう。
高音担当は径の細いところのほうが共鳴しやすそうなので奥の方に配置されているのだと思っていました。逆に奥の方が低音なんですねえ。
JR山手線上野駅とか新橋駅あたりをよく使うのですが、どちらも駅改良工事中。
狭くなっているところに、スピーカーで「駅改良工事で狭くなっているのでご注意ください」のような音声案内が女性の声で流れます。 直径の小さなスピーカが大音量で鳴らしているせいか、「で」のあたりは私の耳に強烈に反響してビシっと耳が痛くなる。きっと毛が減っていくに違いない…
Re: (スコア:0)
彡⌒ミ「また髪の話してる…」
Re: (スコア:0)
ふぃーんって音がしたけど、ブラウン管からこの音がでてるってこと?
そうだとしたら、おっさんですが知らなかったし、気付きませんでした。
Re: (スコア:0)
加齢とともに聞こえなくなっていく、いわゆるモスキート音というやつです。
Re: (スコア:0)
そんなに高音だったっけ?
ブーンと低めだった気もするけど。
Re: (スコア:0)
電子線を振る(曲げる)ためのコイルが鳴くんです。
ブーンと低い音なら、60Hzの垂直走査の方でしょう
水平の方は、ツーーーンといった感じの若年層でも可聴域ぎりぎりの高い音です。
Re: (スコア:0)
15kHzは30代で聞こえなくなり始める程度っぽいから若者なら余裕では。
とくにコイル鳴きって音量がバカでかかったりするから多少聞こえにくくなってる程度なら聞こえたりする。
Re: (スコア:0)
電源ユニットからって書いてあるじゃん。だから分解能とは無関係。
ディスプレイコントローラのバイパスコンデンサがケチられていて電源電圧の脈動が大きいだけだったり。
で、超音波が聴こえるんですか?
Re: (スコア:0)
古のブラウン管テレビの話をしてるのに何言ってんだか。
Re: (スコア:0)
ほんとそれ。しかも15kHzのはNTSCでの話でPC用CRTディスプレイの話ですら無いね。
さらに、実はストーリーの論文のやつも液晶ディスプレイのプロセッサ内で映像信号を走査する過程で起きる消費電力の変動などに起因するノイズを解析するので、結局走査線ベースの話に戻ってくるという二段落ち。
聴覚ディスプレイ (スコア:1)
この辺のテクノロジーを展開していったら視覚以外のディスプレイも実現できるのかな。
聴視する側に追加デバイスが必要なのかもしれないけど。
超音波? 音声codec通るの? (スコア:0)
ばっさり15kHz近辺でLPF掛かっているものだと思ったが
世の中にはそんなハイレゾが普及していたのか!
Re:超音波? 音声codec通るの? (スコア:1)
一応、音やらアナログ回路の非線形だかなんだかで歪みがあるので、折り返し雑音が低周波領域にも出てくる筈ではある。
ただ信号強度はお察しだし、元の音も映像への追従性はそこまで高くないと考えると得られる情報量はほんとにゴミレベル。
PDFの方を斜め読みしてみたが、やっぱ大した量のデータは拾えない臭い。
危機感煽ってなんのかんの言うのが目的の研究じゃないかな……下手すりゃ(笑)が付けられかねん感じ。
Webカメラ類に関しては、Googleハングアウト越しで13kHz位までしか見えてないスペクトルの図を提示して「なんかそれっぽいノイズが見えてるっしょ?」って程度っぽい。
そもそも画面全体使った縞模様表示してノイズスペクトルと表示内容に相関がありますみたいな話してるし、
15kHz程度なら5ライン単位のざっくりした輝度変化が何となく拾えますね、程度の話らしい。
上手く行った状態で必要録音時間(要求する同一表示時間)30秒以上、解像度的には横1pxの縦70~数百px程度、階調は数段階、程度かな?
んで画面内容の読み取りは、10種類のサイトを表示中のノイズを学習させて同一画面36秒分のノイズを96%で特定できましたみたいな話。
表示内容をノイズから復元したと言うより、画面内容に対するノイズパターン10個をなんとか分類できたといった感じに思える条件と結果。
LCD以外に光源のないカーテンの開いた部屋の中のPCで10枚の画像をスライドショーしていた時に、
10枚全ての画像を知っていれば壁を照らす光の色で家の外からその10枚のうちどれが表示されているか予想できる、に近いレベルのものだと思う。
Re: (スコア:0)
論文読みましたが
普通のwebカメラじゃなくて
専用のマイクを仕込んだwebカメラということでした
Re:超音波? 音声codec通るの? (スコア:2)
そんな改造までしたwebカメラなのに、画面を撮ることはできないの?
-- う~ん、バッドノウハウ?
Re: (スコア:0)
超音波なんて並の符号化codecは通さないと思うよ
Re: (スコア:0)
AD変換前のローパスを省いたマイクなら可聴域に折り返されてくる???
Re: (スコア:0)
今のところは、そこまでやらないとできなさそうなので皆さんご安心を、って辺りでしょうかね。
あとは、盗撮よりは盗聴の方が、角度を気にしなくても仕込めたり、外から全く見えないようにも仕込めたりする分だけ、対策しづらそう。と考えると、盗聴の手間で(画面の)盗撮ができる、というのに需要がなきにしもあらず?
まあ、盗撮されていないことは確信が持てる程度に調べ切ったけど、盗聴器までは調べ切れてないかもみたいな心配は、デスノートを拾ったとかでもない限り不要でしょうけど。
Re: (スコア:0)
ハングアウト越しのスペクトル提示して「それっぽいの映ってるっしょ」てのが16PのFigure 3.3のaで提示されてますよ。
そこから解析した話は見当たらないのでやってない感ですが、
そもそも数ライン文の処理で出てくる音を拾ってどうこうって話なんで、
取り扱っている周波数自体は低め(≒解析で得られる解像度も低め)です。
むしろ解析のサンプルで表示してるのがまぁまぁの幅を持った横縞模様(水平方向のデータ拾う気無し)とか、
表示内容の識別が10サイト分のサンプルの識別止まりとかそっちのほうが問題になりそう。
その程度の識別に使える情報量なら、普通のWebカム越しでも録音条件良ければギリギリ混ざらんこともないかと。
妨害手法 (スコア:0)
金田朋子さんにモニターの横でしゃべりつづけてもらうとか
#別の危険性が
昔この話題見たような…? (スコア:0)
だいぶ昔にもスラドで同じネタ無かったっけ?と思って探してみるも、ケーブルやキーボードやらいろいろ似た微妙に違う話ばかりで見つからず。モニターも無かったっけなぁ?それともあれは液晶じゃなくてCRTだったり、超音波じゃなくて電磁波だったりかな?
Re: (スコア:0)
俺もだいぶ前に見たような気がするなあ
とはいえ他サイトと混同してるのかもしれん
Re: (スコア:0)
電磁波です液晶でもCRTでも可能です、少し調べれば分かると思います
この技術が本当なら音から復元できるところが画期的ですね、でもWebカメラのマイクってそこまで周波数特性あるのでしょうか?
FDDから発せられる可聴音 (スコア:0)
昔はシーク音から表示内容を特定できたものだが。
# [まものにおどろかされた]
# ガチッゴーガーーーゴッゴッゴ...
#「やべこの音は... FLACK & MURPHY'S GHOSTx4 だ」
# ぷち。(←リセット)
Re: (スコア:0)
それで確認できるのは内容ではなくアクセスしたデータの格納位置(セクタ番号やらオフセットやら)とデータサイズの組ですね。
今回のは数ライン単位での消費電力(累計輝度?)なので大雑把感は似てるっちゃ似てますが。