パスワードを忘れた? アカウント作成
13713105 story
テクノロジー

モニターから発せられる超音波で表示内容を推測する手法 39

ストーリー by hylom
高精度化できるかは今後の課題 部門より

やや旧聞となるが、モニターから出る超音波からモニターの表示内容を推測するという手法があるそうだ(WIREDこの手法を解説するページ)。

この手法を使うことで、たとえばモニター近くに設置されたWebカメラを使ってモニターから発せられる超音波を録音・伝送し、そこから画面表示内容を知るといったことができるという。モニターからの距離が遠くなれば音響信号は劣化するが、記事では約9メートル離れたモニターからの音も抽出できる場合があるとしている。

画面の表示内容によって表示内容を処理するプロセッサの電力需要が変動し、それによって電源ユニットが「鳴き」を発生させるのが原因。研究者らは数十個の液晶モニタを調べたところ、そのすべてで何らかの音が発生していたそうだ。

ただ、今回の手法では音声データをあらかじめ画面情報を学習させた機械学習モデルに入力し、そこから画面を推測している。そのため、現時点では文字の読み取りについては「大きなフォントの単語」でしか成功していない模様。

この議論は賞味期限が切れたので、アーカイブ化されています。 新たにコメントを付けることはできません。
  • 文字以上に (スコア:3, おもしろおかしい)

    by Anonymous Coward on 2018年09月12日 17時36分 (#3479599)

    >表示内容を推測する手法
    肌色成分が多いかどうかを推測されるとマズいな...

  • 部屋の近くに寄っただけで「ん?! テレビが点いているな!」とニュータイプ的直感が頭によぎった人はかなりのオジサン。

    • by Anonymous Coward

      2011年の地デジ前はまだブラウン管TVが大量に生き残っていたので10代も聞いたことあるかと。
      # 後CCTVが未だにブラウン管。

    • by Anonymous Coward

      その昔、共同の社宅マンションで一緒に帰った時、
      ドアを開けた瞬間、TVが付いてることを察して相方に話したら、驚愕されたわ。
      懐かしい思い出。

    • by Anonymous Coward

      垂直方向走査線数×秒間フィールド数÷2(インターレース)
      525×60÷2=15750Hz

      https://www.onosokki.co.jp/HP-WK/nakaniwa/keisoku/16khz.mp3 [onosokki.co.jp]

      どうでしょうか?
      おっさんになったあなたのニュータイプ的直感は、既に失われているかもしれませんw

      • いま、耳鳴りがちょうどそのあたりの周波数かなあ
        年々周波数が低くなってきている

        親コメント
        • by Anonymous Coward

          有毛細胞が死んでゆく過程でその有毛細胞が担当する帯域の耳鳴りが聞こえるんだっけか。
          てことはなるほど、加齢につれて耳鳴りの周波数は下がるわけだ……

          • 幻肢と同じようなモンですかね。無くなったはずの神経のシグナルを受け取ったような気がする現象。かれこれ20年くらい音と付き合ってますが、どうやら無視する以外の治療方法?はない様子。

            親コメント
          • なぜ高周波数の有毛細胞からダメになっていくのか、そのへんが不可思議です。
            どの周波数帯担当でも経年でダメになる率はあんまり変わらない気がするです。
            音の持つエネルギーが高いから? 高音担当は絶対数が少ないから?

            親コメント
            • by Anonymous Coward

              ワイデックス「みみから。」 [widexjp.co.jp]

              音自体は、周波数の高低にかかわらず蝸牛の入口から入ってくるため、入口に近い有毛細胞ほどあらゆる音にさらされてしまうことになり、長い期間がたつにつれて大きなダメージを受けてしまうことになります。入口近くの有毛細胞は、高い周波数の音の分析を担当しているので、年齢を重ねるとともに、高い周波数の音が聞こえにくくなってくるのです。

              エネルギーは高いかもしれんけど小さくなる分エ

              • おおう。
                高音担当は径の細いところのほうが共鳴しやすそうなので奥の方に配置されているのだと思っていました。逆に奥の方が低音なんですねえ。

                JR山手線上野駅とか新橋駅あたりをよく使うのですが、どちらも駅改良工事中。
                狭くなっているところに、スピーカーで「駅改良工事で狭くなっているのでご注意ください」のような音声案内が女性の声で流れます。 直径の小さなスピーカが大音量で鳴らしているせいか、「で」のあたりは私の耳に強烈に反響してビシっと耳が痛くなる。きっと毛が減っていくに違いない…

                親コメント
              • by Anonymous Coward

                彡⌒ミ「また髪の話してる…」

      • by Anonymous Coward

        ふぃーんって音がしたけど、ブラウン管からこの音がでてるってこと?

        そうだとしたら、おっさんですが知らなかったし、気付きませんでした。

        • by Anonymous Coward

          加齢とともに聞こえなくなっていく、いわゆるモスキート音というやつです。

      • by Anonymous Coward

        そんなに高音だったっけ?
        ブーンと低めだった気もするけど。

        • by Anonymous Coward

          電子線を振る(曲げる)ためのコイルが鳴くんです。
          ブーンと低い音なら、60Hzの垂直走査の方でしょう
          水平の方は、ツーーーンといった感じの若年層でも可聴域ぎりぎりの高い音です。

          • by Anonymous Coward

            15kHzは30代で聞こえなくなり始める程度っぽいから若者なら余裕では。
            とくにコイル鳴きって音量がバカでかかったりするから多少聞こえにくくなってる程度なら聞こえたりする。

      • by Anonymous Coward

        電源ユニットからって書いてあるじゃん。だから分解能とは無関係。
        ディスプレイコントローラのバイパスコンデンサがケチられていて電源電圧の脈動が大きいだけだったり。

        で、超音波が聴こえるんですか?

        • by Anonymous Coward

          古のブラウン管テレビの話をしてるのに何言ってんだか。

          • by Anonymous Coward

            ほんとそれ。しかも15kHzのはNTSCでの話でPC用CRTディスプレイの話ですら無いね。
            さらに、実はストーリーの論文のやつも液晶ディスプレイのプロセッサ内で映像信号を走査する過程で起きる消費電力の変動などに起因するノイズを解析するので、結局走査線ベースの話に戻ってくるという二段落ち。

  • by nemui4 (20313) on 2018年09月13日 8時21分 (#3479866) 日記

    この辺のテクノロジーを展開していったら視覚以外のディスプレイも実現できるのかな。
    聴視する側に追加デバイスが必要なのかもしれないけど。

  • by Anonymous Coward on 2018年09月12日 17時27分 (#3479597)

    ばっさり15kHz近辺でLPF掛かっているものだと思ったが
    世の中にはそんなハイレゾが普及していたのか!

    • by Anonymous Coward on 2018年09月12日 19時17分 (#3479657)

      一応、音やらアナログ回路の非線形だかなんだかで歪みがあるので、折り返し雑音が低周波領域にも出てくる筈ではある。
      ただ信号強度はお察しだし、元の音も映像への追従性はそこまで高くないと考えると得られる情報量はほんとにゴミレベル。

      PDFの方を斜め読みしてみたが、やっぱ大した量のデータは拾えない臭い。
      危機感煽ってなんのかんの言うのが目的の研究じゃないかな……下手すりゃ(笑)が付けられかねん感じ。

      Webカメラ類に関しては、Googleハングアウト越しで13kHz位までしか見えてないスペクトルの図を提示して「なんかそれっぽいノイズが見えてるっしょ?」って程度っぽい。
      そもそも画面全体使った縞模様表示してノイズスペクトルと表示内容に相関がありますみたいな話してるし、
      15kHz程度なら5ライン単位のざっくりした輝度変化が何となく拾えますね、程度の話らしい。

      上手く行った状態で必要録音時間(要求する同一表示時間)30秒以上、解像度的には横1pxの縦70~数百px程度、階調は数段階、程度かな?
      んで画面内容の読み取りは、10種類のサイトを表示中のノイズを学習させて同一画面36秒分のノイズを96%で特定できましたみたいな話。
      表示内容をノイズから復元したと言うより、画面内容に対するノイズパターン10個をなんとか分類できたといった感じに思える条件と結果。

      LCD以外に光源のないカーテンの開いた部屋の中のPCで10枚の画像をスライドショーしていた時に、
      10枚全ての画像を知っていれば壁を照らす光の色で家の外からその10枚のうちどれが表示されているか予想できる、に近いレベルのものだと思う。

      親コメント
    • by Anonymous Coward

      論文読みましたが
      普通のwebカメラじゃなくて
      専用のマイクを仕込んだwebカメラということでした

      • そんな改造までしたwebカメラなのに、画面を撮ることはできないの?

        --
        -- う~ん、バッドノウハウ?
        親コメント
      • by Anonymous Coward

        超音波なんて並の符号化codecは通さないと思うよ

        • by Anonymous Coward

          AD変換前のローパスを省いたマイクなら可聴域に折り返されてくる???

      • by Anonymous Coward

        今のところは、そこまでやらないとできなさそうなので皆さんご安心を、って辺りでしょうかね。

        あとは、盗撮よりは盗聴の方が、角度を気にしなくても仕込めたり、外から全く見えないようにも仕込めたりする分だけ、対策しづらそう。と考えると、盗聴の手間で(画面の)盗撮ができる、というのに需要がなきにしもあらず?

        まあ、盗撮されていないことは確信が持てる程度に調べ切ったけど、盗聴器までは調べ切れてないかもみたいな心配は、デスノートを拾ったとかでもない限り不要でしょうけど。

      • by Anonymous Coward

        ハングアウト越しのスペクトル提示して「それっぽいの映ってるっしょ」てのが16PのFigure 3.3のaで提示されてますよ。
        そこから解析した話は見当たらないのでやってない感ですが、
        そもそも数ライン文の処理で出てくる音を拾ってどうこうって話なんで、
        取り扱っている周波数自体は低め(≒解析で得られる解像度も低め)です。

        むしろ解析のサンプルで表示してるのがまぁまぁの幅を持った横縞模様(水平方向のデータ拾う気無し)とか、
        表示内容の識別が10サイト分のサンプルの識別止まりとかそっちのほうが問題になりそう。
        その程度の識別に使える情報量なら、普通のWebカム越しでも録音条件良ければギリギリ混ざらんこともないかと。

  • by Anonymous Coward on 2018年09月12日 17時58分 (#3479609)

    金田朋子さんにモニターの横でしゃべりつづけてもらうとか

    #別の危険性が

  • by Anonymous Coward on 2018年09月12日 19時22分 (#3479660)

    だいぶ昔にもスラドで同じネタ無かったっけ?と思って探してみるも、ケーブルやキーボードやらいろいろ似た微妙に違う話ばかりで見つからず。モニターも無かったっけなぁ?それともあれは液晶じゃなくてCRTだったり、超音波じゃなくて電磁波だったりかな?

    • by Anonymous Coward

      俺もだいぶ前に見たような気がするなあ
      とはいえ他サイトと混同してるのかもしれん

    • by Anonymous Coward

      電磁波です液晶でもCRTでも可能です、少し調べれば分かると思います
      この技術が本当なら音から復元できるところが画期的ですね、でもWebカメラのマイクってそこまで周波数特性あるのでしょうか?

  • by Anonymous Coward on 2018年09月13日 20時15分 (#3480366)

    昔はシーク音から表示内容を特定できたものだが。

    # [まものにおどろかされた]
    # ガチッゴーガーーーゴッゴッゴ...
    #「やべこの音は... FLACK & MURPHY'S GHOSTx4 だ」
    # ぷち。(←リセット)

    • by Anonymous Coward

      それで確認できるのは内容ではなくアクセスしたデータの格納位置(セクタ番号やらオフセットやら)とデータサイズの組ですね。
      今回のは数ライン単位での消費電力(累計輝度?)なので大雑把感は似てるっちゃ似てますが。

typodupeerror

UNIXはただ死んだだけでなく、本当にひどい臭いを放ち始めている -- あるソフトウェアエンジニア

読み込み中...