パスワードを忘れた? アカウント作成
15323834 story
アナウンス

超音波で自動運転自動車の物体検出を誤らせる「ポルターガイスト」攻撃 69

ストーリー by headless
怪奇 部門より
自動運転自動車が物体を検出する機械学習モデルに対し、超音波を用いて誤った結果を導くという「ポルターガイスト」攻撃の研究成果を中国・浙江大学などの研究グループが発表している(GitHub プロジェクトページThe Registerの記事論文: PDF)。

ポルターガイスト攻撃は研究チームが AMpLe (injecting physics into Adversarial Machine Learning) 攻撃と呼ぶ、機械学習モデルに対する物理的な攻撃の一つ。超音波のほか、可視光や赤外線、レーザー、電波、磁場、熱、液体などを用いてセンサーの出力を操作し、誤った結果を導くというものだ。今回の研究は現行の製品ではなく、まだ見ぬ将来の自律走行車がどのように映像スタビライズシステムへの音響攻撃を回避していくかの理解を深めることが目的だという。

映像スタビライザーの加速度センサーやジャイロスコープは音響共鳴攻撃に弱いことが知られており、ポルターガイスト攻撃もこの仕組みを用いてセンサーをコントロールし、被写体ぶれした映像を出力させる。機械学習モデルによる物体検出は映像のぶれの有無に左右されるため、攻撃者は物体を消す (Hiding Attacks: HA)・存在しない物体を作り出す (Creating Attacks: CA)・物体の種類を変える (Altering Attacks: AA)という3種類の攻撃が可能になる。

実験で使用した物体検出モデルは研究用の YOLO V3/V4/V5 と R-CNN、商用の Apollo で用いられている YOLO 3D の5種類。シミュレーションでの攻撃成功率は HA で100%、CA で87.9%、AA で95.1%。実際に走行する自動車で Samsung Galaxy S20 を用いた実験では HA 98.3%、CA 43.7%、AA 43.1%という結果になったとのこと。ポルターガイスト攻撃はさまざまな場面や天候、時刻、カメラ解像度にかかわらず安定した結果を出したそうだ。
  • 赤外線「何かいる」
    ミリ波「いない」
    可視光「何かいる」
    AI「2対1で『何かいる』に決定!」
    ……
    超音波「いない」
    AI「2対2で『保留』!」……あれ?

    ここに返信
    • by Anonymous Coward on 2021年06月20日 18時14分 (#4054554)

      少数での多数決判断は奇数でやれと……

    • by Anonymous Coward on 2021年06月20日 20時12分 (#4054600)

      現場猫「ヨシ!」

    • 雪風でのJAMとの電子戦をうっすら連想。

      赤外(温度),可視光,紫外光,可聴音,低周波,超音波,空気密度の変化とか色々ありそう。

    • by Anonymous Coward

      いや映像のスタビライズを超音波ジャイロとか使ってやってるから
      それを攻撃してブレブレの画像を得るようにするのでは

      • by Anonymous Coward

        同様の内容のセンサーでも複数の実装パターンで処理するようにしないとな。
        少しづつクセの違うセンサーからの内容を総合的に判断するようになれば。

        今現在は自動運転自体が実証レベルでしかないから、そういう実運用での安全性の向上についてはまだまだでしょう。

    • by Anonymous Coward

      基本的には自動運転車はこの方針です。
      テスラだけ逆行してセンサー減らすとか言ってますが…まぁあそこは別。

      論文見れば数十cmで数Wの出力を浴びせてるので、現実の脅威というよりは概念のテストのようですけどね。
      まともな自立走行車なら、そんな近距離に障害物が接近する前に回避するなり止まるなりするので。

    • by Anonymous Coward

      赤外線「何かいる」
      ミリ波「いない」
      可視光「何かいる」

      加速度センサー・ジャイロ 「光学センサーはブレブレやったぞ」
      AI「じゃあ『いない』だな」
      じゃないのか

      • by Anonymous Coward

        普通判断系だと危険性認知優先にしないか?
        安全性を一つが確認すれば運転承認ってちと怖いぞ。

    • by Anonymous Coward

      付近のセンサーや走行中の車両等から追加情報取得。

      車両A:いる!
      車両B:いる!
      車両C:いない!
      道路の加圧センサー:いない!
      街灯:いる!
      看板:いない!

      #俺の目を盗ったな!とゴーストハックされた気分。

    • by Anonymous Coward

      付近の全車両で共有し合う方がより安全かも。
      隣や前後を並走してる車と情報交換して。
      こういう時、複数メーカーあると多様性で良さそう。自動運転機能が1、2社製にまとまったら厳しいかも。
      それでも偽情報を出す車とかあったら大変か。

      自動車間通信は何を使うのかな。WiFi?Bluetooth?
      ホーム用IoT向けの新規格のThreadなんかは親ハブとか不要で端末同士ネットワーク作れるし使えそうな気もするけど、
      高速移動してる車の場合、遅延が重要視されそうだな。

      • by Anonymous Coward

        そうだ。
        自動車に尻尾付けて後ろの車からはその状況をカメラで認識させよう。
        急にピン!と立つと、その車が前方に危険を察知したとか。

    • by Anonymous Coward

      赤外線「何かいる」
      AI「ふむ」
      ミリ波「いない」
      AI「ふむ」

      可視光「くぁwせdrftgyふじこlp」
      AI「くぁwせdrftgyふじこlp」

      #冗長性確保のため用意された3つの同種センサーのうち1つから送られた狂ったデータと
      #それを適切に処理できなかったソフトウェアの問題のせいで自動操縦システムも狂った事故があった

  • by NOBAX (21937) on 2021年06月21日 8時13分 (#4054718)
    障害物認識を誤認させて自社系列のコンビニとか駐車場に誘導する
    といった技術が開発されるのか
    ここに返信
  • by oni-giri.rice (49266) on 2021年06月20日 19時07分 (#4054579)

    未来の科学技術につける名前が「ポルターガイスト」ってのは面白いけど、
    研究が中国と聞くと怖ろしいね。

    ここに返信
    • by Anonymous Coward

      アメリカがやっても恐ろしいよ

    • by Anonymous Coward

      反対する団体を存続できない国だからね

  • センサーが狂えば正しい情報が入ってこないので、判断の精度が落ちるというところまではしょうがない。
    ただ、そこで明かな異常値を捨てて信頼できそうな情報だけで状況判断する、みたいなことをせず、あくまで異常な数値を組み込んで判断してしまうところが機械学習の限界よね。

    経験則だけで判断しているからこうなるのであって、理論~実証までのプロセスをなぞって状況を分析するロジックを人工知能で実践できるようになれば、問題はある程度解決する気がする。

    ここに返信
    • ひょっとしたら人間の場合も、経験・本能・直感こそ「負荷が低くて素早いが既知の状況に類似している場合しか対応出来ない」モノで、理性こそが「負荷が高くて処理は遅いが全く新しい状況に対応出来る」モノかも。

      • by Anonymous Coward

        逆のような気もするな

        理性は道理に従って判断するため遅く、既知の道理から逸脱できず新しい状況に対応出来ない
        直感はひらめきなどによって行動するため早く、道理などに縛られない分未知の状況に対応出来る

        ではないかと思うんだが・・・どうだろ?

        • 直感もひらめきも本能もプリセットや経験(学習含む)を超えたものはないよ。
          そういう意味では理性による論理構築も同じだが、その積み重ねが新しい知見をあまた生み出してることは言わずもがな。
          直感やひらめきは理論構築の際の手がかり…経験や記憶・知識の引っ張り出し方の一つにすぎん。
          そして理性を鍛えた人の直感やひらめきは有用だが、素人の思い付きは得てしてクソ。

          すごい天才のひらめきってのは理性の鍛え方が違うか、出力でなく入力が特殊だったりなんだよ。

        • by Anonymous Coward

          直感で対応はできても間違う(じっくり考えた理性より成功率低いだろ
          拙速か巧遅かのスケールの取り方なだけじゃない

    • by Anonymous Coward

      理論~実証までのプロセスをなぞって状況を分析するロジック

      が、既に人間並みの経験を有していないと前提から間違える予感が・・・

    • by Anonymous Coward

      人間だってそんなことできない。
      センサーにはセンサーの弱点があるように、人間の運転手にだって同様に弱点がある。

      人間の運転よりも十分に優れていると言えれば、完璧に対処でなくてもいい。
      こういう研究をベースに何等か定量的に、ここまでの妨害に対処できればいいという基準を作っていくことになるのだと思う。

      • by Anonymous Coward

        たしかに目眩ましは有効だけど、人間だったら
        「まぶしい」とか「おかしい」というのは類推できるから。
        多くの場合は速度を落としたりして、それなりに対処する。

        自動運転はそういう判断が全くないから、異常があっても
        気付かずにそのまま全速力で走り続ける。(≒暴走する)

        • by Anonymous Coward on 2021年06月21日 10時32分 (#4054770)

          「まぶしいなら速度を落としたりする」はまあ汎用性の高い対処ということで、
          機械でも「異常値ならアラート出しつつ加速はしない」とかの仕組みは可能でしょう。

          問題は、ヒトで当てはめるた時の「本当は直進路なのにゆるやかなカーブのように見える幻影」みたいなケース
          異常だとは思わないのでゆるやかに曲がろうとして直進路を外れてしまう。

          周辺認識の原理が分かれば騙す方法も分かる、というやつなので「原理的には」防ぐ方法はなく、なるべく多種の認識を組み合わせて「同時に騙すのは無理」にするしかない。
          (ヒトだったら前方目視だけじゃなく経験や地図や同乗者や周囲の音やなんかで気づく、ってのの機械版ね)

        • by Anonymous Coward

          全くないわけじゃない
          死亡事故になるのが確定してから緊急解除してアラートを出すくらいのプログラムは入ってる

        • by Anonymous Coward

          なんじゃそりゃ 自動運転に不利な状況考えてそれなら~とか意味ないじゃん

          センサー欺瞞という意味では道路に石の絵をかいておいてブレーキ誘発するとか
          風船の自動車を飛び出させてハンドル操作誤らせるとか
          運転者が人間で間違うのなんかいくらでも可能だろ

          そもそも「自動運転はそういう判断が全くないから、異常があっても気付かずにそのまま全速力で走り続ける。」ってどこ情報なのよw
          自分が作るとしてそんなの作るか?

    • by Anonymous Coward

      人間だって変わらん。単に経験が多いってだけで。
      今現在の機械学習だと表向きだけ上手くいけばってだけでしかないからそうなるだけ。

  • by Anonymous Coward on 2021年06月20日 16時40分 (#4054510)

    障害物映像を投射し強制減速

    シートベルトしていれば大丈夫
    後続車も良いドライバなら大丈夫

    悪いドライバーはZAPZAPZAP

    ここに返信
    • by Anonymous Coward

      中国だからまずは軍事用だろうな

  • by Anonymous Coward on 2021年06月20日 16時41分 (#4054511)

    どうでもいい事だけど
    バビル二世か超人ロックなら使えそうな技だなと思った

    ここに返信
  • オフロードはおろか、林道・砂利道・石畳、坂道なんかのドーナッツ状の抉れ群がある舗装路でも駄目かも。

    ここに返信
    • by Anonymous Coward

      通常の振動や衝撃は問題ないし未舗装路でも轍があれば行けるよ
      問題は超音波とかレーザーとかを指向された時でしょ

  • by Anonymous Coward on 2021年06月21日 5時52分 (#4054705)

    ぼくがいんたーねっとで知った情報によると悪の枢軸国中国はこんなハックを知ったらオープンにせず、普及したところを狙ってテロに利用するはずなのに。

    ここに返信
    • by Anonymous Coward

      いやいや、オープンになっているのは一部だけで、オープンの部分をブラフに使って
      実際はもっとすごいことを・・・・

  • by Anonymous Coward on 2021年06月21日 9時28分 (#4054748)

    軍事目的研究としては空が本命のような気がするけど

    ここに返信
  • by Anonymous Coward on 2021年06月21日 16時29分 (#4055020)

    「俺の目を盗んだな!」みたいな

    ここに返信
typodupeerror

Stableって古いって意味だっけ? -- Debian初級

読み込み中...