超音波で自動運転自動車の物体検出を誤らせる「ポルターガイスト」攻撃 69
ストーリー by headless
怪奇 部門より
怪奇 部門より
自動運転自動車が物体を検出する機械学習モデルに対し、超音波を用いて誤った結果を導くという「ポルターガイスト」攻撃の研究成果を中国・浙江大学などの研究グループが発表している(GitHub プロジェクトページ、 The Registerの記事、 論文: PDF)。
ポルターガイスト攻撃は研究チームが AMpLe (injecting physics into Adversarial Machine Learning) 攻撃と呼ぶ、機械学習モデルに対する物理的な攻撃の一つ。超音波のほか、可視光や赤外線、レーザー、電波、磁場、熱、液体などを用いてセンサーの出力を操作し、誤った結果を導くというものだ。今回の研究は現行の製品ではなく、まだ見ぬ将来の自律走行車がどのように映像スタビライズシステムへの音響攻撃を回避していくかの理解を深めることが目的だという。
映像スタビライザーの加速度センサーやジャイロスコープは音響共鳴攻撃に弱いことが知られており、ポルターガイスト攻撃もこの仕組みを用いてセンサーをコントロールし、被写体ぶれした映像を出力させる。機械学習モデルによる物体検出は映像のぶれの有無に左右されるため、攻撃者は物体を消す (Hiding Attacks: HA)・存在しない物体を作り出す (Creating Attacks: CA)・物体の種類を変える (Altering Attacks: AA)という3種類の攻撃が可能になる。
実験で使用した物体検出モデルは研究用の YOLO V3/V4/V5 と R-CNN、商用の Apollo で用いられている YOLO 3D の5種類。シミュレーションでの攻撃成功率は HA で100%、CA で87.9%、AA で95.1%。実際に走行する自動車で Samsung Galaxy S20 を用いた実験では HA 98.3%、CA 43.7%、AA 43.1%という結果になったとのこと。ポルターガイスト攻撃はさまざまな場面や天候、時刻、カメラ解像度にかかわらず安定した結果を出したそうだ。
ポルターガイスト攻撃は研究チームが AMpLe (injecting physics into Adversarial Machine Learning) 攻撃と呼ぶ、機械学習モデルに対する物理的な攻撃の一つ。超音波のほか、可視光や赤外線、レーザー、電波、磁場、熱、液体などを用いてセンサーの出力を操作し、誤った結果を導くというものだ。今回の研究は現行の製品ではなく、まだ見ぬ将来の自律走行車がどのように映像スタビライズシステムへの音響攻撃を回避していくかの理解を深めることが目的だという。
映像スタビライザーの加速度センサーやジャイロスコープは音響共鳴攻撃に弱いことが知られており、ポルターガイスト攻撃もこの仕組みを用いてセンサーをコントロールし、被写体ぶれした映像を出力させる。機械学習モデルによる物体検出は映像のぶれの有無に左右されるため、攻撃者は物体を消す (Hiding Attacks: HA)・存在しない物体を作り出す (Creating Attacks: CA)・物体の種類を変える (Altering Attacks: AA)という3種類の攻撃が可能になる。
実験で使用した物体検出モデルは研究用の YOLO V3/V4/V5 と R-CNN、商用の Apollo で用いられている YOLO 3D の5種類。シミュレーションでの攻撃成功率は HA で100%、CA で87.9%、AA で95.1%。実際に走行する自動車で Samsung Galaxy S20 を用いた実験では HA 98.3%、CA 43.7%、AA 43.1%という結果になったとのこと。ポルターガイスト攻撃はさまざまな場面や天候、時刻、カメラ解像度にかかわらず安定した結果を出したそうだ。
複数センサーを組み合わせるしかないよなぁ。 (スコア:3, おもしろおかしい)
赤外線「何かいる」
ミリ波「いない」
可視光「何かいる」
AI「2対1で『何かいる』に決定!」
……
超音波「いない」
AI「2対2で『保留』!」……あれ？
Re:複数センサーを組み合わせるしかないよなぁ。 (スコア:1)
少数での多数決判断は奇数でやれと……
Re:複数センサーを組み合わせるしかないよなぁ。 (スコア:1)
現場猫「ヨシ!」
Re:複数センサーを組み合わせるしかないよなぁ。 (スコア:1)
雪風でのJAMとの電子戦をうっすら連想。
赤外(温度),可視光,紫外光,可聴音,低周波,超音波,空気密度の変化とか色々ありそう。
Re: (スコア:0)
いや映像のスタビライズを超音波ジャイロとか使ってやってるから
それを攻撃してブレブレの画像を得るようにするのでは
Re: (スコア:0)
同様の内容のセンサーでも複数の実装パターンで処理するようにしないとな。
少しづつクセの違うセンサーからの内容を総合的に判断するようになれば。
今現在は自動運転自体が実証レベルでしかないから、そういう実運用での安全性の向上についてはまだまだでしょう。
Re: (スコア:0)
基本的には自動運転車はこの方針です。
テスラだけ逆行してセンサー減らすとか言ってますが…まぁあそこは別。
論文見れば数十cmで数Wの出力を浴びせてるので、現実の脅威というよりは概念のテストのようですけどね。
まともな自立走行車なら、そんな近距離に障害物が接近する前に回避するなり止まるなりするので。
Re: (スコア:0)
赤外線「何かいる」
ミリ波「いない」
可視光「何かいる」
加速度センサー・ジャイロ 「光学センサーはブレブレやったぞ」
AI「じゃあ『いない』だな」
じゃないのか
Re: (スコア:0)
普通判断系だと危険性認知優先にしないか？
安全性を一つが確認すれば運転承認ってちと怖いぞ。
Re: (スコア:0)
付近のセンサーや走行中の車両等から追加情報取得。
車両A：いる!
車両B：いる!
車両C：いない!
道路の加圧センサー：いない!
街灯：いる!
看板：いない!
#俺の目を盗ったな!とゴーストハックされた気分。
Re: (スコア:0)
付近の全車両で共有し合う方がより安全かも。
隣や前後を並走してる車と情報交換して。
こういう時、複数メーカーあると多様性で良さそう。自動運転機能が１、２社製にまとまったら厳しいかも。
それでも偽情報を出す車とかあったら大変か。
自動車間通信は何を使うのかな。WiFi？Bluetooth？
ホーム用IoT向けの新規格のThreadなんかは親ハブとか不要で端末同士ネットワーク作れるし使えそうな気もするけど、
高速移動してる車の場合、遅延が重要視されそうだな。
Re: (スコア:0)
そうだ。
自動車に尻尾付けて後ろの車からはその状況をカメラで認識させよう。
急にピン！と立つと、その車が前方に危険を察知したとか。
メーデー民的には (スコア:0)
赤外線「何かいる」
AI「ふむ」
ミリ波「いない」
AI「ふむ」
可視光「くぁwせdrftgyふじこlp」
AI「くぁwせdrftgyふじこlp」
＃冗長性確保のため用意された３つの同種センサーのうち１つから送られた狂ったデータと
＃それを適切に処理できなかったソフトウェアの問題のせいで自動操縦システムも狂った事故があった
集客利用 (スコア:3)
といった技術が開発されるのか
Re:集客利用 (スコア:1)
天下一品「最近自動車の客が来なくなった‥」
Re:集客利用 (スコア:1)
// 自動車の客ってそういう意味じゃないだろ
Re: (スコア:0)
天下一品のロゴが進入禁止のマークに似ているという話かと
Re: (スコア:0)
路駐避けに
# 猫避けのペットボトル的な
温故知新 (スコア:2)
未来の科学技術につける名前が「ポルターガイスト」ってのは面白いけど、
研究が中国と聞くと怖ろしいね。
Re: (スコア:0)
アメリカがやっても恐ろしいよ
Re: (スコア:0)
反対する団体を存続できない国だからね
未経験の事象に理論立てた類推が出来ないのが弱点 (スコア:1)
センサーが狂えば正しい情報が入ってこないので、判断の精度が落ちるというところまではしょうがない。
ただ、そこで明かな異常値を捨てて信頼できそうな情報だけで状況判断する、みたいなことをせず、あくまで異常な数値を組み込んで判断してしまうところが機械学習の限界よね。
経験則だけで判断しているからこうなるのであって、理論～実証までのプロセスをなぞって状況を分析するロジックを人工知能で実践できるようになれば、問題はある程度解決する気がする。
しもべは投稿を求める →スッポン放送局がくいつく →バンブラの新作が発売される
Re:未経験の事象に理論立てた類推が出来ないのが弱点 (スコア:2)
ひょっとしたら人間の場合も、経験・本能・直感こそ「負荷が低くて素早いが既知の状況に類似している場合しか対応出来ない」モノで、理性こそが「負荷が高くて処理は遅いが全く新しい状況に対応出来る」モノかも。
Re: (スコア:0)
逆のような気もするな
理性は道理に従って判断するため遅く、既知の道理から逸脱できず新しい状況に対応出来ない
直感はひらめきなどによって行動するため早く、道理などに縛られない分未知の状況に対応出来る
ではないかと思うんだが・・・どうだろ？
Re:未経験の事象に理論立てた類推が出来ないのが弱点 (スコア:1)
直感もひらめきも本能もプリセットや経験（学習含む）を超えたものはないよ。
そういう意味では理性による論理構築も同じだが、その積み重ねが新しい知見をあまた生み出してることは言わずもがな。
直感やひらめきは理論構築の際の手がかり…経験や記憶・知識の引っ張り出し方の一つにすぎん。
そして理性を鍛えた人の直感やひらめきは有用だが、素人の思い付きは得てしてクソ。
すごい天才のひらめきってのは理性の鍛え方が違うか、出力でなく入力が特殊だったりなんだよ。
Re: (スコア:0)
直感で対応はできても間違う(じっくり考えた理性より成功率低いだろ
拙速か巧遅かのスケールの取り方なだけじゃない
Re: (スコア:0)
理論～実証までのプロセスをなぞって状況を分析するロジック
が、既に人間並みの経験を有していないと前提から間違える予感が・・・
Re: (スコア:0)
人間だってそんなことできない。
センサーにはセンサーの弱点があるように、人間の運転手にだって同様に弱点がある。
人間の運転よりも十分に優れていると言えれば、完璧に対処でなくてもいい。
こういう研究をベースに何等か定量的に、ここまでの妨害に対処できればいいという基準を作っていくことになるのだと思う。
Re: (スコア:0)
たしかに目眩ましは有効だけど、人間だったら
「まぶしい」とか「おかしい」というのは類推できるから。
多くの場合は速度を落としたりして、それなりに対処する。
自動運転はそういう判断が全くないから、異常があっても
気付かずにそのまま全速力で走り続ける。（≒暴走する）
Re:未経験の事象に理論立てた類推が出来ないのが弱点 (スコア:2, 興味深い)
「まぶしいなら速度を落としたりする」はまあ汎用性の高い対処ということで、
機械でも「異常値ならアラート出しつつ加速はしない」とかの仕組みは可能でしょう。
問題は、ヒトで当てはめるた時の「本当は直進路なのにゆるやかなカーブのように見える幻影」みたいなケース
異常だとは思わないのでゆるやかに曲がろうとして直進路を外れてしまう。
周辺認識の原理が分かれば騙す方法も分かる、というやつなので「原理的には」防ぐ方法はなく、なるべく多種の認識を組み合わせて「同時に騙すのは無理」にするしかない。
（ヒトだったら前方目視だけじゃなく経験や地図や同乗者や周囲の音やなんかで気づく、ってのの機械版ね）
Re:未経験の事象に理論立てた類推が出来ないのが弱点 (スコア:1)
まやかしには騙されない「心眼センサー」の開発を
Re:未経験の事象に理論立てた類推が出来ないのが弱点 (スコア:1)
Re: (スコア:0)
みえるぞ、オレには、みえるぞ!ヽ(°▽、°)ﾉｴﾍﾍﾍﾍ
#これは、魔眼や邪眼の類か?
Re: (スコア:0)
全くないわけじゃない
死亡事故になるのが確定してから緊急解除してアラートを出すくらいのプログラムは入ってる
Re: (スコア:0)
なんじゃそりゃ 自動運転に不利な状況考えてそれなら～とか意味ないじゃん
センサー欺瞞という意味では道路に石の絵をかいておいてブレーキ誘発するとか
風船の自動車を飛び出させてハンドル操作誤らせるとか
運転者が人間で間違うのなんかいくらでも可能だろ
そもそも「自動運転はそういう判断が全くないから、異常があっても気付かずにそのまま全速力で走り続ける。」ってどこ情報なのよｗ
自分が作るとしてそんなの作るか?
Re: (スコア:0)
人間だって変わらん。単に経験が多いってだけで。
今現在の機械学習だと表向きだけ上手くいけばってだけでしかないからそうなるだけ。
未来のオービス (スコア:0)
障害物映像を投射し強制減速
↓
シートベルトしていれば大丈夫
後続車も良いドライバなら大丈夫
↓
悪いドライバーはZAPZAPZAP
Re: (スコア:0)
中国だからまずは軍事用だろうな
何故pがその位置に入る (スコア:0)
どうでもいい事だけど
バビル二世か超人ロックなら使えそうな技だなと思った
Re:何故pがその位置に入る (スコア:2)
移動する車を点pとしている。
Re: (スコア:0)
どちらかというと、ロックを狙ってたエスパーハンターの一人，
「禍つ音」カルベルが使ってた。楽器を演奏して疑似ESP波を出して、
五感その他の感覚を完全に奪うんだと。
でもこれ一般人相手にはまったく意味ない技だな。
Re: (スコア:0)
physics intoなんで、中にいれてみました。
自動運転自動車が想定しているのは、相当なめらかな舗装路だな (スコア:0)
オフロードはおろか、林道・砂利道・石畳、坂道なんかのドーナッツ状の抉れ群がある舗装路でも駄目かも。
Re: (スコア:0)
通常の振動や衝撃は問題ないし未舗装路でも轍があれば行けるよ
問題は超音波とかレーザーとかを指向された時でしょ
おかしい (スコア:0)
ぼくがいんたーねっとで知った情報によると悪の枢軸国中国はこんなハックを知ったらオープンにせず、普及したところを狙ってテロに利用するはずなのに。
Re: (スコア:0)
いやいや、オープンになっているのは一部だけで、オープンの部分をブラフに使って
実際はもっとすごいことを・・・・
飛行するドローンはどうだろう (スコア:0)
軍事目的研究としては空が本命のような気がするけど
Re:飛行するドローンはどうだろう (スコア:1)
軍用の場合は今のところはスタンドアロンは珍しいから。
とはいえ、既にこういう話は出ている。
「米無人偵察機、偽のGPS信号に騙されていた」 https://srad.jp/story/11/12/18/0450212/ [srad.jp]
＞イランは妨害電波によりRQ-170と遠隔操縦システムとの接続を切断し、強制的に自動操縦モードに移行させたのだという。RQ-170はGPS信号を頼りにアフガニスタンの基地に向かったが、偽のGPS信号に誘導されてイラン国内に着陸してしまったそうだ。
民政ドローンに対する電子的な攻撃兵器の話も幾つもあったけど、
あれどこまで進んでるんだろう。
Re: (スコア:0)
音波砲？
https://ja.wikipedia.org/wiki/%E9%9F%B3%E6%B3%A2%E7%A0%B2 [wikipedia.org]
SFっぽくなってきた (スコア:0)
「俺の目を盗んだな！」みたいな