カメラやセンサーを騙すことでTeslaのAutopilotを混乱させる攻撃 46
だまし絵にころっと騙されそう 部門より
TeslaのAutopilot機能を車載システムに侵入することなく攻撃する手法について、Tencent Keen Security Labが研究結果を公表している（Keen Security Lab Blog、SlashGear、Ars Technica、動画）。
Keen Security LabではTesla車のセキュリティ調査を以前から行っており、昨年のBlack Hat USA 2018ではTesla車のWi-Fi/3G通信機能を経由してAutopilot ECU（APE）に侵入し、のルート権限を取得する研究の成果を発表している。今回の研究ではルート権限を利用して外部からゲームコントローラーでハンドルを操作する手法に加え、車載カメラにadversarial exampleを撮影させ、自動ワイパー機能や車線検出機能のニューラルネットワークを混乱させる手法が検証されている。
従来の自動ワイパーではフロントガラスに落ちた雨粒による光の反射の変化を光センサーで検出する手法が用いられているのに対し、Teslaではカメラで撮影したフロントガラスの映像をニューラルネットワークで処理して降雨を判断しているという。研究ではカメラからの映像にわずかなノイズを加えることで降雨スコアが上昇することを確認しているが、映像を改変する攻撃は現実的ではない。そのため、車両前方に配置したテレビにノイズの画像を表示する実験を行い、ウォーリーノイズを表示した場合に降雨スコアが大きく上昇することを確認した。動画ではウォーリーノイズを画面に表示するとワイパーが動き出しており、先行車両のリアウィンドウや道路脇など、Teslaの魚眼カメラに写る場所へノイズ画像を表示することでワイパーを作動させることができるとみられている。
車線検出機能を混乱させる攻撃としては、車線を見失わせる攻撃と偽の車線を認識させる攻撃を検証している。車線を見失わせる攻撃では、カメラからの映像に強いノイズを加えたり、ペイント部分にパッチを加えたりすることで、ペイントが検出されなくなることが確認された。ただし、現実の道路でAPEが混乱するレベルまでペイント部分にステッカーなどのパッチを貼った場合、ドライバーが気付いてしまう可能性が高い。Teslaではペイントが消えかかっているなど状態の悪い道路の画像を学習させているとみられ、車線を見失わせる攻撃には強いようだ。一方、道路上に小さなステッカーをいくつか配置することで車線のペイントと誤認識することが確認されており、動画では車線を斜めに横切る形で数個のステッカーを貼るだけで対向車線に進ませるデモも行われている。
カートゥーンアニメで (スコア:2)
昔のカートゥーンアニメなんかだと
道がまっすぐ続く絵を崖っぷちに置いて落っことすとか
トンネルの絵を壁に描いてぶつける
そんないたずらシーンがよくあった気がしますが
自動運転車を騙して事故に合わせるようなこともきっと起こるのでしょうね。
自動運転車を故意に誤動作させる事を禁じる法整備なんかも進んでるのかな。
Re:カートゥーンアニメで (スコア:1)
カメラだけだと騙し絵には引っかかるらしいよ。
やっぱミリ波レーダー位は併用必須にした方が良いんじゃないかと思う。
Re:カートゥーンアニメで (スコア:2)
車載カメラ、立体画が苦手 距離を「錯覚」、悪用で事故も [sankei.com]
対策はセンサーフュージョン(併用)
SAMSUNGが前方が透けて見えるトラック!？ [drive-love.jp]なんての実験をやっているのでワイパーくらいなら動かせそうだな。
Re: (スコア:0)
昔から、対 人間でもやってるよね、だまし絵。
例えば https://www.gizmodo.jp/2008/06/post_3829.html [gizmodo.jp]
通過するときのブレーキングで自動運転か人が運転しているかがばれる？
Re: (スコア:0)
日立のレンズレスカメラとかでも引っかかるんかね
Re: (スコア:0)
ハードウェアは関係ない
Re: (スコア:0)
そんなことないのでは？
精度は別としても距離情報の有無は大きい。
Re: (スコア:0)
ちょっと道がへっこんでるだけで落とし穴と勘違いして先に進めないとか、あり得そう
Re: (スコア:0)
道にある舗装の違い／継ぎ目をラインと勘違いして進路変更。あわや激突という話ならすでに。
https://www.youtube.com/watch?v=TIUU1xNqI8w [youtube.com]
＃死亡事故の奴も原因はコレかもしれん。 https://japanese.engadget.com/2018/06/08/model-x-autopilot-ntsb/ [engadget.com]
「センサーを併用して消えかけたラインでも辿れる」
といえば聞こえは良いが、ラインじゃない何かを誤認識して、こうなるリスクも増えちゃうんだな。
Re: (スコア:0)
「ミリ波ならだまし絵を見破れます！」が魅力的と思ってくれるのはカートゥーンのキャラくらいかも。
道路に引かれたラインはミリ波では認識できないだろうしね。
Re: (スコア:0)
「併用」って書いてあるやん。
Re: (スコア:0)
ミリ波レーダーを併用するとカメラにノイズが乗ってラインが見えなくなる可能性が。
ま、他の車に載って居たりするわけで、それでノイズが乗るのならカメラ単体でもラインが見れないな。
Re: (スコア:0)
可能性があるとしてホントにあるの？
ミリ波レーダ同士の干渉なら聞いたことあるけど。
ミリ波と光の波長の違いは当然として、プロセッサにしても周波数が違うと思うんだが。
Re: (スコア:0)
カメラのみと併用した時の違いについての話をしたつもりだったんだけど。
ラインの認識についてはカメラのみを頼ることになるので違いはないね、と
Re: (スコア:0)
まぁコースアウトを「ちょっと」は抑制してくれるんでないかな。
(高速走行中は無理だろうし)
Re: (スコア:0)
思ってくれなくとも、世の中偶然にだまし絵になって居る事だってある訳で。
要は「別の視点での認知」ってのを追加するって事でしょ？
それなら想像力が無い人間が魅力を感じなくともちょっと想像すれば危険の取りこぼしが減ると判る人なら魅力を感じると思うよ。
あとウチでやってるセンセだと、横断歩道が意外と良く無さそうと言っていたな。
同様のパターンの繰り返しだと、パターンがズレているのを一致したと勘違いする可能性が否定できないと。
そうすると距離認識がズレるからブレーキのタイミングが狂う可能性が。
そういう時、ライダーかレーダーで対象物の距離を認識出来ると違うよね。
Re: (スコア:0)
技術を指定するよりも、さっさと自動運転機能の販売は事前審査制にすべき。未認定で販売済みの車は回収返金した方がいいんじゃないかな。
自動車に積んだシステムで発生した事故はメーカーの責任だろ。運転手に黙って操作するような危険な装置を売って訴えられないの?
Re: (スコア:0)
そんなことやったらAIだけじゃなく人間だって騙されて事故起こすと思うのだけれども。
Re:カートゥーンアニメで (スコア:2)
すでに実用化されてて、事故減少の結果が出てるんやで？
https://trafficnews.jp/post/64577 [trafficnews.jp]
対策としては複合センサか (スコア:1)
映像だけみたいな単純な情報をもとに判断しようとするからそうなるのであって、複数の種類のセンサを使って複合的に判断するようになれば、簡単には騙されなくなるはず。
まあ、人間とは全く異なる性能を持つセンサを使って、人間の判断を学習したら、ある種のゆがみが出るのは避けられないのかもしれないけどね。
遠回りでも、観測データから周囲の状況を推測するAIと、現在の状況から最適な行動を選択するAIは分けた方が良いのでは。
Re:対策としては複合センサか (スコア:1)
人間の運転者も容易に見間違いはするし。
複合的なセンサー情報とそれらをまとめた状況判断が必要なのは人といっしょでしょうね。
道路のペイントや標識も明かりの加減や薄くて見えなくなってるのも有るし。
Re: (スコア:0)
まず複合的な判断ができるAIを屏風から出してもらわないと
いや別に単純なロジックでもいいんだけど
カメラやセンサを増やしても過酷な条件に強くなるだけで判断力が上がるとは思えん
センサが相反する結果を返したらどれを信用するのが妥当かどうやって決めるのか
走行不能なら安全に路肩に寄せて停止するということすらできないようでは話にならないね
Re: (スコア:0)
AIに対してエンドユーザーが誤りを指摘できないし、誤りかけたけど結果的に問題なかった事がリアルタイムに解らないのも現状のAIの問題では。
致命的エラーになれば、自動運転レベルが低い間はエンドユーザーが監視しているので、運転手に修正されたらフィードバックして修正を行う事が出来ます。
しかし、内部でエラー率が高くなって行っても、致命的になるまでエンドユーザーに教えない実装が多いですよね。
Re: (スコア:0)
致命的になるまで教えないんじゃなくて、構造上、内部状態や時間的連続性が無いから判断ループ一回で急に致命的になるんだよ。
一秒に数十回の判断一回一回がすべて別のケースなの。だからレベル3はいつまで経っても実現しないのにレベル4実験車両が走り回ってる。
Re: (スコア:0)
とてもわかりやすい
Re: (スコア:0)
すでにいくつもつっこまれてるけど、人間の判断や行動をベースに学習するなら人間とAIが受け取る情報は極力同じにしないと学習にならないよ。
ドライバーがパトカーの音に反応したとしてAIの方には音響系のインプットがなかったら、AIは自分の知りえるシグナルの中のどれかをトリガーだと学習してしまう恐れがある。
逆にドライバーがレーダー情報を見ないで運転したら(運転中なら普通そうなる)
それによって学習したAIも「レーダーの情報は判断に影響を与えない情報」として無視してしまう。
Re: (スコア:0)
＞逆にドライバーがレーダー情報を見ないで運転したら(運転中なら普通そうなる)
＞それによって学習したAIも「レーダーの情報は判断に影響を与えない情報」として無視してしまう。
これはちょっと違うんでね？
ちゃんと作ってあれば、レーダー情報を一くくりにするんじゃなくて
「こういうレーダー情報にはこう反応する、こういうレーダー情報は無視する」という
学習になるはず。
＃その学習結果が理想的かどうかはともかく
Re: (スコア:0)
人間が反応したということはレーダー以外の手段で知覚できるシグナルがあったということで、AIにとっても「(人間にも知覚できる)このシグナルの方がレーダーより相関が強い」と学習するでしょう。
人間の反応を学習しようとしているのに人間が知覚できない情報が何の役に立つの？
Re: (スコア:0)
あなたの見ている世界は、紙に描かれた平面の世界なのですか？
Re: (スコア:0)
この場合AIが学習する対象は人間であって、世界ではないですよ。
だから人間の行動に影響しない情報は無意味です。
Re: (スコア:0)
つうか、そもそもレーダーに現れた何らかの情報を別経路（おそらく視覚）で人間が検知して反応してるのが
大部分じゃないの？
Re: (スコア:0)
ならカメラでいいじゃない。その方が人間が得ているものに近い情報が得られる。
Re: (スコア:0)
理屈としては合ってるが、例えば「プールでおぼれた人の数からニコラスケイジの出演作品数を推論させる」とか
全く相関しないデータから無理矢理対応関係を導かせようとすると収束しなかったり不適切な推論をする可能性はある
あと100年は無理じゃないですかね (スコア:0)
スタンドアロンのAI車じゃおっかなくてかなわんな
道路上にある全てのクルマがネットワークで接続された無人運転車にならないと無理だと思うわ
もちろん道路にも様々なセンサーが必要
Re: (スコア:0)
カメラに接着剤をつけるとかシール貼るとか、超絶簡単ないたずらで走行不能にできるのは脆弱だよなぁ。
自動走行時代だと、対象の車を強制的に止めるのにタイヤを撃ち抜くんじゃなくてカメラにペンキでもぶっかければいいわけか。
Re: (スコア:0)
なにそのエクスドライバー
Re: (スコア:0)
非・自動走行時代だと、フロントガラスを見えなくしたら銃でぶち抜いて銃底で割って視界を確保されちゃいますもんねー。
Re: (スコア:0)
黒人とゴリラの区別がつかない問題にあるように、「穴」が開いていても事前に気づくことも、
容易に直すことも難しいというが難題やね。
確率的には人間よりエラーは少ないかもしれないが、それを社会が許せるかというところも
Re: (スコア:0)
専用道路なら予算さえあればどうとでもなる。
DNNは過学習ぽいし安全重視なら専用道じゃないと当分無理だろうな。
専用道なら人的イレギュラーはそいつが悪いでケリがつく。
Re: (スコア:0)
もう砂漠に一から自動運転可能な住宅地作っちゃえばいいんじゃないの
Re: (スコア:0)
ゴルフ場とゴルフカートとしてとっくの昔に実用化されてたり
そろそろ自動運転実用化宣言した企業が続々と目標の期限を迎えそうだし、ゴルフカートにステッカー貼って「これが夢だった自動運転車です」と発表したりして
Re: (スコア:0)
共通の自動運転規格を定める必要があるし、
該当規格以外の車の侵入を禁止した住宅街になるか、
通常道路と該当規格専用道路で道路を多重化した街になる。
中国か、Googleみたいなのが全額自費で街を作るかくらいで無いと無理だろな。
Re: (スコア:0)
いっそすべての道路に線路をつけて動力も架線による外部供給にすればいいのでは
あっ鉄道だ
Re: (スコア:0)
完璧である必要などない。事故を起こすような運転をする人よりマシならよいのです。
Re: (スコア:0)
道路の汚れを見て反対車線に切り込むのは人よりマシ?
3G通信機能を経由してAutopilot ECU（APE）に侵入し、 (スコア:0)
これって鍵のかかった車の外から侵入して急発進させたりできるってこと?
テスラって自動操縦のトルクとか加速度にプロテクションは一切ないよね
しかも2秒台前半の加速が自慢という…