パスワードを忘れた? アカウント作成
13879256 story
テクノロジー

カメラやセンサーを騙すことでTeslaのAutopilotを混乱させる攻撃 46

ストーリー by hylom
だまし絵にころっと騙されそう 部門より
headless曰く、

TeslaのAutopilot機能を車載システムに侵入することなく攻撃する手法について、Tencent Keen Security Labが研究結果を公表している(Keen Security Lab BlogSlashGearArs Technica動画)。

Keen Security LabではTesla車のセキュリティ調査を以前から行っており、昨年のBlack Hat USA 2018ではTesla車のWi-Fi/3G通信機能を経由してAutopilot ECU(APE)に侵入し、のルート権限を取得する研究の成果を発表している。今回の研究ではルート権限を利用して外部からゲームコントローラーでハンドルを操作する手法に加え、車載カメラにadversarial exampleを撮影させ、自動ワイパー機能や車線検出機能のニューラルネットワークを混乱させる手法が検証されている。

従来の自動ワイパーではフロントガラスに落ちた雨粒による光の反射の変化を光センサーで検出する手法が用いられているのに対し、Teslaではカメラで撮影したフロントガラスの映像をニューラルネットワークで処理して降雨を判断しているという。研究ではカメラからの映像にわずかなノイズを加えることで降雨スコアが上昇することを確認しているが、映像を改変する攻撃は現実的ではない。そのため、車両前方に配置したテレビにノイズの画像を表示する実験を行い、ウォーリーノイズを表示した場合に降雨スコアが大きく上昇することを確認した。動画ではウォーリーノイズを画面に表示するとワイパーが動き出しており、先行車両のリアウィンドウや道路脇など、Teslaの魚眼カメラに写る場所へノイズ画像を表示することでワイパーを作動させることができるとみられている。

車線検出機能を混乱させる攻撃としては、車線を見失わせる攻撃と偽の車線を認識させる攻撃を検証している。車線を見失わせる攻撃では、カメラからの映像に強いノイズを加えたり、ペイント部分にパッチを加えたりすることで、ペイントが検出されなくなることが確認された。ただし、現実の道路でAPEが混乱するレベルまでペイント部分にステッカーなどのパッチを貼った場合、ドライバーが気付いてしまう可能性が高い。Teslaではペイントが消えかかっているなど状態の悪い道路の画像を学習させているとみられ、車線を見失わせる攻撃には強いようだ。一方、道路上に小さなステッカーをいくつか配置することで車線のペイントと誤認識することが確認されており、動画では車線を斜めに横切る形で数個のステッカーを貼るだけで対向車線に進ませるデモも行われている。

この議論は賞味期限が切れたので、アーカイブ化されています。 新たにコメントを付けることはできません。
  • 昔のカートゥーンアニメなんかだと
    道がまっすぐ続く絵を崖っぷちに置いて落っことすとか
    トンネルの絵を壁に描いてぶつける
    そんないたずらシーンがよくあった気がしますが
    自動運転車を騙して事故に合わせるようなこともきっと起こるのでしょうね。
    自動運転車を故意に誤動作させる事を禁じる法整備なんかも進んでるのかな。

    • by Anonymous Coward on 2019年04月05日 16時22分 (#3594021)

      カメラだけだと騙し絵には引っかかるらしいよ。
      やっぱミリ波レーダー位は併用必須にした方が良いんじゃないかと思う。

      親コメント
      • 車載カメラ、立体画が苦手 距離を「錯覚」、悪用で事故も [sankei.com]

        自動車に搭載されている距離測定用のカメラが、立体的に見える特殊な画像で「錯覚」を起こす可能性のあることが横浜国立大の研究で分かった。悪用されると衝突事故につながる恐れがあり、自動運転車などの新たなリスクとして対策を考える必要がありそうだ。

        対策はセンサーフュージョン(併用)

        SAMSUNGが前方が透けて見えるトラック!? [drive-love.jp]なんての実験をやっているのでワイパーくらいなら動かせそうだな。

        親コメント
        • by Anonymous Coward

          昔から、対 人間でもやってるよね、だまし絵。
          例えば https://www.gizmodo.jp/2008/06/post_3829.html [gizmodo.jp]
          通過するときのブレーキングで自動運転か人が運転しているかがばれる?

        • by Anonymous Coward

          日立のレンズレスカメラとかでも引っかかるんかね

          • by Anonymous Coward

            ハードウェアは関係ない

            • by Anonymous Coward

              そんなことないのでは?
              精度は別としても距離情報の有無は大きい。

      • by Anonymous Coward

        ちょっと道がへっこんでるだけで落とし穴と勘違いして先に進めないとか、あり得そう

      • by Anonymous Coward

        「ミリ波ならだまし絵を見破れます!」が魅力的と思ってくれるのはカートゥーンのキャラくらいかも。
        道路に引かれたラインはミリ波では認識できないだろうしね。

        • by Anonymous Coward

          「併用」って書いてあるやん。

          • by Anonymous Coward

            ミリ波レーダーを併用するとカメラにノイズが乗ってラインが見えなくなる可能性が。
            ま、他の車に載って居たりするわけで、それでノイズが乗るのならカメラ単体でもラインが見れないな。

            • by Anonymous Coward

              可能性があるとしてホントにあるの?
              ミリ波レーダ同士の干渉なら聞いたことあるけど。

              ミリ波と光の波長の違いは当然として、プロセッサにしても周波数が違うと思うんだが。

          • by Anonymous Coward

            カメラのみと併用した時の違いについての話をしたつもりだったんだけど。
            ラインの認識についてはカメラのみを頼ることになるので違いはないね、と

            • by Anonymous Coward

              まぁコースアウトを「ちょっと」は抑制してくれるんでないかな。
              (高速走行中は無理だろうし)

        • by Anonymous Coward

          思ってくれなくとも、世の中偶然にだまし絵になって居る事だってある訳で。
          要は「別の視点での認知」ってのを追加するって事でしょ?
          それなら想像力が無い人間が魅力を感じなくともちょっと想像すれば危険の取りこぼしが減ると判る人なら魅力を感じると思うよ。

          あとウチでやってるセンセだと、横断歩道が意外と良く無さそうと言っていたな。
          同様のパターンの繰り返しだと、パターンがズレているのを一致したと勘違いする可能性が否定できないと。
          そうすると距離認識がズレるからブレーキのタイミングが狂う可能性が。
          そういう時、ライダーかレーダーで対象物の距離を認識出来ると違うよね。

      • by Anonymous Coward

        技術を指定するよりも、さっさと自動運転機能の販売は事前審査制にすべき。未認定で販売済みの車は回収返金した方がいいんじゃないかな。
        自動車に積んだシステムで発生した事故はメーカーの責任だろ。運転手に黙って操作するような危険な装置を売って訴えられないの?

    • by Anonymous Coward

      そんなことやったらAIだけじゃなく人間だって騙されて事故起こすと思うのだけれども。

  •  映像だけみたいな単純な情報をもとに判断しようとするからそうなるのであって、複数の種類のセンサを使って複合的に判断するようになれば、簡単には騙されなくなるはず。
     まあ、人間とは全く異なる性能を持つセンサを使って、人間の判断を学習したら、ある種のゆがみが出るのは避けられないのかもしれないけどね。

     遠回りでも、観測データから周囲の状況を推測するAIと、現在の状況から最適な行動を選択するAIは分けた方が良いのでは。

    --
    しもべは投稿を求める →スッポン放送局がくいつく →バンブラの新作が発売される
    • 人間の運転者も容易に見間違いはするし。
      複合的なセンサー情報とそれらをまとめた状況判断が必要なのは人といっしょでしょうね。
      道路のペイントや標識も明かりの加減や薄くて見えなくなってるのも有るし。

      親コメント
    • by Anonymous Coward

      まず複合的な判断ができるAIを屏風から出してもらわないと
      いや別に単純なロジックでもいいんだけど
      カメラやセンサを増やしても過酷な条件に強くなるだけで判断力が上がるとは思えん
      センサが相反する結果を返したらどれを信用するのが妥当かどうやって決めるのか
      走行不能なら安全に路肩に寄せて停止するということすらできないようでは話にならないね

    • by Anonymous Coward

      AIに対してエンドユーザーが誤りを指摘できないし、誤りかけたけど結果的に問題なかった事がリアルタイムに解らないのも現状のAIの問題では。

      致命的エラーになれば、自動運転レベルが低い間はエンドユーザーが監視しているので、運転手に修正されたらフィードバックして修正を行う事が出来ます。
      しかし、内部でエラー率が高くなって行っても、致命的になるまでエンドユーザーに教えない実装が多いですよね。

      • by Anonymous Coward

        致命的になるまで教えないんじゃなくて、構造上、内部状態や時間的連続性が無いから判断ループ一回で急に致命的になるんだよ。
        一秒に数十回の判断一回一回がすべて別のケースなの。だからレベル3はいつまで経っても実現しないのにレベル4実験車両が走り回ってる。

    • by Anonymous Coward

      すでにいくつもつっこまれてるけど、人間の判断や行動をベースに学習するなら人間とAIが受け取る情報は極力同じにしないと学習にならないよ。

      ドライバーがパトカーの音に反応したとしてAIの方には音響系のインプットがなかったら、AIは自分の知りえるシグナルの中のどれかをトリガーだと学習してしまう恐れがある。
      逆にドライバーがレーダー情報を見ないで運転したら(運転中なら普通そうなる)
      それによって学習したAIも「レーダーの情報は判断に影響を与えない情報」として無視してしまう。

      • by Anonymous Coward

        >逆にドライバーがレーダー情報を見ないで運転したら(運転中なら普通そうなる)
        >それによって学習したAIも「レーダーの情報は判断に影響を与えない情報」として無視してしまう。

        これはちょっと違うんでね?
        ちゃんと作ってあれば、レーダー情報を一くくりにするんじゃなくて
        「こういうレーダー情報にはこう反応する、こういうレーダー情報は無視する」という
        学習になるはず。
        #その学習結果が理想的かどうかはともかく

        • by Anonymous Coward

          人間が反応したということはレーダー以外の手段で知覚できるシグナルがあったということで、AIにとっても「(人間にも知覚できる)このシグナルの方がレーダーより相関が強い」と学習するでしょう。
          人間の反応を学習しようとしているのに人間が知覚できない情報が何の役に立つの?

          • by Anonymous Coward

            あなたの見ている世界は、紙に描かれた平面の世界なのですか?

            • by Anonymous Coward

              この場合AIが学習する対象は人間であって、世界ではないですよ。
              だから人間の行動に影響しない情報は無意味です。

          • by Anonymous Coward

            つうか、そもそもレーダーに現れた何らかの情報を別経路(おそらく視覚)で人間が検知して反応してるのが
            大部分じゃないの?

            • by Anonymous Coward

              ならカメラでいいじゃない。その方が人間が得ているものに近い情報が得られる。

        • by Anonymous Coward

          理屈としては合ってるが、例えば「プールでおぼれた人の数からニコラスケイジの出演作品数を推論させる」とか
          全く相関しないデータから無理矢理対応関係を導かせようとすると収束しなかったり不適切な推論をする可能性はある

  • by Anonymous Coward on 2019年04月05日 17時14分 (#3594054)

    スタンドアロンのAI車じゃおっかなくてかなわんな
    道路上にある全てのクルマがネットワークで接続された無人運転車にならないと無理だと思うわ
    もちろん道路にも様々なセンサーが必要

    • by Anonymous Coward

      カメラに接着剤をつけるとかシール貼るとか、超絶簡単ないたずらで走行不能にできるのは脆弱だよなぁ。
      自動走行時代だと、対象の車を強制的に止めるのにタイヤを撃ち抜くんじゃなくてカメラにペンキでもぶっかければいいわけか。

      • by Anonymous Coward

        なにそのエクスドライバー

      • by Anonymous Coward

        非・自動走行時代だと、フロントガラスを見えなくしたら銃でぶち抜いて銃底で割って視界を確保されちゃいますもんねー。

    • by Anonymous Coward

      黒人とゴリラの区別がつかない問題にあるように、「穴」が開いていても事前に気づくことも、
      容易に直すことも難しいというが難題やね。
      確率的には人間よりエラーは少ないかもしれないが、それを社会が許せるかというところも

    • by Anonymous Coward

      専用道路なら予算さえあればどうとでもなる。
      DNNは過学習ぽいし安全重視なら専用道じゃないと当分無理だろうな。
      専用道なら人的イレギュラーはそいつが悪いでケリがつく。

      • by Anonymous Coward

        もう砂漠に一から自動運転可能な住宅地作っちゃえばいいんじゃないの

        • by Anonymous Coward

          ゴルフ場とゴルフカートとしてとっくの昔に実用化されてたり
          そろそろ自動運転実用化宣言した企業が続々と目標の期限を迎えそうだし、ゴルフカートにステッカー貼って「これが夢だった自動運転車です」と発表したりして

        • by Anonymous Coward

          共通の自動運転規格を定める必要があるし、
          該当規格以外の車の侵入を禁止した住宅街になるか、
          通常道路と該当規格専用道路で道路を多重化した街になる。

          中国か、Googleみたいなのが全額自費で街を作るかくらいで無いと無理だろな。

    • by Anonymous Coward

      いっそすべての道路に線路をつけて動力も架線による外部供給にすればいいのでは
      あっ鉄道だ

    • by Anonymous Coward

      完璧である必要などない。事故を起こすような運転をする人よりマシならよいのです。

      • by Anonymous Coward

        道路の汚れを見て反対車線に切り込むのは人よりマシ?

  • by Anonymous Coward on 2019年04月05日 19時38分 (#3594147)

    これって鍵のかかった車の外から侵入して急発進させたりできるってこと?
    テスラって自動操縦のトルクとか加速度にプロテクションは一切ないよね
    しかも2秒台前半の加速が自慢という…

typodupeerror

UNIXはただ死んだだけでなく、本当にひどい臭いを放ち始めている -- あるソフトウェアエンジニア

読み込み中...