TeslaのAutopilot機能を車載システムに侵入することなく攻撃する手法について、Tencent Keen Security Labが研究結果を公表している（Keen Security Lab Blog、SlashGear、Ars Technica、動画）。

Keen Security LabではTesla車のセキュリティ調査を以前から行っており、昨年のBlack Hat USA 2018ではTesla車のWi-Fi/3G通信機能を経由してAutopilot ECU（APE）に侵入し、のルート権限を取得する研究の成果を発表している。今回の研究ではルート権限を利用して外部からゲームコントローラーでハンドルを操作する手法に加え、車載カメラにadversarial exampleを撮影させ、自動ワイパー機能や車線検出機能のニューラルネットワークを混乱させる手法が検証されている。

従来の自動ワイパーではフロントガラスに落ちた雨粒による光の反射の変化を光センサーで検出する手法が用いられているのに対し、Teslaではカメラで撮影したフロントガラスの映像をニューラルネットワークで処理して降雨を判断しているという。研究ではカメラからの映像にわずかなノイズを加えることで降雨スコアが上昇することを確認しているが、映像を改変する攻撃は現実的ではない。そのため、車両前方に配置したテレビにノイズの画像を表示する実験を行い、ウォーリーノイズを表示した場合に降雨スコアが大きく上昇することを確認した。動画ではウォーリーノイズを画面に表示するとワイパーが動き出しており、先行車両のリアウィンドウや道路脇など、Teslaの魚眼カメラに写る場所へノイズ画像を表示することでワイパーを作動させることができるとみられている。

車線検出機能を混乱させる攻撃としては、車線を見失わせる攻撃と偽の車線を認識させる攻撃を検証している。車線を見失わせる攻撃では、カメラからの映像に強いノイズを加えたり、ペイント部分にパッチを加えたりすることで、ペイントが検出されなくなることが確認された。ただし、現実の道路でAPEが混乱するレベルまでペイント部分にステッカーなどのパッチを貼った場合、ドライバーが気付いてしまう可能性が高い。Teslaではペイントが消えかかっているなど状態の悪い道路の画像を学習させているとみられ、車線を見失わせる攻撃には強いようだ。一方、道路上に小さなステッカーをいくつか配置することで車線のペイントと誤認識することが確認されており、動画では車線を斜めに横切る形で数個のステッカーを貼るだけで対向車線に進ませるデモも行われている。