パスワードを忘れた? アカウント作成
17406057 story
人工知能

AI検出ツールではフィッシングメールの4分の3近くを検証できない 31

ストーリー by headless
検証 部門より
Egress の報告書 Phishing Threat Trends Report によると、AI 検出ツールではフィッシングメールの 4 分の 3 近くについて、チャットボットが生成したものかどうかを識別できないそうだ (プレスリリースBetaNews の記事)。

検出ツールは大規模言語モデル (LLM) を使用するため、少なくとも 250 文字以上のテキストを必要とするものが多い。フィッシングメールは 44.9% が 250 文字未満であり、250 文字以上であっても 500 文字未満のものが 26.5% に上るという。攻撃者はチャットボットの出力だとわかりにくくするために表現の置き換えなどの手法を用いることもあるが、AI 検出ツールではそれ以前の問題として 71.4% のフィッシングメールを確実に検証できないか、まったく検証できないとのことだ。
この議論は賞味期限が切れたので、アーカイブ化されています。 新たにコメントを付けることはできません。
  • ヘッダ情報といか見るもんでないのかねぇ。
    せいぜい、リンク先のドメインとかでしょ。

    文面で判断する限り、人間にだってそう簡単に区別浮かないよね。

    --
    しもべは投稿を求める →スッポン放送局がくいつく →バンブラの新作が発売される
    • by simon (1336) on 2023年10月10日 12時12分 (#4542933)

      Gmailはどうやってるんだろ?
      かなりの高精度でフィッシングメールは弾いてくれてるけどどういう仕組みなんだ
      まさか中の人が一通一通チェックしてるわけでもあるまい

      親コメント
    • 最近は極端にアヤシイ日本語のスパムも減ってるし
      送信元とリンクurlくらいしか見ませんね
      キャリアのスパムフィルターも送信元ドメインと文章の使いまわし和チェックしているみたいですし
      それ以下の性能ならAIツール自体がダメなのでしょうね

      親コメント
    • by Anonymous Coward on 2023年10月09日 0時01分 (#4542456)

      文面で判断するツールでは3/4が判定できない、という意味では?
      ヘッダーやリンク先から判定出来る様に学習させるのにはLLMは使いにくいでしょうし。

      親コメント
    • by Anonymous Coward

      昔からいうでしょう
      バカとテストと召喚獣
      もとい
      馬鹿と鋏は使いよう
      研究費をもっと掛ける必要があります
      っていうネタに使われているのですよ

    • by Anonymous Coward

      でもいまだに大企業の指導では文面から判断しろとかいわゆる中華フォントないし簡体字か繁体字が入ってないか見ろとかになってるし。
      手の込んだものだとリンクにマウスオーバーした時点でやられたりメールをメーラーで開いた時点でアウトだがそういうのはとりあえず無視してそうな調査。

      • by Anonymous Coward

        >リンクにマウスオーバーした時点でやられたりメールをメーラーで開いた時点でアウト
        マウスオーバー/メール開いた時点でスクリプトのトリガー発火って、それメーラーが悪いんでないの?

    • by Anonymous Coward

      重要なのはヘッダ情報だよね。
      メーラーで弾くんじゃなくて、sendmail/PostfixとかにAI判定入れて変なヘッダ情報のメールは/dev/nullしてくれた方が役に立ちそう。

    • by Anonymous Coward

      ベイジアンフィルタって聞いたことない?

    • by Anonymous Coward

      だよねぇ
      多言語対応するよりもヘッダの単一言語で解析するほうがコストも安いし確度も上がる
      ベイジアンフィルタにすら劣る各国語AI解析なんて要らんよね

    • by Anonymous Coward

      そもそもヘッダー見て判断できる事にAIなんて要らんでしょう?

      • DKIMは強力だけど対応してるとこがそれほど多くないし、
        最近は.cnとかのメールアドレスで、DKIMはちゃんとやってる、みたいなフィッシングメールも出てきてるので、
        DKIMしてるかどうかでスコアを調節する、というのもそれほど精度が良くない
        ってことで、

        たとえば、amazonは
        ○差出人表示がAmazonの場合、本物はメールアドレスは amazon.co.jp でDKIMしてる
        ×差出人表示がAmazonとなっていてメールアドレスは本物と同じだけど、DKIMしてない
        ×差出人表示がAmazonとなっていてDKIMしてるけど、メールアドレスが amazon.co.jp じゃない
        といった感じ手動でこういうルールを作ったらamazonを模したフィッシングメールはばっさりフィルタリングできてますけど、

        DKIMしてないとこならSPFで見るとか、
        SPFしてなくても Receivedでもある程度判別可能とか、
        目で見て判断はは難しくなくても、
        フィッシングメールの種類ごとにルールを作るの面倒くさいので、
        正しさを自動学習してくれるとうれしいかな、とちょっと思う。

        親コメント
        • by Anonymous Coward

          身近だとさくらインターネットがDKIM非対応なのが困る。

          Envelope-Fromをヘッダに残してくれてるメールサービスだと面倒だけど、結構どうにかなりますね。

          • by Anonymous Coward

            棚卸しがちょっと大変だけど、DMARC使いましょう(DMARCって言ってみたかっただけ)

    • by Anonymous Coward
      タイトルで【重要】【緊急】など【】を使っているものをスパムと判定すればかなりのスパムが検出できます。
      ただし、スパムでないものもスパム扱いされてしまいますが。

      横浜銀行、お前のことだ。
  • フィッシングメールの判定ってチャットボットが生成したかどうかよりも
    攻撃の意図があるかどうかのほうが大事なんじゃないのかな。
    それも文章だけじゃなくてリンクのurlとかも含めて。

  • さらっと出てくる名前だけど、具体的に何を指してるのか分からないし、例え具体的にプログラムが指定されても、「それあなたの知ってるツールの話ですよね」ってなるんだけど、なにか業界的なデファクトスタンダードみたいなのあるの?

    > 攻撃者はチャットボットの出力だとわかりにくくするために表現の置き換えなどの手法を用いる
    攻撃者にとってチャットボットの出力だと分かりにくくする必要ってあんの?
    チャットボットがなんなのか分からないけど、フィッシングメールで相手を騙しやすくする為だけにやってるんだよね?
    目的と手段が逆になってない?
    AI検出ツールにとって見れば、「あっそういう事?先に言ってよ」的な、目的の見誤り方だと思うんだけど。

    AIを検出するっていう題目に、フィッシングメールのチャットボット偽装を対象にしたんだろうけど、そもそもAIかどうか検出する需要がない物を対象にしても、成果の判定難しくないですか?
    フィッシングメールを見破れる検出ツールっていうなら、分かりやすいんですけどね。

    • by Anonymous Coward

      たれながしの弁

    • by Anonymous Coward

      単にAIつーても性能含めいろいろあんのにな
      今回のだけでAIはダメでした、にはならんだろう

  • by Anonymous Coward on 2023年10月08日 16時20分 (#4542341)

    AIが作ったフィッシングメールをAIでテストしたら、何をやっても最終的に判定確率50%前後に落ち着くのでは?

  • by Anonymous Coward on 2023年10月08日 16時21分 (#4542343)

    なんで捕まえることができないのだろう、というのと初期設定で日本国外からのメール弾くように法整備したらいいんじゃないの?
    電話もだけど。

    • by Anonymous Coward

      法律もファイヤウォールも例外設定妙に高難易度にされてて作りにくい上に
      作ったら作ったで運用上の穴になりやすい。設定触りにくくしてる意味がない
      実装頑張っても周りの環境が稼働ゆるしてくれなかったり運用能力ゴミで終了。

  • by Anonymous Coward on 2023年10月08日 16時31分 (#4542344)

    本気でユーザーの持ってるアカウントとか各公式サイトのドメインとか十分な情報があればフィッシングメールはかなりの確率で弾けるんじゃないか?
    プライバシーの侵害に見合うメリットとは思えないが。
    フィッシングメールならコピペで良いんだからAI検出ツールとやらが文字だけならそりゃ難しいよ。

  • by Anonymous Coward on 2023年10月08日 18時33分 (#4542374)

    じゃないかなぁ?

    文面だけでは判断できない「本物のメール改変フィッシング」も増えてきましたけど、リンク先でわかるわけで多角的にチェックすればフィッシングメールを判断する事はまだまだ容易なはずです。

    ドメイン乗っ取ってフィッシングなら無理ですが、そこまでの大技かますかしら?

  • by Anonymous Coward on 2023年10月08日 18時59分 (#4542380)

    「AIで(フィッシングを)検出するツール」なのか、「AI(で作成したもの)を検出するツール」なのか。
    どっちともとれるよね

    • by Anonymous Coward

      まあどっちも文章量が少なければ少ないほど検出率が下がるのは同じだろうから……

  • by Anonymous Coward on 2023年10月09日 1時17分 (#4542469)
    フィッシングメールによって様々ですが、文面は基本的に本物のコピーで、リンク先だけが偽物というのも多いのではないでしょうか?
    その場合、文面での判断は難しいと思います。
  • by Anonymous Coward on 2023年10月09日 10時06分 (#4542542)

    電子メールはS/MIMEを必須にして身元不明のメールはゴミ箱直行にするようにすりゃいい。

    問題は発信側がS/MIMEに対応しなきゃいかんところ。
    いいかげんメールはS/MIMEを義務つけりゃいいと思うわ。

  • わかるのは「これを書いたのは馬鹿か◯◯◯◯か◯◯◯」ってことだけ

  • > フィッシングメールは 44.9% が 250 文字未満であり、250 文字以上であっても 500 文字未満のものが 26.5% に上るという。

    44.9 + 26.5 = 71.4

    そんな難しく書く必要ない。500文字未満のものは正しく判定できない、ただそれだけ。

  • だそうですよ。ただし、メールではなくSMSのみ……ん、ブラウザで止めるみたい。
    ※詐欺リンク対策、だな。

typodupeerror

目玉の数さえ十分あれば、どんなバグも深刻ではない -- Eric Raymond

読み込み中...