パスワードを忘れた? アカウント作成
202859 story
ソフトウェア

100 体のマルウェアでセキュリティソフトを比較してみた 56

ストーリー by reo
明日から本気出す 部門より

ある Anonymous Coward 曰く、

100 体のマルウェアを仕込んだ PC で有料・無料の 18 個のセキュリティソフトの検出率を比較した動画がニコニコ動画で話題になっている (ニコニコ動画Youtube作者のブログ記事より)。

テストするウィルスの内容によって結果が大きく変わるので、この結果を過信しないで欲しいとの作者の言だが、セキュリティソフトによる検出率がけっこうばらついていて興味深い。動画では F-Secure internet security と Kaspersky がほぼ並んで 94/100, 93/100。Microsoft Security Essentials と KINGSOFT internet security は 37/100 と奮わなかった。/.Jer ご使用のソフトがどの位置につけているか語り合ったり、年度末のセキュリティソフト購入のための指針として考えてみるのもいいかもしれない。

この議論は賞味期限が切れたので、アーカイブ化されています。 新たにコメントを付けることはできません。
  • 俺たちがやるべきことは (スコア:5, おもしろおかしい)

    by Anonymous Coward on 2010年03月18日 14時58分 (#1735123)
    批判ではなく、的確なアドバイスを与えて
    この少年を間違った方向に導くことではなかろうか
  • by flied onion (36971) on 2010年03月18日 12時30分 (#1734991) 日記
    94/100とか93/100とかの94や93にウィルスじゃないのにひっかかっちゃったファイルっていうのはないんですかね?
    zipの中身と親zipで二重に計算してるとか。

    zip内に2個以上検出されたら母数の100も変わるかもしれませんね。
    (94箇所とかファイル/100体 ですよね?)

    # 試したソフトの数を見る限り趣味でそこまでチェックするのはやってらんないと思います。素朴なギモンです。
    --
    # yes, fly. no, fry.
    • 作者サイトに載ってます。
      曰く、「脅威の数とウイルスの数に差が出るので残ったウイルスを数えて、検出できた量を出しました」

      未検出数をカウントしている=誤検出数は無視、という事。

      # 検出率の高さよりも、誤検出の少なさやPC停止の前科の方を重視したい……
      --
      notice : I ignore an anonymous contribution.
      親コメント
      • by Anonymous Coward

        誤検出無視だと、最強ソフトのアルゴリズムってこんなのだなあ。

        // テキトーな擬似コード
        if( TRUE ){
         // アプリケーションが不正な処理を行いました。
         printf("危険なアプリを検出しました。");
        }

        • by 127.0.0.1 (33105) on 2010年03月19日 10時29分 (#1735557) 日記
          JavaScriptで、alertでそういうのを出すページを作って、自分のiPhoneで見たら
          ひどい目に遭いました。

          最終的にiPhoneをリブートしたんだっけな。いや元のページを無害なのに置き換えたんだっけ。
          一般的な人だと対処不能だろうなぁ。PCに接続してリカバリーかな。
          PCのブラウザなら、ブラウザのプロセスを終了させればいいけど、まぁ迷惑ではある。
          親コメント
  • by the.ACount (31144) on 2010年03月23日 10時45分 (#1737027)

    日本だな~
    (同類以外には醜悪な心が丸見え)

    --
    the.ACount
  • by Anonymous Coward on 2010年03月18日 11時52分 (#1734958)
    今後が楽しみだな。
  • by Anonymous Coward on 2010年03月18日 12時04分 (#1734966)
    検証に使った100体という数字は多いんでしょうか?少ないんでしょうか?
    セキュリティ専門のコンサル会社などでもこういった検証はされてると思うんでしょうけど、そういったところではどれぐらいの数を相手に検証してるんでしょうね?
    • Re:100体 (スコア:2, 参考になる)

      by Anonymous Coward on 2010年03月18日 13時27分 (#1735052)

      最強のウイルス対策ソフトはどれなのかランキング2009年8月版 [gigazine.net]で紹介されている分だと

      SET A(Dec 07 - Dec 08) 2,309,850
      SET B(Jan 09 - Dec 08)
      Windows viruses 23,791
      Macro viruses 1,198
      Worms 95,881
      Backdoors/Bots 323,723
      Trojans 1,084,602
      other malware 28,431

      時期によって数も変わってくるのでしょうね。

      親コメント
    • Re:100体 (スコア:1, すばらしい洞察)

      by Anonymous Coward on 2010年03月18日 13時01分 (#1735028)
      本気で比較するのなら、100体どころか1000体でも10000体でも少ないわけで、
      どちらかというと、数よりも種類とか亜種のバージョンが重要。

      今、とても流行しているものがどうかとか、出現して間もないものを検知
      できるかなどが重要。

      レポーターは中学生らしいので、中学生が100体も集めるのは大変だったと
      想像されますけど、最低限、使ったマルウェアのリストくらいは見ないと
      まったくわかりません。

      MSのものは最新の亜種も結構拾ってくれますが、最新パターンでマッチ
      しているというよりも、原種のパターンに似てるものを検知しているのか、
      ビヘイビアで検知しているような気がするので、そのリストに検知しない系の
      亜種がごっそり入っていれば検知率は下がりますね。
      親コメント
    • by Anonymous Coward
      何を基準にして100体を選んだのか気になる
    • by Anonymous Coward
      そもそも通常「体」で数えるものなの?怪獣みたいな扱い?
      じゃあ「匹」とかでもいいのかな?
    • by Anonymous Coward

      100体って言うのは信じられないくらい少ない
      たとえばPCJAPANのセキュリティソフト比較は16万体くらいでチェックしていた
      しかも一部のソフトは定義ファイルが古いままだとか
      こんな素人がやった遊びを真面目に取り合う方がどうかしてる

      まともなテストが見たかったらAV-ComparativesやらVB100%やらAV-TESTやらを見ればいい

      • Re:100体 (スコア:3, すばらしい洞察)

        by Anonymous Coward on 2010年03月18日 18時24分 (#1735250)

        100体って言うのは信じられないくらい少ない
        たとえばPCJAPANのセキュリティソフト比較は16万体くらいでチェックしていた
        しかも一部のソフトは定義ファイルが古いままだとか
        こんな素人がやった遊びを真面目に取り合う方がどうかしてる

        まともなテストが見たかったらAV-ComparativesやらVB100%やらAV-TESTやらを見ればいい

        たしかに個人レベルで出来ることの限界は低い。
        でも、“比較サイトの結果”を盲信するのも、ソフト開発の企業プレスリリースを盲信するのと同レベルでないか?
        他のコメントにある「どんなマルウェアでテストしたか不明」「誤検出は?」なんてことはその比較サイトではほぼ同様にスルーされてるんだし。

        何より、「自分で性能比較してみた」っていうアプローチは、
        比較サイトを盲信する伽藍の神託を奉じる態度よら、自発的なバザール的な対応で肯定すべきものと思う。

        #何だろう、こういう「個人の“金にならないけどやってみた”」を否定する姿勢って
        #前は/.Jでは感じなかったんだけど。
        #“タコは育てよ”ってのは90年代Linux ユーザ会では合言葉だったはず。
        ##今回のturizuki氏はタコというには能力高いけど。もっと酷い”タコ”にも優しかった。
        #/.Jコメンターが管理職系になってきた?

        親コメント
        • by kousokubus (37099) on 2010年03月18日 19時53分 (#1735306)

          そうですね。
          個人の「やってみた」と企業のテストとを単純に比べるってのは上司から無茶ぶりされた経験のない人なんでしょう:-P

          マルウェアの詳細がわからないので何とも言えませんが、もしこの手のチェックを上司から依頼されたときに
          「おい、~だと16万体でチェックしてるのに、なんだこの少なさ。明日までにもう一回やり直せな」とか言われたらキレて良いんでないかな

          どっちかというとその有料ソフトって、ほんとにライセンス大丈夫?みたいなつっこみが皆無な方が気になります。
          # トライアルって本番と同じ?とか仮想環境って実環境と違くね?とかその手のつっこみも無い

          100体全てを検出できたソフトが存在しないってのだけでも、充分以上に啓蒙に役立つんじゃないかなあ。
          # 誤検出は悪魔の証明になっちゃうので、「誤検出しやすそうなファイル」だとか「一般的なPC環境」を誰かが用意してくれないと厳しいんでないかな

          親コメント
          • by Anonymous Coward

            最強のウイルス対策ソフトはどれなのかランキング2009年8月版 [gigazine.net]

            ◆誤検出ランキング
            一方、以下がウイルスではないファイルを間違ってウイルスとして誤検出してしまったランキングです。数が少ないほど誤検出していないということになり、優秀です。

            1位 Bitdefender・eScan・F-Secure:4
            2位 Microsoft・Avast:5
            3位 AVG・Kaspersky:8
            4位 G DATA:9
            5位 ESET:12
            6位 Symantec:13
            7位 AVIRA:21
            8位 Sophos:26
            9位 McAfe

        • by Anonymous Coward
          ときどき検出率比較サイトと対策ベンダーが協業する話が出ますよね。
          その協業の内容は、露骨な言い方をすれば、
          金をくれたところには自分たちの蒐集した検体を提供する = 金をくれるところのスコアが良くなる
          ってことですから。
        • by Anonymous Coward
          管理職とかたぶん関係ないです。
          春休みですよ。大学生も高校生も中学生も小学生も。
      • Re:100体 の意味 (スコア:1, すばらしい洞察)

        by Anonymous Coward on 2010年03月19日 19時59分 (#1735881)

        信じられないくらい少ない検体で試しても、どのソフトを使っても全検出できなかった って辺りは有効な情報かもしれないですね。

        もはや、マルウェア検出ソフトに全信頼を置くことは出来ない世界なんだと。

        親コメント
    • by Anonymous Coward

      いつどのような手段で手に入れたどのようなウイルスであるかが分からないので数の問題ではないです
      誤検出の可能性も考慮に入れてません
      一万体用意しても中身のないテストですよこんなのは

  • by Anonymous Coward on 2010年03月18日 12時16分 (#1734974)

    ちゃんとWellKnownなウィルス(マルウェア?)でテストしてるのか、とか、
    検証したかったものの。
    自分の使っているものがないと余り・・・

    Clamはまぁ、パターンマッチングだけだからかな?
    手元のあるファイルをウィルスと定義してそれを検出出来る点では最高なんだけど、
    公開されてるウィルス定義だけでどこまでありきたりなものを検出出来るのかは興味があったのに。

  • by Anonymous Coward on 2010年03月18日 13時09分 (#1735037)
    感染する前に防いでくれた数の方が重要な気がする。
    • by Anonymous Coward

      ・危険でないファイルをウイルスと誤認識しない
      ・新しいウイルスが出てから対応するまでの時間
      ・致命的な悪質なウイルスを見逃さない(検出する「量」だけでなく「質」も重要。)
      ・他のソフトの動作を邪魔しない
      ・軽さ

      なんかもウイルス対策ソフトの重要な要素なので、これだけでは何の意味もない。
      #という突っ込み多数だろうからAC。

      • by Anonymous Coward

        サンプル数が少なかったり他にも重要な要素があるからと言って、
        重要な一要素に関するデータが無意味になることはないでしょう。

        ひょっとして、「100%じゃないなら0%も同然であり無意味だ」というデジタル思考な方ですか?

  • by Anonymous Coward on 2010年03月18日 13時51分 (#1735078)

    どういう基準で100個選んだのかがよく分かりませんでした。
    選び方をすっ飛ばして結果だけ書かれても、どうなんでしょう。何の役にも立たない気がしますが。

    • by Rutice (31742) on 2010年03月19日 17時35分 (#1735803)

      どこに書こうと思ったけど、こちらにぶら下げさせて貰います。

      私見ですが、このテストは個人の趣味で行った物であり、参考になるとは思えません。

      100個マルウェアを準備したとの事ですが、
      その100個のマルウェア全てが何と呼ばれているマルウェアかを公表しないのは問題があるかと思います。

      第三者の検査機関であるVirus Bulletin [virusbtn.com]等は
      流行しているマルウェアのトレンドから、検査する検体を決めてそれを公表しているはずです。

      例えば、マルウェア100個全てを公表していないのなら、マルウェアが得手不得手とするものを集中することで、
      特定のセキュリティ対策ソフトの順位を上げたり、逆に下げたりすることができます。
      (例えば、このblog主の方が特定のセキュリティ対策ソフトベンダーの人間だったら、マッチポンプを行い、自分の所属する団体の得となる結果を出すようにする可能性もあります)

      この結果を見てセキュリティ対策ソフトのマルウェア検出能力が良い悪いと素人判断するのは危険と感じます。

      この結果はあくまで個人の趣味の結果であり、
      セキュリティ対策ソフトを評価をする特定の第三者機関ではない事を留意すべきでしょう。

      テストするウィルスの内容によって結果が大きく変わるので、この結果を過信しないで欲しいとの作者の言

      とあるので、いずれにせよ

      年度末のセキュリティソフト購入のための指針

      とするのは問題があると思うのですが、いかがでしょう?

      # ところで、blog主の方が中学生というのはどこの情報でしょう?
      # まぁ、中学生なら特定のベンダーに肩入れすることは無いとは思いますが・・・

      親コメント
      • by Anonymous Coward

        私見ですが,あなたの書き込みは個人の趣味で行った物であり、参考になるとは思えません。

        この書き込みを見て言及されているビデオが良い悪いと素人判断するのは危険と感じます。

    • by Anonymous Coward

      ファイアウォールであるcomodoが上位に入ってるのがよくわからないw
      別に役に立とうなんて思ってないんだから!という「やってみた」系のネタだと思う。

      #と思ったけど、turizukiというハンドル見て噴いた

  • by Anonymous Coward on 2010年03月18日 19時26分 (#1735293)
    HTTP/1.1 200 OK Date: Thu, 18 Mar 2010 10:26:27 GMT Server: Apache/1.3.42 (Debian) mod_gzip/1.3.26.1a mod_perl/1.31 Connection: close Transfer-Encoding: chunked Content-Type: text/html; charset=iso-8859-1 OK
    The server encountered an internal error or misconfiguration and was unable to complete your request.
    Please contact the server administrator, webmaster@slashdot.jp and inform them of the time the error occurred, and anything you might have done that may have caused the error.

    More information about this error may be available in the server error log.

    --------------------------------------------------------------------------------

    Apache/1.3.42 Server at slashdot.jp Port 80
typodupeerror

弘法筆を選ばず、アレゲはキーボードを選ぶ -- アレゲ研究家

読み込み中...