100 体のマルウェアでセキュリティソフトを比較してみた 56
ストーリー by reo
明日から本気出す 部門より
明日から本気出す 部門より
ある Anonymous Coward 曰く、
100 体のマルウェアを仕込んだ PC で有料・無料の 18 個のセキュリティソフトの検出率を比較した動画がニコニコ動画で話題になっている (ニコニコ動画、Youtube、作者のブログ記事より)。
テストするウィルスの内容によって結果が大きく変わるので、この結果を過信しないで欲しいとの作者の言だが、セキュリティソフトによる検出率がけっこうばらついていて興味深い。動画では F-Secure internet security と Kaspersky がほぼ並んで 94/100, 93/100。Microsoft Security Essentials と KINGSOFT internet security は 37/100 と奮わなかった。/.Jer ご使用のソフトがどの位置につけているか語り合ったり、年度末のセキュリティソフト購入のための指針として考えてみるのもいいかもしれない。
俺たちがやるべきことは (スコア:5, おもしろおかしい)
この少年を間違った方向に導くことではなかろうか
Re:俺たちがやるべきことは (スコア:1, おもしろおかしい)
間違った方向に導くのか・・・
Sithの暗黒卿かよ
Re:俺たちがやるべきことは (スコア:1, すばらしい洞察)
正しきジェダイが就職するのは困難ですから。
ちゃんと定職についてる人は暗黒面に堕ちてるでしょ？
#既に一流のフィッシャーな気もするけど
Re: (スコア:0)
つ参考 [slashdot.jp]
Re: (スコア:0)
今の自分を見て、「正しく道を選択した」感と「道を踏み外した」感の
どっちが強い?ｗ
Re: (スコア:0)
うーん、「正しく道を踏み外した」って感じかな・・・orz
Re:俺たちがやるべきことは (スコア:1)
つ 「サイバーノーガード戦術」
# どんなソフトを持ってしても完璧はないんだったら・・・・と
誤検出0だったんでしょうか？ (スコア:2, 興味深い)
zipの中身と親zipで二重に計算してるとか。
zip内に2個以上検出されたら母数の100も変わるかもしれませんね。
(94箇所とかファイル/100体 ですよね？)
# 試したソフトの数を見る限り趣味でそこまでチェックするのはやってらんないと思います。素朴なギモンです。
# yes, fly. no, fry.
Re:誤検出0だったんでしょうか？ (スコア:1)
曰く、「脅威の数とウイルスの数に差が出るので残ったウイルスを数えて、検出できた量を出しました」
未検出数をカウントしている＝誤検出数は無視、という事。
# 検出率の高さよりも、誤検出の少なさやPC停止の前科の方を重視したい……
notice : I ignore an anonymous contribution.
最強ソフト(笑) (スコア:0)
誤検出無視だと、最強ソフトのアルゴリズムってこんなのだなあ。
// テキトーな擬似コード
if( TRUE ){
// アプリケーションが不正な処理を行いました。
printf("危険なアプリを検出しました。");
}
Re:最強ソフト(笑) (スコア:2)
ひどい目に遭いました。
最終的にiPhoneをリブートしたんだっけな。いや元のページを無害なのに置き換えたんだっけ。
一般的な人だと対処不能だろうなぁ。PCに接続してリカバリーかな。
PCのブラウザなら、ブラウザのプロセスを終了させればいいけど、まぁ迷惑ではある。
出る杭を打つ (スコア:1)
日本だな～
(同類以外には醜悪な心が丸見え)
the.ACount
作者はリア中か (スコア:0)
100体 (スコア:0)
セキュリティ専門のコンサル会社などでもこういった検証はされてると思うんでしょうけど、そういったところではどれぐらいの数を相手に検証してるんでしょうね？
Re:100体 (スコア:2, 参考になる)
最強のウイルス対策ソフトはどれなのかランキング2009年8月版 [gigazine.net]で紹介されている分だと
SET A(Dec 07 - Dec 08) 2,309,850
SET B(Jan 09 - Dec 08)
Windows viruses 23,791
Macro viruses 1,198
Worms 95,881
Backdoors/Bots 323,723
Trojans 1,084,602
other malware 28,431
時期によって数も変わってくるのでしょうね。
Re:100体 (スコア:1, すばらしい洞察)
どちらかというと、数よりも種類とか亜種のバージョンが重要。
今、とても流行しているものがどうかとか、出現して間もないものを検知
できるかなどが重要。
レポーターは中学生らしいので、中学生が100体も集めるのは大変だったと
想像されますけど、最低限、使ったマルウェアのリストくらいは見ないと
まったくわかりません。
MSのものは最新の亜種も結構拾ってくれますが、最新パターンでマッチ
しているというよりも、原種のパターンに似てるものを検知しているのか、
ビヘイビアで検知しているような気がするので、そのリストに検知しない系の
亜種がごっそり入っていれば検知率は下がりますね。
Re: (スコア:0)
単位 (スコア:0)
じゃあ「匹」とかでもいいのかな？
Re: (スコア:0)
100体って言うのは信じられないくらい少ない
たとえばPCJAPANのセキュリティソフト比較は16万体くらいでチェックしていた
しかも一部のソフトは定義ファイルが古いままだとか
こんな素人がやった遊びを真面目に取り合う方がどうかしてる
まともなテストが見たかったらAV-ComparativesやらVB100%やらAV-TESTやらを見ればいい
Re:100体 (スコア:3, すばらしい洞察)
100体って言うのは信じられないくらい少ない
たとえばPCJAPANのセキュリティソフト比較は16万体くらいでチェックしていた
しかも一部のソフトは定義ファイルが古いままだとか
こんな素人がやった遊びを真面目に取り合う方がどうかしてる
まともなテストが見たかったらAV-ComparativesやらVB100%やらAV-TESTやらを見ればいい
たしかに個人レベルで出来ることの限界は低い。
でも、“比較サイトの結果”を盲信するのも、ソフト開発の企業プレスリリースを盲信するのと同レベルでないか？
他のコメントにある「どんなマルウェアでテストしたか不明」「誤検出は？」なんてことはその比較サイトではほぼ同様にスルーされてるんだし。
何より、「自分で性能比較してみた」っていうアプローチは、
比較サイトを盲信する伽藍の神託を奉じる態度よら、自発的なバザール的な対応で肯定すべきものと思う。
#何だろう、こういう「個人の“金にならないけどやってみた”」を否定する姿勢って
#前は/.Jでは感じなかったんだけど。
#“タコは育てよ”ってのは90年代Linux ユーザ会では合言葉だったはず。
##今回のturizuki氏はタコというには能力高いけど。もっと酷い”タコ”にも優しかった。
#/.Jコメンターが管理職系になってきた？
Re:100体 (スコア:1)
そうですね。
個人の「やってみた」と企業のテストとを単純に比べるってのは上司から無茶ぶりされた経験のない人なんでしょう:-P
マルウェアの詳細がわからないので何とも言えませんが、もしこの手のチェックを上司から依頼されたときに
「おい、～だと16万体でチェックしてるのに、なんだこの少なさ。明日までにもう一回やり直せな」とか言われたらキレて良いんでないかな
どっちかというとその有料ソフトって、ほんとにライセンス大丈夫？みたいなつっこみが皆無な方が気になります。
# トライアルって本番と同じ？とか仮想環境って実環境と違くね？とかその手のつっこみも無い
100体全てを検出できたソフトが存在しないってのだけでも、充分以上に啓蒙に役立つんじゃないかなあ。
# 誤検出は悪魔の証明になっちゃうので、「誤検出しやすそうなファイル」だとか「一般的なPC環境」を誰かが用意してくれないと厳しいんでないかな
Re: (スコア:0)
最強のウイルス対策ソフトはどれなのかランキング2009年8月版 [gigazine.net]
Re: (スコア:0)
その協業の内容は、露骨な言い方をすれば、
金をくれたところには自分たちの蒐集した検体を提供する = 金をくれるところのスコアが良くなる
ってことですから。
Re: (スコア:0)
春休みですよ。大学生も高校生も中学生も小学生も。
Re:オープンソースの立ち位置の変化 (スコア:1)
小学生の自由研究に「統計学的には有意でないからアウト。それが気に食わないならとっとと挫折した方が幸せ。」などと言う（特に後半）のが技術者の正しい態度なんですかね。
それともインターネットを発表の場にするからには一定以上の水準をクリアしろ！ということなのでしょうか。
であれば、見る方も中学生に「とっとと挫折しろ」などと言わないような、一定以上の水準のクリアが必要なのだろうと思います。
ドウシテオレハ、ココニイルンダ！
Re:100体 の意味 (スコア:1, すばらしい洞察)
信じられないくらい少ない検体で試しても、どのソフトを使っても全検出できなかった って辺りは有効な情報かもしれないですね。
もはや、マルウェア検出ソフトに全信頼を置くことは出来ない世界なんだと。
Re: (スコア:0)
いつどのような手段で手に入れたどのようなウイルスであるかが分からないので数の問題ではないです
誤検出の可能性も考慮に入れてません
一万体用意しても中身のないテストですよこんなのは
ClamAVが無いな・・・ (スコア:0)
ちゃんとWellKnownなウィルス(マルウェア？)でテストしてるのか、とか、
検証したかったものの。
自分の使っているものがないと余り・・・
Clamはまぁ、パターンマッチングだけだからかな？
手元のあるファイルをウィルスと定義してそれを検出出来る点では最高なんだけど、
公開されてるウィルス定義だけでどこまでありきたりなものを検出出来るのかは興味があったのに。
検知力も重要かもしれないけど (スコア:0)
Re: (スコア:0)
・危険でないファイルをウイルスと誤認識しない
・新しいウイルスが出てから対応するまでの時間
・致命的な悪質なウイルスを見逃さない(検出する「量」だけでなく「質」も重要。)
・他のソフトの動作を邪魔しない
・軽さ
なんかもウイルス対策ソフトの重要な要素なので、これだけでは何の意味もない。
＃という突っ込み多数だろうからＡＣ。
Re: (スコア:0)
サンプル数が少なかったり他にも重要な要素があるからと言って、
重要な一要素に関するデータが無意味になることはないでしょう。
ひょっとして、「100%じゃないなら0%も同然であり無意味だ」というデジタル思考な方ですか？
選別基準 (スコア:0)
どういう基準で１００個選んだのかがよく分かりませんでした。
選び方をすっ飛ばして結果だけ書かれても、どうなんでしょう。何の役にも立たない気がしますが。
Re:選別基準 (スコア:2)
どこに書こうと思ったけど、こちらにぶら下げさせて貰います。
私見ですが、このテストは個人の趣味で行った物であり、参考になるとは思えません。
100個マルウェアを準備したとの事ですが、
その100個のマルウェア全てが何と呼ばれているマルウェアかを公表しないのは問題があるかと思います。
第三者の検査機関であるVirus Bulletin [virusbtn.com]等は
流行しているマルウェアのトレンドから、検査する検体を決めてそれを公表しているはずです。
例えば、マルウェア100個全てを公表していないのなら、マルウェアが得手不得手とするものを集中することで、
特定のセキュリティ対策ソフトの順位を上げたり、逆に下げたりすることができます。
（例えば、このblog主の方が特定のセキュリティ対策ソフトベンダーの人間だったら、マッチポンプを行い、自分の所属する団体の得となる結果を出すようにする可能性もあります）
この結果を見てセキュリティ対策ソフトのマルウェア検出能力が良い悪いと素人判断するのは危険と感じます。
この結果はあくまで個人の趣味の結果であり、
セキュリティ対策ソフトを評価をする特定の第三者機関ではない事を留意すべきでしょう。
とあるので、いずれにせよ
とするのは問題があると思うのですが、いかがでしょう？
# ところで、blog主の方が中学生というのはどこの情報でしょう？
# まぁ、中学生なら特定のベンダーに肩入れすることは無いとは思いますが・・・
Re: (スコア:0)
私見ですが，あなたの書き込みは個人の趣味で行った物であり、参考になるとは思えません。
この書き込みを見て言及されているビデオが良い悪いと素人判断するのは危険と感じます。
Re: (スコア:0)
ファイアウォールであるcomodoが上位に入ってるのがよくわからないw
別に役に立とうなんて思ってないんだから！という「やってみた」系のネタだと思う。
#と思ったけど、turizukiというハンドル見て噴いた
Re: (スコア:0)
発見できても、駆除できなければ意味が無い (スコア:0)
The server encountered an internal error or misconfiguration and was unable to complete your request.
Please contact the server administrator, webmaster@slashdot.jp and inform them of the time the error occurred, and anything you might have done that may have caused the error.
More information about this error may be available in the server error log.
--------------------------------------------------------------------------------
Apache/1.3.42 Server at slashdot.jp Port 80
Re:ああ、よく「レポート用紙一枚にまとめてくれない？」と言われるタイプね (スコア:4, 参考になる)
turizuki日記 100体のマルウェアでセキュリティテスト＿Security is tested with 100 malwares [fc2.com]
動画をつくるほうが作業的に苦労するだろうから動画をつくりたかったのでしょう。
Re:ああ、よく「レポート用紙一枚にまとめてくれない？」と言われるタイプね (スコア:1, すばらしい洞察)
そこは表の縦横にセキュリティーソフト、ウィルスの種類を並べて
星取表を作成すべきだろう。
Re: (スコア:0)
常識的に言って、あとからテストしたほうがパターンが対応する確率が上がって
有利ですよね。
だからパターンを統一するため、実際にはテストするアンチウィルスソフトの数だけ
PCを用意しなくてはいけないと思います。
Re:ですねw (スコア:4, すばらしい洞察)
Re:ですねw (スコア:1)
Re: (スコア:0)
どうなの？
Re:ですねw (スコア:1)
Re: (スコア:0)
名前出して同じ事やっても褒められはしまい。
ましてやどこの馬の骨とも知れぬ奴のハンドルなんか匿名と変わらん。
Re: (スコア:0)
不正確な統計による印象操作は似非科学と大して変わらない。
書籍を著したり講演活動を行っている似非科学者たちを
行動している分立派とはいえないのと同じでまるで擁護できない。
まして若くセキュリティに関するリテラシーの低いユーザーが多い
ニコニコ動画で公表するとなれば大きな問題になってくる。
Re:ですねw (スコア:2)
＞自ら手を動かして行動できる中学生の方がずっとマシ。
これで「自ら行動した」だの「オレはやったぜ！」なんて思ってるのだとしたら、世の中を嘗めすぎている。
＃俗な言い方をするならば「中二病乙」
＞＞不正確な統計による印象操作は似非科学と大して変わらない。
に同意。
こんな誤解を招くだけの不正確な統計は参考にならないどころか、有害でさえある。
Re:ですねw (スコア:1, すばらしい洞察)
「これだけでは結論を出せない」ということと、「データが不正確である」ということは、イコールではありませんよ？
なのに、(#1735400)のACもあなたも、理論を飛躍させて「不正確な統計による印象操作だ有害だ」と言い出す。
それは果たして科学的な態度ですか？
レッテルを貼ってデータ自体を頭ごなしに否定するのは、エセ科学的な態度だと思いますが。
動画の作者も単にデータを出しただけであってランク付けしているわけでもなし。
「テストするウィルスの内容によって結果が大きく変わるので、この結果を過信しないで欲しい」とも言っていますよ？
Re:ですねw (スコア:1)
ドウシテオレハ、ココニイルンダ！
Re:ですねw (スコア:3, おもしろおかしい)
で、バカっぽい奴と思って辿ってみたら
リアル厨房かよ。
バカに刃物だな。
よく見ろ、作者の名前、「turizuki」だぞ。
「turizuki」⇒「釣り好き」、つまりこうやって糸をたらして、
君のような「バカだな」と嘲笑う奴らを吊り上げて楽しんでいるんだ。
Ω ΩΩ＜