-
Исследование Антивирусов на ВирусИнфо
Небезызвестный специалист по безопасности Андреас Клементи сомневается в целесообразности и чистоте исследований, проводимых ВИ на базе анализа файлов на Virustotal.
Оригинальное сообщение: http://www.rokop-security.de/index.p...5&#entry231305
Смысловой перевод с немецкого.
Установленные на virustotal.com сканнеры имеют совершенно различные, и потому - не сравнимые - установки, которые в свою очередь отличаются от установок этих сканнеров на машинах пользователей. Многие продукты на virustotal.com установлены на максимальные (параноидальные) установки, на других же зачастую не включена эвристика. Посему сравнивать детекцию различных программ на основе данных Virustotal.com бессмысленно. Virustotal.com ведет собственную закрытую статистику закачанных файлов, которая по выше указанной причине не публикуется.
Кроме того, статистика Virusinfo ограничивается примерно 60 файлами, отсюда колебания статистики, как при тираже лотереи.
-
-
Будь в курсе!
Будь в курсе!
Надоело быть жертвой? Стань профи по информационной безопасности, получай самую свежую информацию об угрозах и средствах защиты от ведущего российского аналитического центра Anti-Malware.ru:
-
В общем и целом я с ним соглашусь:
1. Выборка очень мала
2. Никто не следит за адекватностью соблюдения правил теста
Как итог: вероятность мухляжа (возможно, неосознанного) очень велика. Хороший пример - деятельность UltimaWeapon, который в течение месяца закидал в этот тест большое количество хлама.
3. Настройки сканеров Вирустотала, действительно, вряд ли совпадают с настройками на юзерских компах.
-
-
-всегда, почемуто, хотелось подвергнуть сомнению саму методику этого тестирования, но всё не досуг было
-это же очевидно, что сканнеры на virustotal.com
имеют совершенно различные, и потому - не сравнимые - установки
...неоднократно бывал озадачен результатами анализа объектов, содержащих явно вредоносные элементы, на этом ресурсе, но всякий раз не считал нужным заводить полемику на эту тему ...спасибо м-ру Андреасу, таки расшевелил и заставил поднять вопрос и завести тему
С уважением,
Alex Plutoff
А. ПЛАТОВ
-
-
Сообщение от
Alex Plutoff
-всегда, почемуто, хотелось подвергнуть сомнению саму методику
этого тестирования, но всё не досуг было
Ну, и где аргументы?
Сообщение от
Alex Plutoff
-это же очевидно, что сканнеры на
virustotal.com ...неоднократно бывал озадачен результатами анализа объектов, содержащих явно вредоносные элементы, на этом ресурсе, но всякий раз не считал нужным заводить полемику на эту тему ...спасибо м-ру Андреасу, таки расшевелил и заставил поднять вопрос и завести тему
Думаете, что что-то изменится?
-
Junior Member
- Вес репутации
- 59
На мой взгляд, методика неплохая, если оценивать, что она может, а чего нет.
Насчет различий в настройках антивирусов на VirusTotal:
1) При любых настройках, даже при отключенной эвристике, известные вирусы должны обнаруживаться. Поэтому показатель, обозначаемый на диаграмме красным цветом (думаю, все понимают, на какой диаграмме), объективно отражает обновляемость антивирусных баз у сравниваемых программ.
2) Во многих случаях если вирус не обнаруживается на "среднем" уровне эвристики, он не виден и на "высоком". Поэтому различия в настройках антивирусов на VirusTotal искажают статистику, на не более чем на 10-15%.
Еще одно узкое место методики: на данный сайт файлы отправляют в том случае, если используемый антивирус не нашел вирус. Отсюда вывод: если большинство используют антивирус Х, то на VirusTotal будут отправляться в основном файлы, которые этим антивирусом не ловятся. Следовательно, антивирус Х по причине своей популярности будет иметь несколько заниженные показатели.
Поэтому я считаю, что показатели NOD32, Kaspersky и DrWeb (наиболее часто используемых в России) могли быть немного выше. Но погрешность опять-таки вряд ли составит более 10-15%.
-
Сообщение от
ialnik
На мой взгляд, методика неплохая, если оценивать, что она может, а чего нет.
Еще одно узкое место методики: на данный сайт файлы отправляют в том случае, если используемый антивирус не нашел вирус. Отсюда вывод: если большинство используют антивирус Х, то на VirusTotal будут отправляться в основном файлы, которые этим антивирусом не ловятся. Следовательно, антивирус Х по причине своей популярности будет иметь несколько заниженные показатели.
Не знаю, как другие, я предпочитаю отправлять такие экземпляры, которые идут как свежие. Скажем, Доктор, к примеру, ловит, а Касперский нет Тех, кого ловят все, добавлять в статистику, не хочется.
Павел
AVZ HijackThis помощь с 10-00 до 18-00МСК
Windows7, SEP(work)
WindowsXP KIS(home)
На up не реагирую
-
-
Junior Member
- Вес репутации
- 59
Сообщение от
PavelA
Не знаю, как другие, я предпочитаю отправлять такие экземпляры, которые идут как свежие. Скажем, Доктор, к примеру, ловит, а Касперский нет
Тех, кого ловят все, добавлять в статистику, не хочется.
Это понятно. Но, предположим, человек использует NOD32. Его антивирусник поймал какой-то троян. Может быть, кроме NOD-а никто этот троян не поймал бы. Но человеку и в голову не придет посылать этот вирус на VirusTotal. Таким образом, NOD32 теряет возможность оторваться в рейтинге от своих конкурентов.
Зато в другом случае NOD32 пропустил троянец. Человек посылает файл на VirusTotal, половина вирус определяет, половина - нет. Понятно, что NOD32 оказывается среди тех, кто не ловит.
А теперь представим себе, что большинство отправляющих на VirusTotal используют NOD. В этом случае он окажется на низких позициях в рейтинге.
-
Для полноты картины следует дополнить : возьмём реальный пример :троян не определяется на данный момент нодом, после отправки в лабораторию нода, даже через несколько дней- какие же позиции будут у нода ?
-
-
drongo, разговор не о Ноде, а о несовершенстве методики рейтинга антивирусов Вирусинфо. И тут я полностью согласен с ialnik.
Добавлено через 4 минуты
Сообщение от
ialnik
Но человеку и в голову не придет посылать этот вирус на VirusTotal. Таким образом, NOD32 теряет возможность оторваться в рейтинге от своих конкурентов.
Не только теряет, но и находит - если этому человеку захочется "подправить" рейтинг любимого антивируса, ему ничто не мешает прийти на Вирусинфо и внести свою лепту в рейтинг.
Последний раз редактировалось DVi; 21.03.2008 в 17:02.
Причина: Добавлено
-
-
Да, может кому-то методика не нравится и вполне обоснованно, но вопрос в том, что можно предложить взамен существующей? Или же полностью отказаться от данного вида деятельности?
Добавлено через 2 минуты
Ну скажу о себе, что я проверяю на вирустотал только то, что Касперский (именно он у меня установлен) не детектит. Возможно этот Ативирус и теряет какие-то пункты, но просто не вижу особого смысла отправлять на проверку то что и так детектиться (по крайней мере у меня), возможно в этом я и не прав.
Последний раз редактировалось wise-wistful; 21.03.2008 в 17:10.
Причина: Добавлено
-
ИМХО гораздо бОльшую объективность имеет статистика, собираемая PavelA: http://virusinfo.info/showthread.php?t=19139
-
-
Junior Member
- Вес репутации
- 59
Сообщение от
wise-wistful
Да, может кому-то методика не нравится и вполне обоснованно, но вопрос в том, что можно предложить взамен существующей? Или же полностью отказаться от данного вида деятельности?
Отказываться от методики не надо ни в коем случае. Нет совершенной методики, надо просто знать достоинства и недостатки каждой.
-
Сообщение от
DVi
ИМХО гораздо бОльшую объективность имеет статистика, собираемая PavelA:
ИМХО этой статистике нехватает главного - социологических исследований о том, кто пользуется VirusInfo и, в частности, разлелом "Помогите". На первый взгляд (опять же ИМХО) процент "молодого" поколения с "фиксованым" NOD очень высок. А объективность в этом случае получается очень сомнительная.
Последний раз редактировалось aleksdem; 23.03.2008 в 09:37.
-
Junior Member
- Вес репутации
- 69
Для повышения достоверности результатов предлагаю ввести отсев файлов по следующему критерию:
Если в отчёте virustotal по какому-либо файлу в качестве задетектировавших зловреда отсутствует вся шестерка следующих анивирей - AntiVir, DrWeb, Kaspersky, NOD32, Symantec и VBA32, то этот файл считается чистым и из подсчёта ислючается.
Кроме того, в подсчёте результатов не участвуют адварь, кряки, шутки и прочие "not a virus", т.к. в некоторых антивирях их детект на virustotal отключен.
-
Сообщение от
Mamont
Для повышения достоверности результатов предлагаю ввести отсев файлов по следующему критерию:
Если в отчёте virustotal по какому-либо файлу в качестве задетектировавших зловреда отсутствует вся шестерка следующих анивирей - AntiVir, DrWeb, Kaspersky, NOD32, Symantec и VBA32, то этот файл считается чистым и из подсчёта ислючается.
ИМХО это неверно. Бывает такое, что пара-тройка "не лидеров" даёт детект или подозрение и действительно, файл оказывается "реальным зверем"
Left home for a few days and look what happens...
-
-
Junior Member
- Вес репутации
- 69
Сообщение от
ALEX(XX)
ИМХО это неверно. Бывает такое, что пара-тройка "не лидеров" даёт детект или подозрение и действительно, файл оказывается "реальным зверем"
Плохо, что файлов нет, а то можно было бы проверить, что процент подобного реального детекта "не лидеров" существенно ниже ложного.
-
Сообщение от
Mamont
Плохо, что файлов нет, а то можно было бы проверить, что процент подобного реального детекта "не лидеров" существенно ниже ложного.
Это да...
Left home for a few days and look what happens...
-
-
Сообщение от
ALEX(XX)
ИМХО это неверно. Бывает такое, что пара-тройка "не лидеров" даёт детект или подозрение и действительно, файл оказывается "реальным зверем"
Вот-вот.
Пример:
http://virusinfo.info/showpost.php?p...&postcount=231
The worst foe lies within the self...
-
-
Последний раз редактировалось Groft; 23.03.2008 в 19:12.
Причина: Добавлено
-
Groft, написано же , ответили в тот же день
-