Printable View
В общем тест на коллекции состоящей в основном из древних вирусов ([B][U]49%[/U][/B] коллекции DOS viruses/malware), на мой взгляд, малоинформативен. Но, кому интересно можете ознакомиться.
(Странные товарищи заблокировали прямую ссылку, так что заходить нужно через главную страницу [url]http://www.av-comparatives.org/[/url] )
Согласен. Странно как-то - 2006 год на дворе, а они всё включают в тесты "тяжелое наследие DOS". Навряд ли есть смысл сегодня забивать базы сигнатурами DOS вирусов.
Мне также не до конца ясен смысл категории "OtherOS viruses/malware". Особенно когда туда включают вирусы для мертвых ОС типа BeOS или OS/2 (да простят меня её апологеты). Эта категория имхо представляет чисто теоретический интерес, но она почему-то у многих тестеров влияет на общий результат. Интересно также, что далеко не все производители имеют версии для Solaris, *nix, etc., но ловить вирусы для этих ОС, тем не менее, должны :? Странно как-то выходит...
Хотелось бы еще понять откуда они взяли более 200к вирусов под ДОС. [URL="http://www.viruslist.com/ru/weblog?weblogid=156969044"]До 2001 года кол-во вредоносных программ в год было менее 10к[/URL]
ПОхоже они использовали полиморфные генераторы вирусов, которые могут генерировать бесконечное кол-во вирусов, но эти вирусы никогда не встречались "в дикой природе".
[QUOTE=Geser]Хотелось бы еще понять откуда они взяли более 200к вирусов под ДОС. [URL="http://www.viruslist.com/ru/weblog?weblogid=156969044"]До 2001 года кол-во вредоносных программ в год было менее 10к[/URL]
ПОхоже они использовали полиморфные генераторы вирусов, которые могут генерировать бесконечное кол-во вирусов, но эти вирусы никогда не встречались "в дикой природе".[/QUOTE]
Скорее всего так и есть. Для полиморфных вирусов под Win32 они сделали отдельный тест (см. 8 раздел в pdf-файле).
Там тестируют по ~1000 вариантов каждого из 10 вирусов.
что-то прям неверицца, неужели symantec совершил такой рывок, я тут читал его эмулятором антивируса называли :)
Попробую заступиться за av-comparatives.org :)
На сайте доступно подробное описание того, как проводится данный тест, тестирование проводится только для тех антивирусов, разработчики которых ознакомились с условиями его проведения и в письменном виде подтвердили свое желание участвовать в нем. Также разработчики антивирусов имеют возможность ознакомиться с результатами перед тем, как их опубликуют на сайте и высказать свои претензии, если они есть. Все результаты разбиты по категориям, так что те, кого не интересуют конкретно dos-вирусы, могут увидеть статистику, которая их не учитывает.
Теперь по сути самого теста. На самом деле он состоит из двух частей.
Первая ([b]On-demand comparative[/b]) - тестирование способности детектирования по коллекции самого разнообразного зверья. В данной коллекции все вирусы/трояны и прочие вредоносные программы, которые были собраны из самых разных источников из время существования данного теста. Подавляющее большинство вирусов из этого набора - чисто коллекционные, они либо никогда не представляли угрозы, либо их время давно прошло.
Вторая ([b]Retrospective/ProActive Test[/b]) - способность бороться с новыми вирусами. Т.е. антивирус не обновляется в течение 3 месяцев, а затем со старыми базами тестируется на вирусах, которые были добавлены в коллекцию av-comparatives за эти 3 месяца (но не все из них - действительно новые вирусы, часть из них просто могла отсутствовать в коллекции и это просто новые поступления старых вирусов).
В общем, это краткое описание данных тестов, там на сайте есть вся информация, для тех, кому интересно. Не гарантирую, что я все полностью правильно понял и объяснил, поэтому верить можно только первоисточнику. Наверное из-за этого av-comparatives.org запрещает перепечатку материалов их тестов, чтобы потом избежать проблем с неверной их интерпретацией.
Что касается Symantec, то он находится в лидерах в первом тесте, но является одним из аутсайдеров во втором. Какой из тестов важнее - решать каждому самому.
Да, и еще один момент, чтобы результаты тестирования антивируса были опубликованы, он должен соответствовать определенным критериям и выполнить норматив по качеству детектирования (не менее 80%). Есть антивирусы (их имена не разглашаются), которые также участвовали в тестировании, но не прошли квалификацию и не включены в результаты.
Давние участники данного тестирования имеют возможность получить те файлы из коллекции, которые не обнаружил их антивирус и аргументированно попросить исключить данный файл из тестирования, например, если он "нежизнеспособен".
Новичкам (до выполнения норматива в 80%), естественно, тяжелее, поскольку кому попало вирусы не раздаются. Есть определенный порог, преодолеть который довольно тяжело. Если нет в наличии определенных экзотических вирусов, то и детектировать их невозможно (кроме как эвристикой), если вирусы не детектируются, преодолеть порог в 80% не получается и пропущенные вирусы никто не даст :)
Мы получили несколько писем с просьбой прокомментировать результаты тестирования VBA32. С поправкой на то, что мы только начинаем участвовать в данном тесте, все не так плохо.
Для начала вполне неплохо - вы смогли туда пролезть своими силами, а не "пытались договориться" чем имхо частенько грешат компании-монстры.
Но в следующем тестировании мы все ожидаем от вас, как минимум, взятие уровня "standard". Ну и в ретроспективном тесте ваш знаменитый эвристик
должен себя показать с наилучшей стороны :yes_2:
В общем, желаем удачи.
[QUOTE=serge]Подавляющее большинство вирусов из этого набора - чисто коллекционные.[/QUOTE]
Вот это и есть та проблема, которая ставит полезность результатов под большое сомнение.
[QUOTE=serge]Давние участники данного тестирования имеют возможность получить те файлы из коллекции, которые не обнаружил их антивирус и аргументированно попросить исключить данный файл из тестирования, например, если он "нежизнеспособен".
[/QUOTE]
Теперь понятно, почему у некоторых > 99%. Пару раз получили вирусы из коллекции, потом выяснили алгоритмы их генерации, подредактировали сигнатуры и OK.
[QUOTE=azza]Теперь понятно, почему у некоторых > 99%. Пару раз получили вирусы из коллекции, потом выяснили алгоритмы их генерации, подредактировали сигнатуры и OK.[/QUOTE]
Думать, что в приличных тестах типа AV-Comparatives пополнение коллекции идёт за счёт генерации новых самплов по старым алгоритмам, по-моему, так же наивно, как всерьёз быть уверенным в том, что вирусы пишут сами антивирусные компании.
Я не считаю, что вирусы пишут антивирусные компании. И как тогда, интересно, идёт пополнение [b]чисто коллекционного набора[/b] вирусов AV-Comparatives? При условии, что после каждого предыдущего теста все неизвестные вирусы поступают в антивирусные компании, а непополнение коллекции надо исключить, как абсурд.
[QUOTE=azza]Я не считаю, что вирусы пишут антивирусные компании. И как тогда, интересно, идёт пополнение [b]чисто коллекционного набора[/b] вирусов AV-Comparatives? При условии, что после каждого предыдущего теста все неизвестные вирусы поступают в антивирусные компании, а непополнение коллекции надо исключить, как абсурд.[/QUOTE]
Например (но не только), с помощью VirusTotal. Если верить их статистике ( [url]http://www.virustotal.com/flash/graficas/grafica1_en.html[/url] ) в неделю к ним приходит порядка 20000 самплов, из которых три четверти детектируются хотя бы одним продуктом. Не знаю, сколько из них уникальных и рабочих, но думаю, на одном только этом потоке вполне можно составить неплохую коллекцию.
Понятно, что эти самплы не могут считаться ITW, а значит, они автоматически попадают в категорию "zoo".
[QUOTE=Wordmonger]Например, с помощью VirusTotal.[/QUOTE]
VirusTotal рассылает вредоносные файлы антивирусам, участвующим в проекте. Поэтому, если принять это предположение, то проценты Нортона должны быть равны VBA, что не соответствует действительности. А значит, предположение ложно.
Кстати о птичках, а на админа наехать смелости не хватило? ;)
[quote]Хотелось бы еще понять откуда они взяли более 200к вирусов под ДОС. До 2001 года кол-во вредоносных программ в год было менее 10к
ПОхоже они использовали полиморфные генераторы вирусов, которые могут генерировать бесконечное кол-во вирусов, но эти вирусы никогда не встречались "в дикой природе".[/quote]
[QUOTE=azza]VirusTotal рассылает вредоносные файлы антивирусам, участвующим в проекте. Поэтому, если принять это предположение, то проценты Нортона должны быть равны VBA, что не соответствует действительности. А значит, предположение ложно.[/QUOTE]
Какое именно предположение? Что VirusTotal -- единственный источник пополнения тестовой коллекции? Я такого предположения не делал. Я отвечал на вопрос, как можно пополнять "zoo"-коллекцию.
Кстати, можно попробовать спросить у народа из VBA32, успевают ли они полностью обрабатывать всё, что валится с VirusTotal и от Jotti?
[QUOTE=azza]Кстати о птичках, а на админа наехать смелости не хватило? ;)[/QUOTE]
Что касается смелости, то админ мало что может сделать незарегистрированному пользователю. ;)
По сути же, я не вижу ничего плохого в преположении, что часть DOS'ового вирья специально сгенерирована (хотя это и прямо противоречит заявлениям авторов теста): чтобы проверить, действительно ли данный полиморфик берётся некоторым антивирусом в полном объёме, одного сампла мало.
А вот предполагать, что Клементи купил у дамрая на руборде пинчевский билдер и сидит генерит им самплы... это вряд ли. :))
[QUOTE=Wordmonger]А вот предполагать, что Клементи купил у дамрая на руборде пинчевский билдер и сидит генерит им самплы... это вряд ли. :))[/QUOTE]
Кстати, вот это было бы намного информативнее и интереснее чем сотни тысячь вирусов под ДОС.
[QUOTE=Geser]Кстати, вот это было бы намного информативнее и интереснее чем сотни тысячь вирусов под ДОС.[/QUOTE]
Кому как. Типичный "чистяк" предсказуемо "не палится" теми антивирусами, антидетект для которых был заказан клиентом. Так что информативность теста по такой коллекции будет состоять преимущественно в выяснении того, какие антивирусные продукты наиболее популярны у потенциальных жертв заказчика.
[QUOTE=Geser]Странные товарищи заблокировали прямую ссылку[/QUOTE]
ну не [B]заблокировали[/B], а [B]настойчиво попросили ;) [/B] не давать прямых ссылок к тестам без специального разешения.
[QUOTE=Andreas Clementi]It's forbidden to use/provide our test results/documents on other sites without our permission.[/QUOTE]