-
Опубликованы результаты февральского теста av-comparatives
В общем тест на коллекции состоящей в основном из древних вирусов (49% коллекции DOS viruses/malware), на мой взгляд, малоинформативен. Но, кому интересно можете ознакомиться.
(Странные товарищи заблокировали прямую ссылку, так что заходить нужно через главную страницу http://www.av-comparatives.org/ )
-
-
Будь в курсе!
Будь в курсе!
Надоело быть жертвой? Стань профи по информационной безопасности, получай самую свежую информацию об угрозах и средствах защиты от ведущего российского аналитического центра Anti-Malware.ru:
-
Junior Member
- Вес репутации
- 69
Согласен. Странно как-то - 2006 год на дворе, а они всё включают в тесты "тяжелое наследие DOS". Навряд ли есть смысл сегодня забивать базы сигнатурами DOS вирусов.
Мне также не до конца ясен смысл категории "OtherOS viruses/malware". Особенно когда туда включают вирусы для мертвых ОС типа BeOS или OS/2 (да простят меня её апологеты). Эта категория имхо представляет чисто теоретический интерес, но она почему-то у многих тестеров влияет на общий результат. Интересно также, что далеко не все производители имеют версии для Solaris, *nix, etc., но ловить вирусы для этих ОС, тем не менее, должны Странно как-то выходит...
-
Хотелось бы еще понять откуда они взяли более 200к вирусов под ДОС. До 2001 года кол-во вредоносных программ в год было менее 10к
ПОхоже они использовали полиморфные генераторы вирусов, которые могут генерировать бесконечное кол-во вирусов, но эти вирусы никогда не встречались "в дикой природе".
-
-
Сообщение от
Geser
Скорее всего так и есть. Для полиморфных вирусов под Win32 они сделали отдельный тест (см. 8 раздел в pdf-файле).
Там тестируют по ~1000 вариантов каждого из 10 вирусов.
-
-
что-то прям неверицца, неужели symantec совершил такой рывок, я тут читал его эмулятором антивируса называли
-
-
VBA
- Вес репутации
- 72
Попробую заступиться за av-comparatives.org
На сайте доступно подробное описание того, как проводится данный тест, тестирование проводится только для тех антивирусов, разработчики которых ознакомились с условиями его проведения и в письменном виде подтвердили свое желание участвовать в нем. Также разработчики антивирусов имеют возможность ознакомиться с результатами перед тем, как их опубликуют на сайте и высказать свои претензии, если они есть. Все результаты разбиты по категориям, так что те, кого не интересуют конкретно dos-вирусы, могут увидеть статистику, которая их не учитывает.
Теперь по сути самого теста. На самом деле он состоит из двух частей.
Первая (On-demand comparative) - тестирование способности детектирования по коллекции самого разнообразного зверья. В данной коллекции все вирусы/трояны и прочие вредоносные программы, которые были собраны из самых разных источников из время существования данного теста. Подавляющее большинство вирусов из этого набора - чисто коллекционные, они либо никогда не представляли угрозы, либо их время давно прошло.
Вторая (Retrospective/ProActive Test) - способность бороться с новыми вирусами. Т.е. антивирус не обновляется в течение 3 месяцев, а затем со старыми базами тестируется на вирусах, которые были добавлены в коллекцию av-comparatives за эти 3 месяца (но не все из них - действительно новые вирусы, часть из них просто могла отсутствовать в коллекции и это просто новые поступления старых вирусов).
В общем, это краткое описание данных тестов, там на сайте есть вся информация, для тех, кому интересно. Не гарантирую, что я все полностью правильно понял и объяснил, поэтому верить можно только первоисточнику. Наверное из-за этого av-comparatives.org запрещает перепечатку материалов их тестов, чтобы потом избежать проблем с неверной их интерпретацией.
Что касается Symantec, то он находится в лидерах в первом тесте, но является одним из аутсайдеров во втором. Какой из тестов важнее - решать каждому самому.
Да, и еще один момент, чтобы результаты тестирования антивируса были опубликованы, он должен соответствовать определенным критериям и выполнить норматив по качеству детектирования (не менее 80%). Есть антивирусы (их имена не разглашаются), которые также участвовали в тестировании, но не прошли квалификацию и не включены в результаты.
Давние участники данного тестирования имеют возможность получить те файлы из коллекции, которые не обнаружил их антивирус и аргументированно попросить исключить данный файл из тестирования, например, если он "нежизнеспособен".
Новичкам (до выполнения норматива в 80%), естественно, тяжелее, поскольку кому попало вирусы не раздаются. Есть определенный порог, преодолеть который довольно тяжело. Если нет в наличии определенных экзотических вирусов, то и детектировать их невозможно (кроме как эвристикой), если вирусы не детектируются, преодолеть порог в 80% не получается и пропущенные вирусы никто не даст
Мы получили несколько писем с просьбой прокомментировать результаты тестирования VBA32. С поправкой на то, что мы только начинаем участвовать в данном тесте, все не так плохо.
-
-
Junior Member
- Вес репутации
- 69
Для начала вполне неплохо - вы смогли туда пролезть своими силами, а не "пытались договориться" чем имхо частенько грешат компании-монстры.
Но в следующем тестировании мы все ожидаем от вас, как минимум, взятие уровня "standard". Ну и в ретроспективном тесте ваш знаменитый эвристик
должен себя показать с наилучшей стороны
В общем, желаем удачи.
-
Сообщение от
serge
Подавляющее большинство вирусов из этого набора - чисто коллекционные.
Вот это и есть та проблема, которая ставит полезность результатов под большое сомнение.
-
-
Visiting Helper
- Вес репутации
- 73
Сообщение от
serge
Давние участники данного тестирования имеют возможность получить те файлы из коллекции, которые не обнаружил их антивирус и аргументированно попросить исключить данный файл из тестирования, например, если он "нежизнеспособен".
Теперь понятно, почему у некоторых > 99%. Пару раз получили вирусы из коллекции, потом выяснили алгоритмы их генерации, подредактировали сигнатуры и OK.
-
-
Сообщение от
azza
Теперь понятно, почему у некоторых > 99%. Пару раз получили вирусы из коллекции, потом выяснили алгоритмы их генерации, подредактировали сигнатуры и OK.
Думать, что в приличных тестах типа AV-Comparatives пополнение коллекции идёт за счёт генерации новых самплов по старым алгоритмам, по-моему, так же наивно, как всерьёз быть уверенным в том, что вирусы пишут сами антивирусные компании.
-
-
Visiting Helper
- Вес репутации
- 73
Я не считаю, что вирусы пишут антивирусные компании. И как тогда, интересно, идёт пополнение чисто коллекционного набора вирусов AV-Comparatives? При условии, что после каждого предыдущего теста все неизвестные вирусы поступают в антивирусные компании, а непополнение коллекции надо исключить, как абсурд.
Последний раз редактировалось azza; 05.03.2006 в 17:24.
-
-
Сообщение от
azza
Я не считаю, что вирусы пишут антивирусные компании. И как тогда, интересно, идёт пополнение чисто коллекционного набора вирусов AV-Comparatives? При условии, что после каждого предыдущего теста все неизвестные вирусы поступают в антивирусные компании, а непополнение коллекции надо исключить, как абсурд.
Например (но не только), с помощью VirusTotal. Если верить их статистике ( http://www.virustotal.com/flash/graf...afica1_en.html ) в неделю к ним приходит порядка 20000 самплов, из которых три четверти детектируются хотя бы одним продуктом. Не знаю, сколько из них уникальных и рабочих, но думаю, на одном только этом потоке вполне можно составить неплохую коллекцию.
Понятно, что эти самплы не могут считаться ITW, а значит, они автоматически попадают в категорию "zoo".
-
-
Visiting Helper
- Вес репутации
- 73
Сообщение от
Wordmonger
Например, с помощью VirusTotal.
VirusTotal рассылает вредоносные файлы антивирусам, участвующим в проекте. Поэтому, если принять это предположение, то проценты Нортона должны быть равны VBA, что не соответствует действительности. А значит, предположение ложно.
Кстати о птичках, а на админа наехать смелости не хватило?
Хотелось бы еще понять откуда они взяли более 200к вирусов под ДОС. До 2001 года кол-во вредоносных программ в год было менее 10к
ПОхоже они использовали полиморфные генераторы вирусов, которые могут генерировать бесконечное кол-во вирусов, но эти вирусы никогда не встречались "в дикой природе".
Последний раз редактировалось azza; 05.03.2006 в 21:08.
-
-
Сообщение от
azza
VirusTotal рассылает вредоносные файлы антивирусам, участвующим в проекте. Поэтому, если принять это предположение, то проценты Нортона должны быть равны VBA, что не соответствует действительности. А значит, предположение ложно.
Какое именно предположение? Что VirusTotal -- единственный источник пополнения тестовой коллекции? Я такого предположения не делал. Я отвечал на вопрос, как можно пополнять "zoo"-коллекцию.
Кстати, можно попробовать спросить у народа из VBA32, успевают ли они полностью обрабатывать всё, что валится с VirusTotal и от Jotti?
Сообщение от
azza
Кстати о птичках, а на админа наехать смелости не хватило?
Что касается смелости, то админ мало что может сделать незарегистрированному пользователю.
По сути же, я не вижу ничего плохого в преположении, что часть DOS'ового вирья специально сгенерирована (хотя это и прямо противоречит заявлениям авторов теста): чтобы проверить, действительно ли данный полиморфик берётся некоторым антивирусом в полном объёме, одного сампла мало.
А вот предполагать, что Клементи купил у дамрая на руборде пинчевский билдер и сидит генерит им самплы... это вряд ли. )
-
-
Сообщение от
Wordmonger
А вот предполагать, что Клементи купил у дамрая на руборде пинчевский билдер и сидит генерит им самплы... это вряд ли.
)
Кстати, вот это было бы намного информативнее и интереснее чем сотни тысячь вирусов под ДОС.
-
-
Сообщение от
Geser
Кстати, вот это было бы намного информативнее и интереснее чем сотни тысячь вирусов под ДОС.
Кому как. Типичный "чистяк" предсказуемо "не палится" теми антивирусами, антидетект для которых был заказан клиентом. Так что информативность теста по такой коллекции будет состоять преимущественно в выяснении того, какие антивирусные продукты наиболее популярны у потенциальных жертв заказчика.
-
-
Сообщение от
Geser
Странные товарищи заблокировали прямую ссылку
ну не заблокировали, а настойчиво попросили не давать прямых ссылок к тестам без специального разешения.
Сообщение от
Andreas Clementi
It's forbidden to use/provide our test results/documents on other sites without our permission.
-