Показано с 1 по 17 из 17.

Опубликованы результаты февральского теста av-comparatives

  1. #1
    Geser
    Guest

    Lightbulb Опубликованы результаты февральского теста av-comparatives

    В общем тест на коллекции состоящей в основном из древних вирусов (49% коллекции DOS viruses/malware), на мой взгляд, малоинформативен. Но, кому интересно можете ознакомиться.

    (Странные товарищи заблокировали прямую ссылку, так что заходить нужно через главную страницу http://www.av-comparatives.org/ )

  2. Реклама
     

  3. #2
    Junior Member Репутация
    Регистрация
    19.08.2005
    Адрес
    Дюссельдорф, Германия
    Сообщений
    78
    Вес репутации
    42

    Cool

    Согласен. Странно как-то - 2006 год на дворе, а они всё включают в тесты "тяжелое наследие DOS". Навряд ли есть смысл сегодня забивать базы сигнатурами DOS вирусов.

    Мне также не до конца ясен смысл категории "OtherOS viruses/malware". Особенно когда туда включают вирусы для мертвых ОС типа BeOS или OS/2 (да простят меня её апологеты). Эта категория имхо представляет чисто теоретический интерес, но она почему-то у многих тестеров влияет на общий результат. Интересно также, что далеко не все производители имеют версии для Solaris, *nix, etc., но ловить вирусы для этих ОС, тем не менее, должны Странно как-то выходит...

  4. #3
    Geser
    Guest
    Хотелось бы еще понять откуда они взяли более 200к вирусов под ДОС. До 2001 года кол-во вредоносных программ в год было менее 10к
    ПОхоже они использовали полиморфные генераторы вирусов, которые могут генерировать бесконечное кол-во вирусов, но эти вирусы никогда не встречались "в дикой природе".

  5. #4
    Senior Member Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Аватар для AndreyKa
    Регистрация
    08.01.2005
    Адрес
    Россия
    Сообщений
    13,624
    Вес репутации
    1287
    Цитата Сообщение от Geser
    Хотелось бы еще понять откуда они взяли более 200к вирусов под ДОС. До 2001 года кол-во вредоносных программ в год было менее 10к
    ПОхоже они использовали полиморфные генераторы вирусов, которые могут генерировать бесконечное кол-во вирусов, но эти вирусы никогда не встречались "в дикой природе".
    Скорее всего так и есть. Для полиморфных вирусов под Win32 они сделали отдельный тест (см. 8 раздел в pdf-файле).
    Там тестируют по ~1000 вариантов каждого из 10 вирусов.

  6. #5
    front242
    Guest
    что-то прям неверицца, неужели symantec совершил такой рывок, я тут читал его эмулятором антивируса называли

  7. #6
    VBA Репутация
    Регистрация
    29.09.2004
    Сообщений
    96
    Вес репутации
    45
    Попробую заступиться за av-comparatives.org

    На сайте доступно подробное описание того, как проводится данный тест, тестирование проводится только для тех антивирусов, разработчики которых ознакомились с условиями его проведения и в письменном виде подтвердили свое желание участвовать в нем. Также разработчики антивирусов имеют возможность ознакомиться с результатами перед тем, как их опубликуют на сайте и высказать свои претензии, если они есть. Все результаты разбиты по категориям, так что те, кого не интересуют конкретно dos-вирусы, могут увидеть статистику, которая их не учитывает.

    Теперь по сути самого теста. На самом деле он состоит из двух частей.

    Первая (On-demand comparative) - тестирование способности детектирования по коллекции самого разнообразного зверья. В данной коллекции все вирусы/трояны и прочие вредоносные программы, которые были собраны из самых разных источников из время существования данного теста. Подавляющее большинство вирусов из этого набора - чисто коллекционные, они либо никогда не представляли угрозы, либо их время давно прошло.

    Вторая (Retrospective/ProActive Test) - способность бороться с новыми вирусами. Т.е. антивирус не обновляется в течение 3 месяцев, а затем со старыми базами тестируется на вирусах, которые были добавлены в коллекцию av-comparatives за эти 3 месяца (но не все из них - действительно новые вирусы, часть из них просто могла отсутствовать в коллекции и это просто новые поступления старых вирусов).

    В общем, это краткое описание данных тестов, там на сайте есть вся информация, для тех, кому интересно. Не гарантирую, что я все полностью правильно понял и объяснил, поэтому верить можно только первоисточнику. Наверное из-за этого av-comparatives.org запрещает перепечатку материалов их тестов, чтобы потом избежать проблем с неверной их интерпретацией.

    Что касается Symantec, то он находится в лидерах в первом тесте, но является одним из аутсайдеров во втором. Какой из тестов важнее - решать каждому самому.

    Да, и еще один момент, чтобы результаты тестирования антивируса были опубликованы, он должен соответствовать определенным критериям и выполнить норматив по качеству детектирования (не менее 80%). Есть антивирусы (их имена не разглашаются), которые также участвовали в тестировании, но не прошли квалификацию и не включены в результаты.

    Давние участники данного тестирования имеют возможность получить те файлы из коллекции, которые не обнаружил их антивирус и аргументированно попросить исключить данный файл из тестирования, например, если он "нежизнеспособен".

    Новичкам (до выполнения норматива в 80%), естественно, тяжелее, поскольку кому попало вирусы не раздаются. Есть определенный порог, преодолеть который довольно тяжело. Если нет в наличии определенных экзотических вирусов, то и детектировать их невозможно (кроме как эвристикой), если вирусы не детектируются, преодолеть порог в 80% не получается и пропущенные вирусы никто не даст

    Мы получили несколько писем с просьбой прокомментировать результаты тестирования VBA32. С поправкой на то, что мы только начинаем участвовать в данном тесте, все не так плохо.
    ВирусБлокАда, Минск, Беларусь. (http://anti-virus.by)

  8. #7
    Junior Member Репутация
    Регистрация
    19.08.2005
    Адрес
    Дюссельдорф, Германия
    Сообщений
    78
    Вес репутации
    42

    Thumbs up

    Для начала вполне неплохо - вы смогли туда пролезть своими силами, а не "пытались договориться" чем имхо частенько грешат компании-монстры.

    Но в следующем тестировании мы все ожидаем от вас, как минимум, взятие уровня "standard". Ну и в ретроспективном тесте ваш знаменитый эвристик
    должен себя показать с наилучшей стороны

    В общем, желаем удачи.

  9. #8
    Geser
    Guest
    Цитата Сообщение от serge
    Подавляющее большинство вирусов из этого набора - чисто коллекционные.
    Вот это и есть та проблема, которая ставит полезность результатов под большое сомнение.

  10. #9
    Visiting Helper Репутация
    Регистрация
    20.09.2004
    Сообщений
    187
    Вес репутации
    46
    Цитата Сообщение от serge
    Давние участники данного тестирования имеют возможность получить те файлы из коллекции, которые не обнаружил их антивирус и аргументированно попросить исключить данный файл из тестирования, например, если он "нежизнеспособен".
    Теперь понятно, почему у некоторых > 99%. Пару раз получили вирусы из коллекции, потом выяснили алгоритмы их генерации, подредактировали сигнатуры и OK.

  11. #10
    Wordmonger
    Guest
    Цитата Сообщение от azza
    Теперь понятно, почему у некоторых > 99%. Пару раз получили вирусы из коллекции, потом выяснили алгоритмы их генерации, подредактировали сигнатуры и OK.
    Думать, что в приличных тестах типа AV-Comparatives пополнение коллекции идёт за счёт генерации новых самплов по старым алгоритмам, по-моему, так же наивно, как всерьёз быть уверенным в том, что вирусы пишут сами антивирусные компании.

  12. #11
    Visiting Helper Репутация
    Регистрация
    20.09.2004
    Сообщений
    187
    Вес репутации
    46
    Я не считаю, что вирусы пишут антивирусные компании. И как тогда, интересно, идёт пополнение чисто коллекционного набора вирусов AV-Comparatives? При условии, что после каждого предыдущего теста все неизвестные вирусы поступают в антивирусные компании, а непополнение коллекции надо исключить, как абсурд.
    Последний раз редактировалось azza; 05.03.2006 в 17:24.

  13. #12
    Wordmonger
    Guest
    Цитата Сообщение от azza
    Я не считаю, что вирусы пишут антивирусные компании. И как тогда, интересно, идёт пополнение чисто коллекционного набора вирусов AV-Comparatives? При условии, что после каждого предыдущего теста все неизвестные вирусы поступают в антивирусные компании, а непополнение коллекции надо исключить, как абсурд.
    Например (но не только), с помощью VirusTotal. Если верить их статистике ( http://www.virustotal.com/flash/graf...afica1_en.html ) в неделю к ним приходит порядка 20000 самплов, из которых три четверти детектируются хотя бы одним продуктом. Не знаю, сколько из них уникальных и рабочих, но думаю, на одном только этом потоке вполне можно составить неплохую коллекцию.
    Понятно, что эти самплы не могут считаться ITW, а значит, они автоматически попадают в категорию "zoo".

  14. #13
    Visiting Helper Репутация
    Регистрация
    20.09.2004
    Сообщений
    187
    Вес репутации
    46
    Цитата Сообщение от Wordmonger
    Например, с помощью VirusTotal.
    VirusTotal рассылает вредоносные файлы антивирусам, участвующим в проекте. Поэтому, если принять это предположение, то проценты Нортона должны быть равны VBA, что не соответствует действительности. А значит, предположение ложно.
    Кстати о птичках, а на админа наехать смелости не хватило?
    Хотелось бы еще понять откуда они взяли более 200к вирусов под ДОС. До 2001 года кол-во вредоносных программ в год было менее 10к
    ПОхоже они использовали полиморфные генераторы вирусов, которые могут генерировать бесконечное кол-во вирусов, но эти вирусы никогда не встречались "в дикой природе".
    Последний раз редактировалось azza; 05.03.2006 в 21:08.

  15. #14
    Wordmonger
    Guest
    Цитата Сообщение от azza
    VirusTotal рассылает вредоносные файлы антивирусам, участвующим в проекте. Поэтому, если принять это предположение, то проценты Нортона должны быть равны VBA, что не соответствует действительности. А значит, предположение ложно.
    Какое именно предположение? Что VirusTotal -- единственный источник пополнения тестовой коллекции? Я такого предположения не делал. Я отвечал на вопрос, как можно пополнять "zoo"-коллекцию.
    Кстати, можно попробовать спросить у народа из VBA32, успевают ли они полностью обрабатывать всё, что валится с VirusTotal и от Jotti?


    Цитата Сообщение от azza
    Кстати о птичках, а на админа наехать смелости не хватило?
    Что касается смелости, то админ мало что может сделать незарегистрированному пользователю.
    По сути же, я не вижу ничего плохого в преположении, что часть DOS'ового вирья специально сгенерирована (хотя это и прямо противоречит заявлениям авторов теста): чтобы проверить, действительно ли данный полиморфик берётся некоторым антивирусом в полном объёме, одного сампла мало.
    А вот предполагать, что Клементи купил у дамрая на руборде пинчевский билдер и сидит генерит им самплы... это вряд ли. )

  16. #15
    Geser
    Guest
    Цитата Сообщение от Wordmonger
    А вот предполагать, что Клементи купил у дамрая на руборде пинчевский билдер и сидит генерит им самплы... это вряд ли. )
    Кстати, вот это было бы намного информативнее и интереснее чем сотни тысячь вирусов под ДОС.

  17. #16
    Wordmonger
    Guest
    Цитата Сообщение от Geser
    Кстати, вот это было бы намного информативнее и интереснее чем сотни тысячь вирусов под ДОС.
    Кому как. Типичный "чистяк" предсказуемо "не палится" теми антивирусами, антидетект для которых был заказан клиентом. Так что информативность теста по такой коллекции будет состоять преимущественно в выяснении того, какие антивирусные продукты наиболее популярны у потенциальных жертв заказчика.

  18. #17
    Senior Member Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация
    Регистрация
    03.04.2006
    Сообщений
    21,108
    Вес репутации
    2997
    Цитата Сообщение от Geser
    Странные товарищи заблокировали прямую ссылку
    ну не заблокировали, а настойчиво попросили не давать прямых ссылок к тестам без специального разешения.
    Цитата Сообщение от Andreas Clementi
    It's forbidden to use/provide our test results/documents on other sites without our permission.

Похожие темы

  1. Ответов: 1
    Последнее сообщение: 18.01.2010, 17:04
  2. Ответов: 1
    Последнее сообщение: 15.05.2009, 11:22
  3. Ответов: 2
    Последнее сообщение: 04.03.2009, 04:24
  4. Ответов: 93
    Последнее сообщение: 10.09.2008, 11:12
  5. Основные результаты теста антируткитов
    От SuperBrat в разделе Антивирусы
    Ответов: 0
    Последнее сообщение: 15.03.2007, 07:36

Свернуть/Развернуть Ваши права в разделе

  • Вы не можете создавать новые темы
  • Вы не можете отвечать в темах
  • Вы не можете прикреплять вложения
  • Вы не можете редактировать свои сообщения
  •  
Page generated in 0.01063 seconds with 22 queries