Друзья,
есть желание провести самостоятельно независимое тестирование скорости работы on-access сканеров в популярных антивирусах.
Стоит вопрос в правильности проведения такого теста, выработке методики его проведения. Понятно, что делать это можно по-разному, но другой вопрос что мы будем иметь в результате? Хотелось бы учесть все подводные камни.
Если кто-то имеет опыт или идеи на этот счет (особенно интересно мнение специалистов), пожалуйста, напиши об этом здесь или еще лучше в http://www.anti-malware.ru/phpbb/viewtopic.php?t=51, где уже идет обсуждение этого вопроса.
Надоело быть жертвой? Стань профи по информационной безопасности, получай самую свежую информацию об угрозах и средствах защиты от ведущего российского аналитического центра Anti-Malware.ru:
Илья, а Вам не кажется что "Скрость" и "Качество" понятия противоположные по смыслу ? Чем тщательнее проверка тем ниже скорость, можно проверить exe по сигнатуре и пойти дальше, а можно "выпотрошить" с него все ресурсы и выкопать приаттаченный и заархивированный троян к обычному EXE.
Возникает вопрос - что ставить в "зачёт" - "троян" или "скорость" ???
Так - что победитель в тесте может оказаться на самом деле и не самым лучшим...
Последний раз редактировалось RiC; 14.11.2005 в 16:10.
Илья, а Вам не кажется что "Скрость" и "Качество" понятия противоположные по смыслу ? Чем тщательнее проверка тем ниже скорость, можно проверить exe по сигнатуре и пойти дальше, а можно "выпотрошить" с него все ресурсы и выкопать приаттаченный и заархивированный троян к обычному EXE.
Возникает вопрос - что ставить в "зачёт" - "троян" или "скорость" ???
Так - что победитель в тесте может оказаться на самом деле и не самым лучшим...
Конечно, эффективность важнее, но это как уравнение с несколькими неизвестными. Чтобы найти одну, надо фиксировать другую. Соответсвенно в данном случае, мы предполагаем, что отобранные для теста антивирусы одинаково эффективны.
Ведь когда проводятся тесты на эффективность не смотрят на скорость проверки, правда ведь?
Илья, а Вам не кажется что "Скрость" и "Качество" понятия противоположные по смыслу ?
Не совсем согласен, можно сделать качественно, но очень медленно, просто грубо говоря забить на оптимизацию...
Тут помоему уже говорили что сканнер dr.web новой версии умееть намного больше, чем предыдущий. Имеет большую базу, знает больше пакеров, но при этом в скорости не проиграл.
Тут помоему уже говорили что сканнер dr.web новой версии умееть намного больше, чем предыдущий. Имеет большую базу, знает больше пакеров, но при этом в скорости не проиграл.
Насколько я понял, таки проиграл. По крайней мере было много жалоб на медленную работу.
Подобный тест, наверное, будет интересен многим. Главное не тестировать те антивирусы, которые не могут обеспечить приемлемый уровень безопасности, чтобы не вводить в искушение доверчивых пользователей.
Список, по моему, следует ограничить тем антивирусами, которые хотя бы один раз получили статус ADVANCED в тестах av-comparatives в этом году: http://www.av-comparatives.org/seiten/overview02.gif + VBA32.
По методике тестирования: лично мне бы было интересно узнать такие данные как
- увеличение времени загрузки ОС после установки антивируса (с составом по умолчанию);
- время установки какой-нибудь распространенной программы, например, MS Office XP;
- время установки SP2 на WinXP;
Компьютер должен быть не самый крутой, а что ближе к среднему.
По методике тестирования: лично мне бы было интересно узнать такие данные как
- увеличение времени загрузки ОС после установки антивируса (с составом по умолчанию);
По моему не самое актуальное... Можно заплатить скоростью загрузки системы, но при этом комфортно себя чувствовать во время работы...
Подобный тест, наверное, будет интересен многим. Главное не тестировать те антивирусы, которые не могут обеспечить приемлемый уровень безопасности, чтобы не вводить в искушение доверчивых пользователей.
Список, по моему, следует ограничить тем антивирусами, которые хотя бы один раз получили статус ADVANCED в тестах av-comparatives в этом году: http://www.av-comparatives.org/seiten/overview02.gif + VBA32.
По методике тестирования: лично мне бы было интересно узнать такие данные как
- увеличение времени загрузки ОС после установки антивируса (с составом по умолчанию);
- время установки какой-нибудь распространенной программы, например, MS Office XP;
- время установки SP2 на WinXP;
Компьютер должен быть не самый крутой, а что ближе к среднему.
Конечно, для тестирования лучше ограничится эффективными и популярными АВ.
Но по перечисленным вами тестам, пожалуй не соглашусь, полученные цифры ничего не дудут, их нельзя будет сравнивать, потому как все АВ сканируют разное кол-во файлов и делают это опять таки по-разному. Что с того что скажем с КАВом загузка будет 5 минуту (при проверке 1000 файлов), а с Нодом - 1 минуту (при проверке 100 файлов)?
На другом форуме нарад на эту тему уже много всего написал, лень переписывать.
По методике тестирования: лично мне бы было интересно узнать такие данные как
- увеличение времени загрузки ОС после установки антивируса (с составом по умолчанию);
- время установки какой-нибудь распространенной программы, например, MS Office XP;
- время установки SP2 на WinXP;
Компьютер должен быть не самый крутой, а что ближе к среднему.
На время установки продуктов от Ms, тем более таких интегрирующихся в систему как Office XP & SP2, рекомендуется отключать антивирус.
IlyaOS
На другом форуме нарад на эту тему уже много всего написал, лень переписывать.
Дааа... много Вы, на мой взгляд, слишком серьёзно относитесь к этому тесту. Единственная польза от такого теста, на мой взгляд, в том, что бы человек, не имевший раньше дела с каким то антивирусом, мог прикинуть: потянет ли его компьютер (или скорее перетерпит ли он сам его тормоза) или даже пробовать его не стоит.
userr
На время установки продуктов от Ms, тем более таких интегрирующихся в систему как Office XP & SP2, рекомендуется отключать антивирус.
А если не отключит? Что тогда? Мне, например, интересно. Поскольку результат такого теста в любом случае не является руководством к выбору антивируса, тестировать можно чем угодно, лишь бы условия были реалистичны и широко распространены в жизни.
Программа создает файл с MZ PE заголовком (1 кб) и пишет в него последовательно куски по 64/128/256/512/1024 kb каждый раз открывая и закрывая файл снова до достижения лимита в N mb.
1. параметр - название файла в который будем писать
2. максимальный размер файла
3. по сколько кб писать бедем возможные варианты - 64/128/256/512/1024 кб
4. параметр - если имеется то файлы открываюся и на чтение и на запись иначе только на запись
Всего один дурной бит - и гигабайты лежат в маразме.
Скажи мне свою OS и я скажу тебе КТО ты.
Как тестировать on-access сканеры на скорость?
Сообщение от RiC
Вы, на мой взгляд, слишком серьёзно относитесь к этому тесту. Единственная польза от такого теста, на мой взгляд, в том, что бы человек, не имевший раньше дела с каким то антивирусом, мог прикинуть: потянет ли его компьютер (или скорее перетерпит ли он сам его тормоза) или даже пробовать его не стоит.
