-
Junior Member
- Вес репутации
- 65
Исследование антивирусов с помощью virusscan.jotti.org
Наверное будут интересны некоторые промежуточные результаты аналогичного тестирования.
http://enotus.at.tut.by/Articles/AVtest/index.html
Кратко об тестировании антивирусов и тестирование по данным virusscan.jotti.org.
Последний раз редактировалось Enotus; 15.08.2006 в 07:54.
-
Будь в курсе!
Будь в курсе!
Надоело быть жертвой? Стань профи по информационной безопасности, получай самую свежую информацию об угрозах и средствах защиты от ведущего российского аналитического центра Anti-Malware.ru:
-
Да, идея интересная.
Ошибки бы исправить, орфографические.
-
-
Junior Member
- Вес репутации
- 65
-
Full Member
- Вес репутации
- 69
Enotus,
Те выводы которые я сделал для себя путём периодических заходов на jotty, Вы подтвердили таблицей, спасибо.
Результаты, по-моему, намного ближе к живой истине, чем у клименти и т.п., хотя понятно, что есть и в этой методике пробелы.
Неплохо бы статистику за месяц посмотреть.
Впрочем, не думаю, что она будет очень сильно отличаться.
Последний раз редактировалось WaterFish; 02.08.2006 в 22:45.
-
Junior Member
- Вес репутации
- 65
Сообщение от
WaterFish
Enotus,
хотя понятно, что есть и в этой методике пробелы.
А что за пробелы? Я кроме "высылаемые посетителсями файлы не обязательно отражают реальную картину", "не учитываются ложные срабатывания" и неполного списка антивирусов - особо ничего не вижу.
Последний раз редактировалось Enotus; 03.08.2006 в 06:16.
-
Junior Member
- Вес репутации
- 65
Обычно туда посылают вирусы, которые не находятся установленным антивирусом, что по идее должно снижать показатели распространенных АВ.
-
Junior Member
- Вес репутации
- 65
Окончательная версия закончена. Всё осталось кратко.
Сообщение от
Phoenix
Обычно туда посылают вирусы, которые не находятся установленным антивирусом, что по идее должно снижать показатели распространенных АВ.
Думал. Сравнивал статистику. Ничего не нашёл ни за эту теорию, ни против. Вопрос о адекватности посылаемых вирусов общей распространённости остался открытым.
Но отставание "хвалёного" NOD32 уж слишком большое. Группа лидеров налицо.
-
Год назад я проводил аналогичные подсчеты результатов с virusscan.jotti.org. Тогда пятерка лидиров выглядела иначе:
1. KAV
2. Dr.Web
3. NOD32/VBA32
4. BitDefender
-
-
Сообщение от
Enotus
Окончательная версия закончена. Всё осталось кратко.
Имхо, главный недостаток - Вы не отделяете подозрительные файлы от точных детектов, как это делает Shu_b в местном "Исследовании..". В результате простое фиксирование факта использования упаковщика либо криптера Antivir-om идет в зачёт как полноценное детектирование ( подразумевающее наличие лечения). Тем более что подавляющая часть ложных срабатываний как раз и находится среди подозрительных.
Одно это, имхо, сводит почти на нет ценность такого анализа. Если исправить - получится очень интересная вещь. Пожалуй, это будет в самом деле единственное действительно независимое исследование с реальными, не дутыми, результатами .
-
-
Junior Member
- Вес репутации
- 65
Сообщение от
Alexey P.
Имхо, главный недостаток - Вы не отделяете подозрительные файлы от точных детектов, как это делает Shu_b в местном "Исследовании..". В результате простое фиксирование факта использования упаковщика либо криптера Antivir-om идет в зачёт как полноценное детектирование ( подразумевающее наличие лечения). Тем более что подавляющая часть ложных срабатываний как раз и находится среди подозрительных.
Одно это, имхо, сводит почти на нет ценность такого анализа.
В статье отмечено, что а)степень ложных срабатываний мизерна (порядка процента) б)есть диаграмма с количеством уникальных "детектов" из которых только часть - ложные в)общую картину это НЕ меняет.
Т.е. "ценность такого анализа" от ложных срабатываний уменьшается весьма мало.
-
- Ну да, конечно.
Ценность антивируса снижает, а теста нет. Так не бывает.
Я выше писал о разнице между подозрением и точным детектом - это наличие лечения. В таком случае Fortinet, у которого чуть ли не каждый второй файл suspicious, был бы чемпионом. В Вашем сравнении его успешно заменил антивир.
Антивир вполне неплохой антивирус, но на первое место однозначно не тянет - Вас эта мысль не смущает при оценке результатов ? Вот для приближения к истинной картине как раз и стоит различать детектирование и подозрения.
- Откуда данные, что ложных срабатываний 1% ? В статье лишь туманно сказано: "здесь не учитываются ложные срабатывания." Смысл не ясен.
- Ошибки остались - орфографические и стилистические.
-
-
Junior Member
- Вес репутации
- 65
Сообщение от
Alexey P.
Я выше писал о разнице между подозрением и точным детектом - это наличие лечения.
Да, разница есть. Но лучше уж иметь 10 подозрений из которых пусть 8 буде реальными, чем 5 точных детектов с лечением.
Сообщение от
Alexey P.
В таком случае Fortinet, у которого чуть ли не каждый второй файл suspicious, был бы чемпионом. В Вашем сравнении его успешно заменил антивир.
Антивир вполне неплохой антивирус, но на первое место однозначно не тянет - Вас эта мысль не смущает при оценке результатов?
А я первое место не определял и "призы" не раздавал. Есть группа лидеров. Вы не согласны, что AntiVir "тянет" на "одного из лучших" в рамках протестированных?
В любом случае, нет такого "чемпиона". Никакой антивирус и близко не определяет всех вредоносных программ.
Сообщение от
Alexey P.
Вот для приближения к истинной картине как раз и стоит различать детектирование и подозрения.
Это смотря как приоритеты расставить. Например мне не нравится av-comparatives.org тем, что они все вирусы распаковывают.
Сообщение от
Alexey P.
Откуда данные, что ложных срабатываний 1% ? В статье лишь туманно сказано: "здесь не учитываются ложные срабатывания." Смысл не ясен.
Там ссылка на av-comparatives.org . Я просто тупо взял от туда их результаты. Возможно не очень удачно. Поправьте если что.
Сообщение от
Alexey P.
- Ошибки остались - орфографические и стилистические.
С большего исправлено. Остальное меня мало беспокоит. Я статью ради смысла писал. Так сказать, Вам шашечки или ехать?
-
Сообщение от
Enotus
Да, разница есть. Но лучше уж иметь 10 подозрений из которых пусть 8 буде реальными, чем 5 точных детектов с лечением.
это вы зараженному пользователю объясните. который удалит 2 здоровых файла, из-за выданных на них подозрений, и у него после этого криво будет работать система.
одни только подозрения не удаляют вирус, который к тому же продолжает без лечение плодится и множиться, портя и уничтожая новые и новые файлы.
Сообщение от
Enotus
А я первое место не определял и "призы" не раздавал. Есть группа лидеров. Вы не согласны, что AntiVir "тянет" на "одного из лучших" в рамках протестированных?
нет
Сообщение от
Enotus
В любом случае, нет такого "чемпиона". Никакой антивирус и близко не определяет всех вредоносных программ.
есть 5-6 лидеров, вот их и нужно выделять.
Сообщение от
Enotus
Это смотря как приоритеты расставить. Например мне не нравится
av-comparatives.org тем, что они все вирусы распаковывают.
да, это бред. в рельной жизни такого не бывает
Сообщение от
Enotus
С большего исправлено. Остальное меня мало беспокоит. Я статью ради смысла писал. Так сказать, Вам шашечки или ехать?
пока разглядывешь кривые шашечки начинаешь думать о том, что возможно у водителя не только в рисовании шашечек руки кривые, и ехать с ним уже никуда не хочется.
-
-
Junior Member
- Вес репутации
- 65
это вы зараженному пользователю объясните.
Вы не ответили. По Вашему ответу следует, что для Вас лучше иметь 3 вируса, о которых совершенно не подозреваешь? Которые "продолжает без лечение плодится и множиться, портя и уничтожая новые и новые файлы"?
который удалит 2 здоровых файла, из-за выданных на них подозрений, и у него после этого криво будет работать система.
Там возможны варианты. Не надо сразу брать крайние.
пока разглядывешь кривые шашечки начинаешь думать о том, что возможно у водителя не только в рисовании шашечек руки кривые, и ехать с ним уже никуда не хочется.
Ваш ход "думанья" не совпадает с большинстом. Встречают по одежке, а провожают по уму.
Ещё раз, всё можно отредактировать, только времени на это я тратить не хочу. Это мне не нужно.
-
Enotus, не обижайтесь, но из-за указанных недоработок пока что получилось, что "гора родила мышь".
Исходная Ваша мысль использовать результаты jotti безусловно интересна, но полученные результаты Вы обработали довольно поверхностно (что не так - я писал выше). Потому вряд ли кто по достоинству оценит Ваш труд. А жаль. Доделать ведь осталось не так много, как я понимаю. И получится действительно интересная и полезная статья.
ЗЫ: По поводу выводов о распространенности образцов - я думаю, что это лишь статистика поступления образцов на jotti, с реальной картиной распространенности она довольно мало связана. Вряд ли правильно в статье прямо указывать, что это - распространенность образцов "в лесу".
Я бы предложил ту часть статьи, где идет речь о распространенности, переписать как Вашу оценку состава коллекции, по которой идет сравнение - это было бы уместно и вполне корректно.
ЗЗЫ: По поводу ошибок - их уже осталось немного, но в глаза все же бросаются. Если есть сложности - напишите мне в личку, я помогу.
-
-
Спор о том, что лучше - детектирование или эвристика, уже решен реальной практикой антивирусов. Чувствительная эвристика из-за неизбежных (пока ?) ложных срабатываний очень серьезно портит мнение об антивирусе, особенно в основном (по деньгам) корпоративном секторе. Плюс существенно, имхо, увеличивает нагрузку на саппорт/
аналитиков, что дальше ухудшает ситуацию. Потому введение эвристики в релизы антивирусы проводят очень осторожно, а эксперименты на пользователях могут себе позволить лишь бесплатные антивирусы (они не особо обременены саппортом - халява, сэр).
Делают они это не от хорошей жизни - обработать поток заразы не могут, потому и пытаются скомпенсировать это эвристикой. Но это, как я уже написал, не очень хороший вариант.
И последнее - 1% ложных срабатываний взят явно с потолка, потому вряд ли стоит это как-то упоминать в статье. Образцов с jotti, как я понимаю, у Вас нет, и оценить, сколько там ложных или неработоспособных, нереально.
-
-
Сообщение от
Enotus
Ещё раз, всё можно отредактировать, только времени на это я тратить не хочу. Это мне не нужно.
ну вот так бы сразу и сказали, а то чего голову людям морочить - не нужно так не нужно
-
-
Junior Member
- Вес репутации
- 65
Сообщение от
Alexey P.
Enotus, не обижайтесь, но из-за указанных недоработок пока что получилось, что "гора родила мышь".
Исходная Ваша мысль использовать результаты jotti безусловно интересна, но полученные результаты Вы обработали довольно поверхностно (что не так - я писал выше). Потому вряд ли кто по достоинству оценит Ваш труд. А жаль. Доделать ведь осталось не так много, как я понимаю. И получится действительно интересная и полезная статья.
На сколько я понял, Вы считаете весьма полезным добавить разбивку по эвристике?
Хорошо. Я перепишу скрипт и через неделю что-то будет по новой статистике. Стилистические ошибки, если замечу при дописывании, исправлю. Если Вы укажете конкретные фразы - так же исправлю.
-
Junior Member
- Вес репутации
- 65
Сообщение от
MOCT
ну вот так бы сразу и сказали, а то чего голову людям морочить - не нужно так не нужно
Я это сразу и сказал. см. "С большего исправлено. Остальное меня мало беспокоит."
-
Сообщение от
Enotus
На сколько я понял, Вы считаете весьма полезным добавить разбивку по эвристике?
Хорошо. Я перепишу скрипт и через неделю что-то будет по новой статистике. Стилистические ошибки, если замечу при дописывании, исправлю. Если Вы укажете конкретные фразы - так же исправлю.
Ок. Можно примерно так, как сделано у Shu_b - у каждого антивируса в диаграмме детекты и подозрения выделены разным цветом, например:
http://www.virusinfo.info/showpost.p...2&postcount=51
Думаю, можно у него попросить и скрипт, которым парсит результаты.
-