Исследование антивирусов с помощью virusscan.jotti.org

Наверное будут интересны некоторые промежуточные результаты аналогичного тестирования.

[url]http://enotus.at.tut.by/Articles/AVtest/index.html[/url]
Кратко об тестировании антивирусов и тестирование по данным virusscan.jotti.org.

Да, идея интересная.
Ошибки бы исправить, орфографические.

Всё будет, но потом.

[B]Enotus[/B],
Те выводы которые я сделал для себя путём периодических заходов на jotty, Вы подтвердили таблицей, спасибо.:)
Результаты, по-моему, намного ближе к живой истине, чем у клименти и т.п., хотя понятно, что есть и в этой методике пробелы.

Неплохо бы статистику за месяц посмотреть.
Впрочем, не думаю, что она будет очень сильно отличаться.

[quote=WaterFish][B]Enotus[/B],
хотя понятно, что есть и в этой методике пробелы.
[/quote]А что за пробелы? Я кроме "высылаемые посетителсями файлы не обязательно отражают реальную картину", "не учитываются ложные срабатывания" и неполного списка антивирусов - особо ничего не вижу.

Обычно туда посылают вирусы, которые не находятся установленным антивирусом, что по идее должно снижать показатели распространенных АВ.

Окончательная версия закончена. Всё осталось кратко.

[quote=Phoenix]Обычно туда посылают вирусы, которые не находятся установленным антивирусом, что по идее должно снижать показатели распространенных АВ.[/quote]Думал. Сравнивал статистику. Ничего не нашёл ни за эту теорию, ни против. Вопрос о адекватности посылаемых вирусов общей распространённости остался открытым.
Но отставание "хвалёного" NOD32 уж слишком большое. Группа лидеров налицо.

Год назад я проводил аналогичные подсчеты результатов с virusscan.jotti.org. Тогда пятерка лидиров выглядела иначе:
1. KAV
2. Dr.Web
3. NOD32/VBA32
4. BitDefender

[QUOTE=Enotus]Окончательная версия закончена. Всё осталось кратко.
[/QUOTE]
Имхо, главный недостаток - Вы не отделяете подозрительные файлы от точных детектов, как это делает Shu_b в местном "Исследовании..". В результате простое фиксирование факта использования упаковщика либо криптера Antivir-om идет в зачёт как полноценное детектирование ( подразумевающее наличие лечения). Тем более что подавляющая часть ложных срабатываний как раз и находится среди подозрительных.
Одно это, имхо, сводит почти на нет ценность такого анализа. Если исправить - получится очень интересная вещь. Пожалуй, это будет в самом деле единственное [U]действительно[/U] независимое исследование с реальными, не дутыми, результатами :).

[quote=Alexey P.]Имхо, главный недостаток - Вы не отделяете подозрительные файлы от точных детектов, как это делает Shu_b в местном "Исследовании..". В результате простое фиксирование факта использования упаковщика либо криптера Antivir-om идет в зачёт как полноценное детектирование ( подразумевающее наличие лечения). Тем более что подавляющая часть ложных срабатываний как раз и находится среди подозрительных.
Одно это, имхо, сводит почти на нет ценность такого анализа.[/quote]В статье отмечено, что а)степень ложных срабатываний мизерна (порядка процента) б)есть диаграмма с количеством уникальных "детектов" из которых только часть - ложные в)общую картину это НЕ меняет.
Т.е. "ценность такого анализа" от ложных срабатываний уменьшается весьма мало.

- Ну да, конечно.
Ценность антивируса снижает, а теста нет. Так не бывает.
Я выше писал о разнице между подозрением и точным детектом - это наличие лечения. В таком случае Fortinet, у которого чуть ли не каждый второй файл suspicious, был бы чемпионом. В Вашем сравнении его успешно заменил антивир.
Антивир вполне неплохой антивирус, но на первое место однозначно не тянет - Вас эта мысль не смущает при оценке результатов ? Вот для приближения к истинной картине как раз и стоит различать детектирование и подозрения.

- Откуда данные, что ложных срабатываний 1% ? В статье лишь туманно сказано: "здесь не учитываются ложные срабатывания." Смысл не ясен.
- Ошибки остались - орфографические и стилистические.

[quote=Alexey P.]Я выше писал о разнице между подозрением и точным детектом - это наличие лечения.[/quote]Да, разница есть. Но лучше уж иметь 10 подозрений из которых пусть 8 буде реальными, чем 5 точных детектов с лечением.

[quote=Alexey P.]В таком случае Fortinet, у которого чуть ли не каждый второй файл suspicious, был бы чемпионом. В Вашем сравнении его успешно заменил антивир.
Антивир вполне неплохой антивирус, но на первое место однозначно не тянет - Вас эта мысль не смущает при оценке результатов?[/quote]А я первое место не определял и "призы" не раздавал. Есть группа лидеров. Вы не согласны, что AntiVir "тянет" на "одного из лучших" в рамках протестированных?
В любом случае, нет такого "чемпиона". Никакой антивирус и [B]близко[/B] не определяет всех вредоносных программ.

[quote=Alexey P.]Вот для приближения к истинной картине как раз и стоит различать детектирование и подозрения. [/quote]Это смотря как приоритеты расставить. Например мне не нравится [URL="http://www.av-comparatives.org/"][COLOR=#800080]av-comparatives.org[/COLOR][/URL] тем, что они все вирусы распаковывают.

[quote=Alexey P.]Откуда данные, что ложных срабатываний 1% ? В статье лишь туманно сказано: "здесь не учитываются ложные срабатывания." Смысл не ясен.[/quote]Там ссылка на [URL="http://www.av-comparatives.org/"][COLOR=#800080]av-comparatives.org[/COLOR][/URL] . Я просто тупо взял от туда их результаты. Возможно не очень удачно. Поправьте если что.

[quote=Alexey P.]- Ошибки остались - орфографические и стилистические.[/quote]С большего исправлено. Остальное меня мало беспокоит. Я статью ради смысла писал. Так сказать, Вам шашечки или ехать?

[QUOTE=Enotus]Да, разница есть. Но лучше уж иметь 10 подозрений из которых пусть 8 буде реальными, чем 5 точных детектов с лечением.
[/QUOTE]
это вы зараженному пользователю объясните. который удалит 2 здоровых файла, из-за выданных на них подозрений, и у него после этого криво будет работать система.
одни только подозрения не удаляют вирус, который к тому же продолжает без лечение плодится и множиться, портя и уничтожая новые и новые файлы.

[QUOTE=Enotus]
А я первое место не определял и "призы" не раздавал. Есть группа лидеров. Вы не согласны, что AntiVir "тянет" на "одного из лучших" в рамках протестированных?
[/QUOTE]
нет

[QUOTE=Enotus]
В любом случае, нет такого "чемпиона". Никакой антивирус и [B]близко[/B] не определяет всех вредоносных программ.
[/QUOTE]
есть 5-6 лидеров, вот их и нужно выделять.

[QUOTE=Enotus]
Это смотря как приоритеты расставить. Например мне не нравится [URL="http://www.av-comparatives.org/"][COLOR=#800080]av-comparatives.org[/COLOR][/URL] тем, что они все вирусы распаковывают.
[/QUOTE]
да, это бред. в рельной жизни такого не бывает

[QUOTE=Enotus]
С большего исправлено. Остальное меня мало беспокоит. Я статью ради смысла писал. Так сказать, Вам шашечки или ехать?[/QUOTE]
пока разглядывешь кривые шашечки начинаешь думать о том, что возможно у водителя не только в рисовании шашечек руки кривые, и ехать с ним уже никуда не хочется.

[QUOTE]это вы зараженному пользователю объясните.[/QUOTE]Вы не ответили. По Вашему ответу следует, что для Вас лучше иметь 3 вируса, о которых совершенно не подозреваешь? Которые "продолжает без лечение плодится и множиться, портя и уничтожая новые и новые файлы"?

[QUOTE]который удалит 2 здоровых файла, из-за выданных на них подозрений, и у него после этого криво будет работать система.[/QUOTE]Там возможны варианты. Не надо сразу брать крайние.

[QUOTE]пока разглядывешь кривые шашечки начинаешь думать о том, что возможно у водителя не только в рисовании шашечек руки кривые, и ехать с ним уже никуда не хочется.[/QUOTE]Ваш ход "думанья" не совпадает с большинстом. Встречают по одежке, а провожают по уму.
Ещё раз, всё можно отредактировать, только времени на это я тратить не хочу. Это мне не нужно.

Enotus, не обижайтесь, но из-за указанных недоработок пока что получилось, что "гора родила мышь".
Исходная Ваша мысль использовать результаты jotti безусловно интересна, но полученные результаты Вы обработали довольно поверхностно (что не так - я писал выше). Потому вряд ли кто по достоинству оценит Ваш труд. А жаль. Доделать ведь осталось не так много, как я понимаю. И получится действительно интересная и полезная статья.

ЗЫ: По поводу выводов о распространенности образцов - я думаю, что это лишь статистика поступления образцов на jotti, с реальной картиной распространенности она довольно мало связана. Вряд ли правильно в статье прямо указывать, что это - распространенность образцов "в лесу".
Я бы предложил ту часть статьи, где идет речь о распространенности, переписать как Вашу оценку состава коллекции, по которой идет сравнение - это было бы уместно и вполне корректно.
ЗЗЫ: По поводу ошибок - их уже осталось немного, но в глаза все же бросаются. Если есть сложности - напишите мне в личку, я помогу.

Спор о том, что лучше - детектирование или эвристика, уже решен реальной практикой антивирусов. Чувствительная эвристика из-за неизбежных (пока ?) ложных срабатываний очень серьезно портит мнение об антивирусе, особенно в основном (по деньгам) корпоративном секторе. Плюс существенно, имхо, увеличивает нагрузку на саппорт/
аналитиков, что дальше ухудшает ситуацию. Потому введение эвристики в релизы антивирусы проводят очень осторожно, а эксперименты на пользователях могут себе позволить лишь бесплатные антивирусы (они не особо обременены саппортом - халява, сэр).
Делают они это не от хорошей жизни - обработать поток заразы не могут, потому и пытаются скомпенсировать это эвристикой. Но это, как я уже написал, не очень хороший вариант.

И последнее - 1% ложных срабатываний взят явно с потолка, потому вряд ли стоит это как-то упоминать в статье. Образцов с jotti, как я понимаю, у Вас нет, и оценить, сколько там ложных или неработоспособных, нереально.

[QUOTE=Enotus]Ещё раз, всё можно отредактировать, только времени на это я тратить не хочу. Это мне не нужно.[/QUOTE]
ну вот так бы сразу и сказали, а то чего голову людям морочить - не нужно так не нужно

[quote=Alexey P.]Enotus, не обижайтесь, но из-за указанных недоработок пока что получилось, что "гора родила мышь".
Исходная Ваша мысль использовать результаты jotti безусловно интересна, но полученные результаты Вы обработали довольно поверхностно (что не так - я писал выше). Потому вряд ли кто по достоинству оценит Ваш труд. А жаль. Доделать ведь осталось не так много, как я понимаю. И получится действительно интересная и полезная статья.[/quote]На сколько я понял, Вы считаете весьма полезным добавить разбивку по эвристике?
Хорошо. Я перепишу скрипт и через неделю что-то будет по новой статистике. Стилистические ошибки, если замечу при дописывании, исправлю. Если Вы укажете конкретные фразы - так же исправлю.

[quote=MOCT]ну[B] вот так бы сразу и сказали[/B], а то чего голову людям морочить - не нужно так не нужно[/quote]Я это сразу и сказал. см. "С большего исправлено. Остальное меня мало беспокоит."

[QUOTE=Enotus]На сколько я понял, Вы считаете весьма полезным добавить разбивку по эвристике?
Хорошо. Я перепишу скрипт и через неделю что-то будет по новой статистике. Стилистические ошибки, если замечу при дописывании, исправлю. Если Вы укажете конкретные фразы - так же исправлю.[/QUOTE]
Ок. Можно примерно так, как сделано у Shu_b - у каждого антивируса в диаграмме детекты и подозрения выделены разным цветом, например:
[url]http://www.virusinfo.info/showpost.php?p=77612&postcount=51[/url]
Думаю, можно у него попросить и скрипт, которым парсит результаты.