Исследование антивирусов с помощью virusscan.jotti.org

Наверное будут интересны некоторые промежуточные результаты аналогичного тестирования.

[url]http://enotus.at.tut.by/Articles/AVtest/index.html[/url]
Кратко об тестировании антивирусов и тестирование по данным virusscan.jotti.org.

Да, идея интересная.
Ошибки бы исправить, орфографические.

Всё будет, но потом.

[B]Enotus[/B],
Те выводы которые я сделал для себя путём периодических заходов на jotty, Вы подтвердили таблицей, спасибо.:)
Результаты, по-моему, намного ближе к живой истине, чем у клименти и т.п., хотя понятно, что есть и в этой методике пробелы.

Неплохо бы статистику за месяц посмотреть.
Впрочем, не думаю, что она будет очень сильно отличаться.

[quote=WaterFish][B]Enotus[/B],
хотя понятно, что есть и в этой методике пробелы.
[/quote]А что за пробелы? Я кроме "высылаемые посетителсями файлы не обязательно отражают реальную картину", "не учитываются ложные срабатывания" и неполного списка антивирусов - особо ничего не вижу.

Обычно туда посылают вирусы, которые не находятся установленным антивирусом, что по идее должно снижать показатели распространенных АВ.

Окончательная версия закончена. Всё осталось кратко.

[quote=Phoenix]Обычно туда посылают вирусы, которые не находятся установленным антивирусом, что по идее должно снижать показатели распространенных АВ.[/quote]Думал. Сравнивал статистику. Ничего не нашёл ни за эту теорию, ни против. Вопрос о адекватности посылаемых вирусов общей распространённости остался открытым.
Но отставание "хвалёного" NOD32 уж слишком большое. Группа лидеров налицо.

Год назад я проводил аналогичные подсчеты результатов с virusscan.jotti.org. Тогда пятерка лидиров выглядела иначе:
1. KAV
2. Dr.Web
3. NOD32/VBA32
4. BitDefender

[QUOTE=Enotus]Окончательная версия закончена. Всё осталось кратко.
[/QUOTE]
Имхо, главный недостаток - Вы не отделяете подозрительные файлы от точных детектов, как это делает Shu_b в местном "Исследовании..". В результате простое фиксирование факта использования упаковщика либо криптера Antivir-om идет в зачёт как полноценное детектирование ( подразумевающее наличие лечения). Тем более что подавляющая часть ложных срабатываний как раз и находится среди подозрительных.
Одно это, имхо, сводит почти на нет ценность такого анализа. Если исправить - получится очень интересная вещь. Пожалуй, это будет в самом деле единственное [U]действительно[/U] независимое исследование с реальными, не дутыми, результатами :).

[quote=Alexey P.]Имхо, главный недостаток - Вы не отделяете подозрительные файлы от точных детектов, как это делает Shu_b в местном "Исследовании..". В результате простое фиксирование факта использования упаковщика либо криптера Antivir-om идет в зачёт как полноценное детектирование ( подразумевающее наличие лечения). Тем более что подавляющая часть ложных срабатываний как раз и находится среди подозрительных.
Одно это, имхо, сводит почти на нет ценность такого анализа.[/quote]В статье отмечено, что а)степень ложных срабатываний мизерна (порядка процента) б)есть диаграмма с количеством уникальных "детектов" из которых только часть - ложные в)общую картину это НЕ меняет.
Т.е. "ценность такого анализа" от ложных срабатываний уменьшается весьма мало.

- Ну да, конечно.
Ценность антивируса снижает, а теста нет. Так не бывает.
Я выше писал о разнице между подозрением и точным детектом - это наличие лечения. В таком случае Fortinet, у которого чуть ли не каждый второй файл suspicious, был бы чемпионом. В Вашем сравнении его успешно заменил антивир.
Антивир вполне неплохой антивирус, но на первое место однозначно не тянет - Вас эта мысль не смущает при оценке результатов ? Вот для приближения к истинной картине как раз и стоит различать детектирование и подозрения.

- Откуда данные, что ложных срабатываний 1% ? В статье лишь туманно сказано: "здесь не учитываются ложные срабатывания." Смысл не ясен.
- Ошибки остались - орфографические и стилистические.

[quote=Alexey P.]Я выше писал о разнице между подозрением и точным детектом - это наличие лечения.[/quote]Да, разница есть. Но лучше уж иметь 10 подозрений из которых пусть 8 буде реальными, чем 5 точных детектов с лечением.

[quote=Alexey P.]В таком случае Fortinet, у которого чуть ли не каждый второй файл suspicious, был бы чемпионом. В Вашем сравнении его успешно заменил антивир.
Антивир вполне неплохой антивирус, но на первое место однозначно не тянет - Вас эта мысль не смущает при оценке результатов?[/quote]А я первое место не определял и "призы" не раздавал. Есть группа лидеров. Вы не согласны, что AntiVir "тянет" на "одного из лучших" в рамках протестированных?
В любом случае, нет такого "чемпиона". Никакой антивирус и [B]близко[/B] не определяет всех вредоносных программ.

[quote=Alexey P.]Вот для приближения к истинной картине как раз и стоит различать детектирование и подозрения. [/quote]Это смотря как приоритеты расставить. Например мне не нравится [URL="http://www.av-comparatives.org/"][COLOR=#800080]av-comparatives.org[/COLOR][/URL] тем, что они все вирусы распаковывают.

[quote=Alexey P.]Откуда данные, что ложных срабатываний 1% ? В статье лишь туманно сказано: "здесь не учитываются ложные срабатывания." Смысл не ясен.[/quote]Там ссылка на [URL="http://www.av-comparatives.org/"][COLOR=#800080]av-comparatives.org[/COLOR][/URL] . Я просто тупо взял от туда их результаты. Возможно не очень удачно. Поправьте если что.

[quote=Alexey P.]- Ошибки остались - орфографические и стилистические.[/quote]С большего исправлено. Остальное меня мало беспокоит. Я статью ради смысла писал. Так сказать, Вам шашечки или ехать?

[QUOTE=Enotus]Да, разница есть. Но лучше уж иметь 10 подозрений из которых пусть 8 буде реальными, чем 5 точных детектов с лечением.
[/QUOTE]
это вы зараженному пользователю объясните. который удалит 2 здоровых файла, из-за выданных на них подозрений, и у него после этого криво будет работать система.
одни только подозрения не удаляют вирус, который к тому же продолжает без лечение плодится и множиться, портя и уничтожая новые и новые файлы.

[QUOTE=Enotus]
А я первое место не определял и "призы" не раздавал. Есть группа лидеров. Вы не согласны, что AntiVir "тянет" на "одного из лучших" в рамках протестированных?
[/QUOTE]
нет

[QUOTE=Enotus]
В любом случае, нет такого "чемпиона". Никакой антивирус и [B]близко[/B] не определяет всех вредоносных программ.
[/QUOTE]
есть 5-6 лидеров, вот их и нужно выделять.

[QUOTE=Enotus]
Это смотря как приоритеты расставить. Например мне не нравится [URL="http://www.av-comparatives.org/"][COLOR=#800080]av-comparatives.org[/COLOR][/URL] тем, что они все вирусы распаковывают.
[/QUOTE]
да, это бред. в рельной жизни такого не бывает

[QUOTE=Enotus]
С большего исправлено. Остальное меня мало беспокоит. Я статью ради смысла писал. Так сказать, Вам шашечки или ехать?[/QUOTE]
пока разглядывешь кривые шашечки начинаешь думать о том, что возможно у водителя не только в рисовании шашечек руки кривые, и ехать с ним уже никуда не хочется.

[QUOTE]это вы зараженному пользователю объясните.[/QUOTE]Вы не ответили. По Вашему ответу следует, что для Вас лучше иметь 3 вируса, о которых совершенно не подозреваешь? Которые "продолжает без лечение плодится и множиться, портя и уничтожая новые и новые файлы"?

[QUOTE]который удалит 2 здоровых файла, из-за выданных на них подозрений, и у него после этого криво будет работать система.[/QUOTE]Там возможны варианты. Не надо сразу брать крайние.

[QUOTE]пока разглядывешь кривые шашечки начинаешь думать о том, что возможно у водителя не только в рисовании шашечек руки кривые, и ехать с ним уже никуда не хочется.[/QUOTE]Ваш ход "думанья" не совпадает с большинстом. Встречают по одежке, а провожают по уму.
Ещё раз, всё можно отредактировать, только времени на это я тратить не хочу. Это мне не нужно.

Enotus, не обижайтесь, но из-за указанных недоработок пока что получилось, что "гора родила мышь".
Исходная Ваша мысль использовать результаты jotti безусловно интересна, но полученные результаты Вы обработали довольно поверхностно (что не так - я писал выше). Потому вряд ли кто по достоинству оценит Ваш труд. А жаль. Доделать ведь осталось не так много, как я понимаю. И получится действительно интересная и полезная статья.

ЗЫ: По поводу выводов о распространенности образцов - я думаю, что это лишь статистика поступления образцов на jotti, с реальной картиной распространенности она довольно мало связана. Вряд ли правильно в статье прямо указывать, что это - распространенность образцов "в лесу".
Я бы предложил ту часть статьи, где идет речь о распространенности, переписать как Вашу оценку состава коллекции, по которой идет сравнение - это было бы уместно и вполне корректно.
ЗЗЫ: По поводу ошибок - их уже осталось немного, но в глаза все же бросаются. Если есть сложности - напишите мне в личку, я помогу.

Спор о том, что лучше - детектирование или эвристика, уже решен реальной практикой антивирусов. Чувствительная эвристика из-за неизбежных (пока ?) ложных срабатываний очень серьезно портит мнение об антивирусе, особенно в основном (по деньгам) корпоративном секторе. Плюс существенно, имхо, увеличивает нагрузку на саппорт/
аналитиков, что дальше ухудшает ситуацию. Потому введение эвристики в релизы антивирусы проводят очень осторожно, а эксперименты на пользователях могут себе позволить лишь бесплатные антивирусы (они не особо обременены саппортом - халява, сэр).
Делают они это не от хорошей жизни - обработать поток заразы не могут, потому и пытаются скомпенсировать это эвристикой. Но это, как я уже написал, не очень хороший вариант.

И последнее - 1% ложных срабатываний взят явно с потолка, потому вряд ли стоит это как-то упоминать в статье. Образцов с jotti, как я понимаю, у Вас нет, и оценить, сколько там ложных или неработоспособных, нереально.

[QUOTE=Enotus]Ещё раз, всё можно отредактировать, только времени на это я тратить не хочу. Это мне не нужно.[/QUOTE]
ну вот так бы сразу и сказали, а то чего голову людям морочить - не нужно так не нужно

[quote=Alexey P.]Enotus, не обижайтесь, но из-за указанных недоработок пока что получилось, что "гора родила мышь".
Исходная Ваша мысль использовать результаты jotti безусловно интересна, но полученные результаты Вы обработали довольно поверхностно (что не так - я писал выше). Потому вряд ли кто по достоинству оценит Ваш труд. А жаль. Доделать ведь осталось не так много, как я понимаю. И получится действительно интересная и полезная статья.[/quote]На сколько я понял, Вы считаете весьма полезным добавить разбивку по эвристике?
Хорошо. Я перепишу скрипт и через неделю что-то будет по новой статистике. Стилистические ошибки, если замечу при дописывании, исправлю. Если Вы укажете конкретные фразы - так же исправлю.

[quote=MOCT]ну[B] вот так бы сразу и сказали[/B], а то чего голову людям морочить - не нужно так не нужно[/quote]Я это сразу и сказал. см. "С большего исправлено. Остальное меня мало беспокоит."

[QUOTE=Enotus]На сколько я понял, Вы считаете весьма полезным добавить разбивку по эвристике?
Хорошо. Я перепишу скрипт и через неделю что-то будет по новой статистике. Стилистические ошибки, если замечу при дописывании, исправлю. Если Вы укажете конкретные фразы - так же исправлю.[/QUOTE]
Ок. Можно примерно так, как сделано у Shu_b - у каждого антивируса в диаграмме детекты и подозрения выделены разным цветом, например:
[url]http://www.virusinfo.info/showpost.php?p=77612&postcount=51[/url]
Думаю, можно у него попросить и скрипт, которым парсит результаты.

[quote=Alexey P.]Ок. Можно примерно так, как сделано у Shu_b - у каждого антивируса в диаграмме детекты и подозрения выделены разным цветом, например:
[URL="http://www.virusinfo.info/showpost.php?p=77612&postcount=51"]http://www.virusinfo.info/showpost.php?p=77612&postcount=51[/URL]
Думаю, можно у него попросить и скрипт, которым парсит результаты.[/quote]Возникли некоторые предполагаемые трудности. Как определить "подозрение" у разных антивирусов по выдаваемому ими результату?
Просмотрев предварительные результаты в явных случая всё понятно. А вот остальные...

[PHP]
#AVG Antivirus - unknown virus
#AntiVir - Heuristic
#ArcaVir- Heur
#Avast - ?
#BitDefender - BehavesLike
#ClamAV - ?
#Dr.Web - modification;?
#F-Prot Antivirus - unknown virus;Possibly a new variant;New or modified variant;
#Fortinet - PossibleThreat
#Kaspersky Anti-Virus - modification;probably;?
#NOD32 - a variant;probably a variant;probably unknown
#Norman Virus Control - Sandbox;Suspicious
#UNA - ?
#VBA32 - paranoid heuristics;Unknown
#VirusBuster - ?
[/PHP]
Вопросиком обозначено наличие вопроса, как определить для данного антивируса по результатам подозрение.

[QUOTE=Alexey P.] Думаю, можно у него попросить и скрипт, которым парсит результаты.[/QUOTE] :) Нет, заносится всё в ручную.

По поводу сообшений эвристики...
Для DrWeb, наверное уже неполный:
[quote]Новое в версии 4.33:

Поисковый модуль:

* новый эвристический анализатор, который позволяет обнаруживать
новые модификации вирусов, следующих типов:
DLOADER (Trojan.DownLoader.xxx), MULDROP (Trojan.MulDrop.xxx),
STPAGE (Trojan.StartPage), BACKDOOR (BackDoor.xxx),
PWS (Trojan.PWS.xxx), WORM and MAIL.WORM (e-mail worms).
Возможные комбинации:
(DLOADER|MULDROP|STPAGE)(.IRC)(.PWS).Trojan
BACKDOOR(.IRC)(.PWS).Trojan
WIN.(.IRC)(.PWS)(.MAIL).WORM.Virus[/quote]
add
UNA - вероятная работа эвристика - Win32.CRYPT.virus, VirTool.Win32.LdPinch

Что касается UNA:

[quote=Shu_b]UNA - вероятная работа эвристика - Win32.CRYPT.virus, VirTool.Win32.LdPinch[/quote]

VirTool.Win32.LdPinch - это запись, не эвристика.
По логам эвристика отличается очень легко: вместо [B]infected[/B] перед именем вируса пишется [B]suspicious[/B]. Если же ориентироваться только по имени, то обычно эвристические срабатывания имеют вид:
1) Для Win32 (PE) файлов:
[I][B]Win32.TSR.virus, Win32.HLLx.virus, Win32.CRYPT.virus, Win32.virus, I-Worm.Win32.virus, I-Worm.Win32.TSR.virus, Trojan.Win32, Trojan.Win32.PSW[/B][/I] (сравнивать только полные совпадения строк, если например будет [I][B]Trojan.Win32.VB[/B][/I] - то это уже запись).
2) Для COM/EXE файлов (DOS):
[I][B][префикс].virus[/B][/I], где [B][I]префикс[/I][/B] может состоять из следующих сочетаний, разделённых через точку: [B][I]COM, EXE, HLLx, TSR, BOOT, CRYPT[/I][/B].
Например: [B]COM.TSR.CRYPT.virus[/B].
3) Для макросов различных документов: [B]MACRO.virus[/B].
4) Для скриптов:
[B][I][префикс].virus[/I][/B], где [B][I]префикс[/I][/B] может состоять из следующих сочетаний, разделённых через точку: [B][I]I-Worm, BAT, VBS, JS[/I][/B].
Например: [B]I-Worm.VBS.virus[/B], или [B]BAT.virus[/B].

Вот так всё непросто, лучше уж по логам смотреть на сообщение [B]suspicious[/B].

По логам, конечно, лучше. Но в наличии есть только выжимка, сделанная скриптом Jotti.

у каспа это если в строке есть Type_
а типов там уже дофига

у нода есть еще new Heur PE?!

AntiVir HEUR/
Norman W32/Malware
VBA suspected

У Dr.Web вообще-то главное ключевое слово "probably". Но выдаёт ли его Jotti на-гора, я не в курсе.

[QUOTE=Sanja]
у нода есть еще new Heur PE?![/QUOTE]
probably unknown NewHeur_PE virus

Угу, спасибо.

Спасибо за помощь. Правда до конца всё определить не удалось.
[PHP]#AVG Antivirus - unknown virus;
#AntiVir - Heuristic/*;
#ArcaVir- Heur.*;
#Avast - *:Malware;*-gen.*;
#BitDefender - BehavesLike*;
#ClamAV - ?
#Dr.Web - BACKDOOR.*;DLOADER.*;MULDROP.*;STPAGE.*;*.Virus;*.based;modification*;
#F-Prot Antivirus - unknown virus;Possibly a new variant*;New or modified variant*;destructive program;security risk or a "backdoor" program;virus dropper;virus construction tool;
#Fortinet - PossibleThreat*;*NewThreat*;?
#Kaspersky Anti-Virus - Type_*;?
#NOD32 - a variant*;probably a variant*;probably unknown*;
#Norman Virus Control - Sandbox:*;*Suspicious*;
#UNA - ?
#VBA32 - *(paranoid heuristics);Unknown.*;
#VirusBuster - ?[/PHP]

[QUOTE=Enotus]Спасибо за помощь. Правда до конца всё определить не удалось.
#Dr.Web - *.based;
[/QUOTE]
Нет, *.based - это уже точный диагноз, я как-то уточнял - аналитики подтвердили.

[quote=Alexey P.]Нет, *.based - это уже точный диагноз, я как-то уточнял - аналитики подтвердили.[/quote]Ок.
А для VBA32 - *(paranoid heuristics) тоже похоже на точный диагноз?

[QUOTE=Enotus]Ок.
А для VBA32 - *(paranoid heuristics) тоже похоже на точный диагноз?[/QUOTE]

Нет это не точный диагноз.;)

[quote=Синауридзе Александр]Нет это не точный диагноз.;)[/quote]А [COLOR=#ff8000]"NOD32 - a variant*" ?[/COLOR]

Тоже эвристика (как и у VBA paranoid в предыдущем вопросе).