Комплексный сравнительный анализ антиSpyWare - подбор "кандидатов" и выбор методик

[Зайцев Олег]

Олег потестируй пожалуйста Web`a, интересно насколько эффективен сканер с "довеском". Сам сканер - ftp://ftp.drweb.com/pub/drweb/cureit/drweb-cureit.exe

Результаты тестов (перед тестом я вытащил WEb-а из самараспаковывающегося архива и добавил к нему расширенны базы). Из 4528 зверей он поймал 3244 зверя и пропустил 1284. При этом я установил параметры лечения по максимуму (проверять все файл, макс. эвристика и т.п.) и выполнил два прогрона - в одном случае с опцией "лечить", в другом - "удалять" + для лога выполнил "удалять неизлечимые" - в результате контрольное сканирование дало чистый протокол.
Вот промахи:
AdvWare 368
Adware 0
Backdoor 63
Constructor 0
Dialer 268
Downloader 0
Email-Flooder 0
Email-Worm 3
Exploit 5
HackTool 1
Hoax 0
IM-Worm 0
Net-Worm 1
P2P-Worm 1
Porn-Dialer 2
Porn-Downloader 0
PornWare 0
PSWTool 0
RiskWare 2
Spy 215
Trojan 30
Trojan-Clicker 20
Trojan-Downloader 159
Trojan-Dropper 9
Trojan-Proxy 4
Trojan-PSW 6
Trojan-Spy 123
Virus 3
Worm 1
Общее число файлов: 1284
Т.е. AdWare/SpyWare он ловит, но не очень-то хорошо. Плюс много промахов по BackDoor и TrojanDownloader, Web прозевал много Trojan-Spy.
Из плюсов - сканирование идет шутро, для примера предыдущий подопытный SpyPry работал раза в три дольше с нулевым результатом(но зато у SpyPry мужик в полный рост с пистолетом на главной форме нарисован, а у Web такого нету )
А в общем впечатление осталось приятное - 4.5 МБ вместе с базами, работает без инсталляции - это хорошо.

[Shu_b]

... проверять все файл, макс. эвристика и т.п. ...

Я конечно извиняюсь, но в сканере нет уровня эвристика, просто галочка есть - эвристический анализ...
И по функциональным ограничениям он не может проверять все файлы - архивы и почтовые не проверяются.

[Зайцев Олег]

Я конечно извиняюсь, но в сканере нет уровня эвристика, просто галочка есть - эвристический анализ...
И по функциональным ограничениям он не может проверять все файлы - архивы и почтовые не проверяются.

1. В тестовых примерах нет архивов и почтовых баз ... - это учтено, т.к. многие антиспайверы не умеют их проверять за ненадобностью
2. Под "максимумом эвристики" я понимаю то, что все связанные с анализом чего-либо доступные в данной версии птички включены ("Эвристический анализ" = вкючен, "Проверять файлы автозагрузки" = включен, "Проверять память" = включен), Типы файлов = "Все файлы", "упакованные файлы" = включен. Просто я именую это термином "максимумом эвристики", чтобы он подходил бы ко всем тестируемым продуктам (если где-то был регулятор вместо переключателя, я его выкручивал на максимум). Прочто DrWeb меня удивил чисто булевой регулировкой - обычно когда речь идет об эвристике есть некий "коэффициент похожести", и тогда регулировкой порога можно найти приемлемый баланс между ложными срабатываниями и диагностикой новых "зверей" ... аналогично с проверками - допустим одна проверка очень надежная и хорошая, другая - экзотическая и часто дает ложняки - в зависимости от уровня эти проверки проводятся или не проводятся ...
кстати, раз уже зашла речь - на непойманных зверей эвристик не сработал - т.е. не было предупредлений, подозрений - как будто его и нету ....

[azza]

Зайцев Олег
А CHM-файлы в твоей базе есть? Если да, то сколько и какой процент из них Доктор не определяет?

[Geser]

Я конечно извиняюсь, но в сканере нет уровня эвристика, просто галочка есть - эвристический анализ...

Галочка есть, а эвристического анализа нет
Т.е. он есть, но в основном на файловые вирусы, которых 0.001% среди всего зверья которое бродит на свободе.

[Зайцев Олег]

Зайцев Олег
А CHM-файлы в твоей базе есть? Если да, то сколько и какой процент из них Доктор не определяет?

есть, но немного - 22 штуки ... я старался извлекать вредоносные exe из файлов chm ... - но для пробы я отобрал 22 штуки наиболее распространенных зверей в chm формате. 15 из них - это Trojan-Downloader, 1 - вирус, 5 - разные адвари типа Spy.WinAd, 1-троян Win32.Small.bb

[RiC]

Результаты тестов (перед тестом я вытащил WEb-а из самараспаковывающегося архива и добавил к нему расширенны базы). Из 4528 зверей он поймал 3244 зверя и пропустил 1284. При этом я установил параметры лечения по максимуму (проверять все файл, макс. эвристика и т.п.) и выполнил два прогрона - в одном случае с опцией "лечить", в другом - "удалять" + для лога выполнил "удалять неизлечимые" - в результате контрольное сканирование дало чистый протокол.
А в общем впечатление осталось приятное - 4.5 МБ вместе с базами, работает без инсталляции - это хорошо.

Спасибо за тест, единственно пока это Betta и к релизу может наберут "коллекцию" побогаче (а может поможешь ... ). С эвристиком действительно борода, хотя он иногда срабатывает говоря не Possible а сразу Infected без вариантов - к примеру свежайший червь Everg4 (у касперского Everg.d кажется) Веб определяет как предыдущий - Everg.3 Хотя может сигнатура подошла.

[HATTIFNATTOR]

Version currently in testing:

ZoneAlarm Security Suite 6.0.591.002 (Beta Version)

ZoneAlarm Pro 6.0.591.002 (Beta Version)

What's New
...
Anti-spyware (detection and prevention) - все же антиспайварные базы включили в состав, - может проверить?

http://download.zonelabs.com/bin/free/beta/

[Зайцев Олег]

Спасибо за тест, единственно пока это Betta и к релизу может наберут "коллекцию" побогаче (а может поможешь ... ) .

DrWeb пока не обращались - если обратятся, поговорим... у них пока только сигнатурный сканер - теоретически с методологической точки зрения им нужен еще аналог микропрограмм эвристики и лечения а-ля как у меня в AVZ

[pig]

Прочто DrWeb меня удивил чисто булевой регулировкой - обычно когда речь идет об эвристике есть некий "коэффициент похожести", и тогда регулировкой порога можно найти приемлемый баланс между ложными срабатываниями и диагностикой новых "зверей" ... аналогично с проверками - допустим одна проверка очень надежная и хорошая, другая - экзотическая и часто дает ложняки - в зависимости от уровня эти проверки проводятся или не проводятся ...

Когда-то, ещё в DOS-16 версиях, было два или три уровня. Убрали, по-моему, при переходе к четвёртой версии.

С эвристиком действительно борода, хотя он иногда срабатывает говоря не Possible а сразу Infected без вариантов - к примеру свежайший червь Everg4 (у касперского Everg.d кажется) Веб определяет как предыдущий - Everg.3 Хотя может сигнатура подошла.

Если не "Probably", то это не эвристик. В примере наверняка подошла сигнатура.

[Shu_b]

1. В тестовых примерах нет архивов и почтовых баз ... - это учтено ...
2. Под "максимумом эвристики" я понимаю то, что ...

спасибо за развёрнутый ответ, и за тест тоже.

кстати, раз уже зашла речь - на непойманных зверей эвристик не сработал - т.е. не было предупредлений, подозрений - как будто его и нету ....

Geser неплохо перефразировал да и его неработоспособность горячо обсуждалась на ком форуме вэба.

[SDA]

Олег поддерживаю HATTIFNATTOR, может протестируешь ZoneAlarm, хотя это бэта и пока судя по откликам сильно глючная, но интересно проверить на спайваре, выйдет нормальный релиз Anti-spyware на Зине не помешает.

[Зайцев Олег]

Олег поддерживаю HATTIFNATTOR, может протестируешь ZoneAlarm, хотя это бэта и пока судя по откликам сильно глючная, но интересно проверить на спайваре, выйдет нормальный релиз Anti-spyware на Зине не помешает.

Он большой, зараза - 22 МБ. Но ладно, для полноты картины можно и его проверить. Так вот, значит - результаты:
1. 32 МБ на диске, после установки требуется перезагрузка. Перед перезагрузкой вызывается визард, задающий ряд вопросов о назначении ПК и уровне защиты
2. Сканирует медленно ... В базах у него явный бардак - многия явные AdWare значатся как трояны ... Очень много опасных зверей он не видит.
3. Из предложенной выборки на 4528 зверей он обнаружил 1035 (22.8%) и пропустил соотвественно 3493 ... Т.е. тот-же DrWeb несопоставимо лучше ловит разное зверье.
Вот список промахов:
AdvWare 1013
Adware 0
Backdoor 295
Constructor 1
Dialer 454
Downloader 1
Email-Flooder 1
Email-Worm 9
Exploit 4
HackTool 2
Hoax 1
IM-Worm 2
Net-Worm 2
P2P-Worm 2
Porn-Dialer 2
Porn-Downloader 1
PornWare 1
PSWTool 1
RiskWare 3
Spy 403
Trojan 150
Trojan-Clicker 62
Trojan-Downloader 616
Trojan-Dropper 54
Trojan-Proxy 20
Trojan-PSW 28
Trojan-Spy 360
Virus 4
Worm 1
Общее число файлов: 3493

Т.е. насчет его применения как AntiSpyWare я так и не понял шутки юмора - из 1203 AdWare от нашел 190 штук (около 15%), из 468 Dialer он нашел 14 штук (3%) ... Как говориться, без комментариев

[Geser]

Я думаю в общем и целом можно сказать так. Никакой антиспай не сравнится с хорошим антивирусом. Если стоит хороший антивирус, то антиспай в общем то и не нужен.

P.S. В свете всех проделанных тестов, думаю, нужно выкинуть adaware из правил.

[Зайцев Олег]

Я думаю в общем и целом можно сказать так. Никакой антиспай не сравнится с хорошим антивирусом. Если стоит хороший антивирус, то антиспай в общем то и не нужен.

P.S. В свете всех проделанных тестов, думаю, нужно выкинуть adaware из правил.

Ну, по сути да ... но есть несколько моментов (я напишу сегодя на обеде резюме) - у анитиврей зачастую нет эвтистической проверки системы (типа анализа реестра и т.п.) и соответсвенно зачистки системы как таковой тоже нету ... Но это отдельый момент - а так конечно, общая тенденция AntiSpyWare удручает ... особенно в той области, что я к примеру при охоте на SpyWare особое внимание уделяют Trojan-Downloader (иначе какой смысл лечить SpyWare, когда он через час-день появится снова ...) и троянам. Плюс тенденция поиска файлов по именам - это вообще маразм, но вероятно заразительный ...

[Geser]

у анитиврей зачастую нет эвтистической проверки системы (типа анализа реестра и т.п.)

Ну, ставить антиспай из за возможности удаления пары ключей реестра, учитывая что вероятность обнаружения большинства из них около 10%...
По моему АВЗ сегодня единственный антиспай который чего-то стоит, потому как имеет разные встроенные инструменты для обнаружения всякой гадости. Нужно бы еще антивирусы погонять по этой базе. Посмотреть как результаты.

[kps]

Олег, а можно потестировать Steganos AntiSpyware ? Интересно, насколько он эффективен.

[Зайцев Олег]

Олег, а можно потестировать Steganos AntiSpyware ? Интересно, насколько он эффективен.

Можно конечно - в понедельник в обед запущу его на тесты

[Зайцев Олег]

Steganos AntiSpyware
Версия на тестах - 7.3.2, в базе 27701 чего-то под названием fingeprint (сигнатур, описаний ... ? - не ясно)
Сканирует очень шустро, ИЗ 4528 файлов он пропустил 3474 (и поймал соответственно 1054) образца.
Вот картина по пропускам:
AdvWare 776
Adware 2
Backdoor 428
Constructor 1
Dialer 222
Downloader 1
Email-Flooder 1
Email-Worm 31
Exploit 12
HackTool 2
Hoax 1
IM-Worm 6
Net-Worm 25
P2P-Worm 3
Porn-Dialer 2
Porn-Downloader 1
PornWare 0
PSWTool 1
RiskWare 4
Spy 261
Trojan 214
Trojan-Clicker 69
Trojan-Downloader 745
Trojan-Dropper 86
Trojan-Proxy 38
Trojan-PSW 32
Trojan-Spy 485
Virus 22
Worm 3
Общее число файлов: 3474
Для мониторинга внедряет sis.dll в запущенные процессы, перехватывает CreateProcess, LoadLibraryEx и WinExec в kernel32.dll путем модификации их программного кода в памяти, что может привести к конфликтам с антивирусными мониторами.
Теперь неприятное - он ищет файлы по именам !! Вернее, наверное правильно сказать "в том числе ищет файлы по именам", но факт есть факт... Создание файла gator.exe привело к немедленной реакции - он классифицировался как Gator с предложением удалить его ... запуск процесса с именем файла gator.exe приводит к его обнаружению как spyware. Правда, в описании можно заметить в поле Fingepint Type указание на то, что найден он "сигнатурой" типа "имя файла". Вот это уже опасно, и анализ списка удаленных зверей это подтвердил - после присвоения файлам случайных имен и повторения сканирования цифры изменились на порядок:
AdvWare 1102
Adware 2
Backdoor 428
Constructor 1
Dialer 414
Downloader 1
Email-Flooder 1
Email-Worm 31
Exploit 12
HackTool 2
Hoax 1
IM-Worm 6
Net-Worm 25
P2P-Worm 3
Porn-Dialer 2
Porn-Downloader 1
PornWare 0
PSWTool 1
RiskWare 4
Spy 487
Trojan 217
Trojan-Clicker 69
Trojan-Downloader 807
Trojan-Dropper 86
Trojan-Proxy 38
Trojan-PSW 32
Trojan-Spy 485
Virus 22
Worm 3
Общее число файлов: 4283
Я не берусь утверждать наверняка, но сложилось подозрение, что он удаляет в ходе зачистки "сопуствующие" файлы, лежащие рядом с обнаруженными - по именам или еще как ... иначе объяснить столь разительное различие в цифрах очень трудно, т.к. в первом случае он сообщил о нахождении 77 категорий зверей, примерно 200 файлов - а удалил почти в 5 раз больше.
Во время работы монитора идет непрерывный шквал дисковых операций - более 10000 операций в минуту ! Т.е. для контроля за файлами тип Hosts идет непрерывный опрос содержащей его папки ...

[kps]

Теперь неприятное - он ищет файлы по именам

Спасибо за тест.
З.ы. А я уж было подумал, что это что-то стоящее