Предварительные результаты - Комплексный сравнительный анализ антиSpyWare

Ну вот, полигон подготовлен .... для теста отобрано 4500 образцов MalWare, вот статистический расклад:
AdvWare 1203
Backdoor 433
Constructor 1
Dialer 468
Downloader 1
Email-Flooder 1
Email-Worm 31
Exploit 12
HackTool 2
Hoax 1
IM-Worm 6
Net-Worm 25
P2P-Worm 3
Porn-Dialer 2
Porn-Downloader 1
PornWare 1
PSWTool 1
RiskWare 4
Spy 511
Trojan 218
Trojan-Clicker 69
Trojan-Downloader 851
Trojan-Dropper 86
Trojan-Proxy 38
Trojan-PSW 32
Trojan-Spy 500
Virus 22
Worm 3
Общее число файлов: 4526
В качестве базы образцов выступают файлы, зарегистрированные за последний квартал на ПК пользователей. Это важный момент - т.е. это не выкопанные из некоей коллекции файлы, а реальные "звери", многие пойманы в ходе "следствий", проводимых в данной конференции

Итак, первый подопытный A2. Из 4528 файлов он "прозевал" 2954 (и соответственно нашел 1574 файла). При этом в базе у него 126210 сигнатур, 7 плагинов.

---------------
Вот количественный расклад по тому, что он упустил:
AdvWare 783
Adware 0
Backdoor 239
Constructor 0
Dialer 396
Downloader 1
Email-Flooder 1
Email-Worm 12
Exploit 12
HackTool 1
Hoax 0
IM-Worm 3
Net-Worm 7
P2P-Worm 1
Porn-Dialer 0
Porn-Downloader 1
PornWare 1
PSWTool 0
RiskWare 1
Spy 365
Trojan 138
Trojan-Clicker 46
Trojan-Downloader 563
Trojan-Dropper 52
Trojan-Proxy 31
Trojan-PSW 23
Trojan-Spy 255
Virus 22
Worm 0
Общее число файлов: 2954

Общий вердикт - A2 посредственно ловит AdvWare, SpyWare и Trojan-Downloader. Причем есть закономерность - чем "старше" зверь, тем больше вероятность того, что он будет пойман A2 ... визуально плохо детектируются TrojanDownloader.Dyfuka, Wintrim, WinAd, WinTol; backdoor.HaxDoor вообще не детектирует ...
Из TrojanDownloader хуже всего детектируются
Dyfuca Femad Harnig Inor IstBar Lexup Pitux Pixar PurityScan Small Swizzor TargetSoft Tibser VB WinShow Wintrim ZombGet
Из AdWare - наибольшие проблем с семействами:
180Solutions Altnet BargainBuddy Beginto ClearSearch Comet CommonName DealHelper DigitalNames EZula F1Organizer FlashTrack Flt Gator GoWebSite
IGetNet IWon Look2Me Lop MediaBack MediaInject MetaDirect PowerScan ...

Результаты по Ad-Aware SE Personal - из 4528 он поймал 624. Тем самым он переплюнул Microsof, но поймал как минимум в два раза меньше, чем A2 ...
Вот что осталось после него ...
AdvWare 909
Adware 2
Backdoor 432
Constructor 1
Dialer 422
Downloader 1
Email-Flooder 1
Email-Worm 30
Exploit 12
HackTool 2
Hoax 1
IM-Worm 6
Net-Worm 25
P2P-Worm 3
Porn-Dialer 2
Porn-Downloader 1
PornWare 1
PSWTool 1
RiskWare 4
Spy 363
Trojan 191
Trojan-Clicker 65
Trojan-Downloader 762
Trojan-Dropper 82
Trojan-Proxy 37
Trojan-PSW 32
Trojan-Spy 491
Virus 22
Worm 3
Общее число файлов: 3904

Анализ показывает, что ловит он все понемногу ...
К примеру, NewDotNet от выбивает начисто, все разновидности ... при этом Look2me - почти не видит. Кроме того, много пропусков по следующим AdWare: AdultIt AdURL Altnet Look2Me MagicControl MediaTickets Midadle Minibug Naupoint NaviPromo OrbitView Quick RideMark SaveNow Searcher ShopNav Sidesearch Toolbar ToPicks WebEx WebHancer WinShow Wintol YourSiteBar Zestyfind. Очень много пропусков по SpyWare.WinAd. Еще хуже дела обстоят с TrojanDownloader - знаменитый Agent.*, который присутсвует пости на каждой зараженной машине он почти не дететирует.

[b]Spybot - Search & Destroy 1.4[/b]Установка - проходит нормально, продуманная система автоматического обновления. Умеет иммунизировать систему... поиск ведет в основном по реестру. Как файловый сканер совершенно непригоден, т.к. из 4528 файлов нашел только 72 штуки ... вот статистика по тому, что он пропустил:
AdvWare 1187
Adware 2
Backdoor 433
Constructor 1
Dialer 411
Downloader 1
Email-Flooder 1
Email-Worm 31
Exploit 12
HackTool 2
Hoax 1
IM-Worm 6
Net-Worm 25
P2P-Worm 3
Porn-Dialer 2
Porn-Downloader 1
PornWare 1
PSWTool 1
RiskWare 4
Spy 485
Trojan 212
Trojan-Clicker 69
Trojan-Downloader 844
Trojan-Dropper 86
Trojan-Proxy 38
Trojan-PSW 32
Trojan-Spy 500
Virus 22
Worm 3
Общее число файлов: 4416

PestPatrol Corporate Edition прошел тесты. Несомненный его плюс - корпоративность, т.е. возможность для одного админа обрабатывать несколько ПК. Из минусов - требует для установки .NET технологию, т.е. к размеру его дистрибуции в 13 мб нужно еще прибавить 23 МБ для .NET
Неплохо ловит зверей, он изловил 354 разновидностей, 716 файлов. Вот расклад по промахам:
AdvWare 973
Adware 2
Backdoor 337
Constructor 1
Dialer 461
Downloader 1
Email-Flooder 0
Email-Worm 30
Exploit 12
HackTool 2
Hoax 1
IM-Worm 6
Net-Worm 23
P2P-Worm 3
Porn-Dialer 1
Porn-Downloader 1
PornWare 1
PSWTool 0
RiskWare 4
Spy 409
Trojan 200
Trojan-Clicker 64
Trojan-Downloader 727
Trojan-Dropper 82
Trojan-Proxy 38
Trojan-PSW 30
Trojan-Spy 378
Virus 22
Worm 3
Общее число файлов: 3812
Общий вердикт - он обогнал Ad-Aware и Microsoft, но проигрывает A2

[b]McAfee AntiSpyware[/b]
Размер дистрибутива - 7 Мб, стоит 30$
Из 4528 образцов "прозевал" 4415, т.е. нашел он только 113 файлов.
Расклад по промахам:
AdvWare 1151
Adware 2
Backdoor 433
Constructor 1
Dialer 448
Downloader 1
Email-Flooder 1
Email-Worm 31
Exploit 12
HackTool 2
Hoax 1
IM-Worm 6
Net-Worm 25
P2P-Worm 3
Porn-Dialer 2
Porn-Downloader 1
PornWare 1
PSWTool 1
RiskWare 4
Spy 471
Trojan 218
Trojan-Clicker 69
Trojan-Downloader 850
Trojan-Dropper 86
Trojan-Proxy 38
Trojan-PSW 32
Trojan-Spy 500
Virus 22
Worm 3
Общее число файлов: 4415
Т.е. AdWare и SpyWare от почти не умеет ловить ... на порнозвонилки аналогично - реакция почти нулевая ..

[QUOTE=Novosib]Олег, а Spyware Doctor тестить будете?

[url="http://www.download.com/Spyware-Doctor/3000-8022_4-10377263.html"]http://www.download.com/Spyware-Doctor/3000-8022_4-10377263.html[/url][/QUOTE]
Уже потестил, но цифры не скажу :) Причина этого проста - он нашел около 184 объектов (посчитать точно сложно, но порядок таков - он рапортует именно эту цифру), но лечить он отказался - денег требует :)
Кстати, проблемы не только с ним - WinPatrol и SpywareBlaster не прошли тест, т.к. у них не обнаружен файловый сканер в прямом понимании этого слова.

Оттестировался Spy Sweeper
Сканирует он сравнительно быстро, но удаляет долго ...
На тестах он показал весьма неплохие результаты - из 4528 он поймал 1366 "зверей", что весьма неплохой показатель - целых 30% :) При этом он всетаки проигрывает текущему лидеру тестов A2, который изловил 1574 "зверей" (34.6%).

AdvWare 615
Adware 2
Backdoor 422
Constructor 1
Dialer 316
Downloader 0
Email-Flooder 1
Email-Worm 29
Exploit 12
HackTool 1
Hoax 0
IM-Worm 6
Net-Worm 25
P2P-Worm 3
Porn-Dialer 2
Porn-Downloader 1
PornWare 0
PSWTool 1
RiskWare 4
Spy 286
Trojan 137
Trojan-Clicker 46
Trojan-Downloader 631
Trojan-Dropper 56
Trojan-Proxy 32
Trojan-PSW 30
Trojan-Spy 479
Virus 21
Worm 3
Общее число файлов: 3162

[QUOTE=anton_dr]avast! 4 Home - Russian version (length 8.69 MB)
[url="http://files.avast.com/iavs4pro/setuprus.exe"]http://files.avast.com/iavs4pro/setuprus.exe[/url][/QUOTE]
Готово, вот результат теста - из 4528 он нашел 1635 штук. Вот пропуски:
AdvWare 933
Adware 1
[b]Backdoor 223
[/b]Constructor 1
[b]Dialer 394
[/b]Downloader 1
Email-Flooder 0
Email-Worm 8
Exploit 9
HackTool 2
Hoax 1
IM-Worm 2
Net-Worm 2
P2P-Worm 2
Porn-Dialer 2
Porn-Downloader 1
PornWare 1
PSWTool 1
RiskWare 3
Spy 347
[b]Trojan 137
[/b]Trojan-Clicker 43
[b]Trojan-Downloader 454
[/b]Trojan-Dropper 49
Trojan-Proxy 29
Trojan-PSW 19
[b]Trojan-Spy 225
[/b]Virus 2
Worm 1
Общее число файлов: 2893

[QUOTE=Novosib]А вот еще одна новая программа: SpyPry

[url="http://www.download.com/SpyPry/3000-8022_4-10404067.html?tag=lst-0-12"]http://www.download.com/SpyPry/3000-8022_4-10404067.html?tag=lst-0-12[/url][/QUOTE]
Программа прошла тесты ... и вот результат -
Программа написана на Basic. По непонятным причинам (вероятно, чтобы не раскрывать секретную технологию поиска :) ) базы размещаются в папке Windows\System32 под именами CompanyList.dll, ESignature.dll, FSignature.dll, List.dll, RSignature.dll, SKNames.dll. Несмотря на расширение "DLL" это обычные текстовые файлы, в котором данные хранятся в примитивно зашифрованном текстовом виде без намека на архивацию. При этом рапортуется, что в базе у него имеется 93585 "fingeprints".
После долгого и ожесточенного сканирования с ее помощью на тестовом ПК обнаружено 0 (число прописью - [i][b]ноль штук[/b][/i] :)) из 4528 зверей. Я так и не понял шутки юмора - тем более что он в ходе "сканирования" показывает имена "проверяемых" файлов, там мелькают имена типа unit1.dcu, main.dfm, je.asm, nmap-service ... таких файлов у меня на тестовом ПК точно нет. Понимая, что быть может он реагирует на "зверей" в случае их запуска или размещения в определенных папках я выпустил штук 20-30 разных образцов, типа IstBar, SideFind, FreeSexDownloader ... короче говоря, результаты поиска по файлам нулевые, по реестру - найдено 10 ключей (5 без повторов, типа Software\IstBar).
Уже понимая, к чему идет дело, я переименовал первый попавшийся под руку exe (кажется, это был AVZ или утилита статистики, которой я считаю кол-во найденных файлов ... - короче, типовой exe файл) в C:\Program Files\couponsandoffers\wjview.exe (такое имя есть в базах этого суперпродукта) - и он был однозначно задетектирован как "CouponsandOffers" (это на фоне примерно 5000 зверей - 4528 в коллекции, плюс около 500 разбросаны по папкам типа Windows, System32 и т.п.) - из них нет вообще подаданий !
Короче говоря, общий вывод - программа как минимум бесполезна, как максимум -опасна, т.к. ловит файлы по именам и может запросто уничтожить что-то полезное.

[QUOTE=RiC]Олег потестируй пожалуйста Web`a, интересно насколько эффективен сканер с "довеском". :) Сам сканер - [url]ftp://ftp.drweb.com/pub/drweb/cureit/drweb-cureit.exe[/url][/QUOTE]
Нет проблем - завтра в обед протестирую ...

[QUOTE=RiC]Олег потестируй пожалуйста Web`a, интересно насколько эффективен сканер с "довеском". :) Сам сканер - [url="ftp://ftp.drweb.com/pub/drweb/cureit/drweb-cureit.exe"]ftp://ftp.drweb.com/pub/drweb/cureit/drweb-cureit.exe[/url][/QUOTE]
Результаты тестов (перед тестом я вытащил WEb-а из самараспаковывающегося архива и добавил к нему расширенны базы). Из 4528 зверей он поймал 3244 зверя и пропустил 1284. При этом я установил параметры лечения по максимуму (проверять все файл, макс. эвристика и т.п.) и выполнил два прогрона - в одном случае с опцией "лечить", в другом - "удалять" + для лога выполнил "удалять неизлечимые" - в результате контрольное сканирование дало чистый протокол.
Вот промахи:
[b]AdvWare 368[/b]
Adware 0
[b]Backdoor 63[/b]
Constructor 0
Dialer 268
Downloader 0
Email-Flooder 0
[b]Email-Worm 3[/b]
Exploit 5
HackTool 1
Hoax 0
IM-Worm 0
Net-Worm 1
P2P-Worm 1
Porn-Dialer 2
Porn-Downloader 0
PornWare 0
PSWTool 0
RiskWare 2
[b]Spy 215[/b]
Trojan 30
Trojan-Clicker 20
[b]Trojan-Downloader 159[/b]
Trojan-Dropper 9
Trojan-Proxy 4
Trojan-PSW 6
[b]Trojan-Spy 123[/b]
Virus 3
Worm 1
Общее число файлов: 1284
Т.е. AdWare/SpyWare он ловит, но не очень-то хорошо. Плюс много промахов по BackDoor и TrojanDownloader, Web прозевал много Trojan-Spy.
Из плюсов - сканирование идет шутро, для примера предыдущий подопытный SpyPry работал раза в три дольше с нулевым результатом(но зато у SpyPry мужик в полный рост с пистолетом на главной форме нарисован, а у Web такого нету :))
А в общем впечатление осталось приятное - 4.5 МБ вместе с базами, работает без инсталляции - это хорошо.

[QUOTE=shu_b]Я конечно извиняюсь, но в сканере нет уровня эвристика, просто галочка есть - эвристический анализ...
И по функциональным ограничениям он не может проверять все файлы - архивы и почтовые не проверяются.[/QUOTE]
1. В тестовых примерах нет архивов и почтовых баз ... - это учтено, т.к. многие антиспайверы не умеют их проверять за ненадобностью
2. Под "максимумом эвристики" я понимаю то, что все связанные с анализом чего-либо доступные в данной версии птички включены ("Эвристический анализ" = вкючен, "Проверять файлы автозагрузки" = включен, "Проверять память" = включен), Типы файлов = "Все файлы", "упакованные файлы" = включен. Просто я именую это термином "максимумом эвристики", чтобы он подходил бы ко всем тестируемым продуктам (если где-то был регулятор вместо переключателя, я его выкручивал на максимум). Прочто DrWeb меня удивил чисто булевой регулировкой - обычно когда речь идет об эвристике есть некий "коэффициент похожести", и тогда регулировкой порога можно найти приемлемый баланс между ложными срабатываниями и диагностикой новых "зверей" ... аналогично с проверками - допустим одна проверка очень надежная и хорошая, другая - экзотическая и часто дает ложняки - в зависимости от уровня эти проверки проводятся или не проводятся ...
кстати, раз уже зашла речь - на непойманных зверей эвристик не сработал - т.е. не было предупредлений, подозрений - как будто его и нету ....

[QUOTE=SDA]Олег поддерживаю HATTIFNATTOR, может протестируешь ZoneAlarm, хотя это бэта и пока судя по откликам сильно глючная, но интересно проверить на спайваре, выйдет нормальный релиз Anti-spyware на Зине не помешает.[/QUOTE]
Он большой, зараза - 22 МБ. Но ладно, для полноты картины можно и его проверить. Так вот, значит - результаты:
1. 32 МБ на диске, после установки требуется перезагрузка. Перед перезагрузкой вызывается визард, задающий ряд вопросов о назначении ПК и уровне защиты
2. Сканирует медленно ... В базах у него явный бардак - многия явные AdWare значатся как трояны ... Очень много опасных зверей он не видит.
3. Из предложенной выборки на 4528 зверей он обнаружил 1035 (22.8%) и пропустил соотвественно 3493 ... Т.е. тот-же DrWeb несопоставимо лучше ловит разное зверье.
Вот список промахов:
[B]AdvWare 1013[/B]
Adware 0
[B]Backdoor 295[/B]
Constructor 1
[B]Dialer 454[/B]
Downloader 1
Email-Flooder 1
Email-Worm 9
Exploit 4
HackTool 2
Hoax 1
IM-Worm 2
Net-Worm 2
P2P-Worm 2
Porn-Dialer 2
Porn-Downloader 1
PornWare 1
PSWTool 1
RiskWare 3
Spy 403
Trojan 150
Trojan-Clicker 62
[B]Trojan-Downloader 616[/B]
Trojan-Dropper 54
Trojan-Proxy 20
Trojan-PSW 28
[B]Trojan-Spy 360[/B]
Virus 4
Worm 1
Общее число файлов: 3493

Т.е. насчет его применения как AntiSpyWare я так и не понял шутки юмора - из 1203 AdWare от нашел 190 штук (около 15%), из 468 Dialer он нашел 14 штук (3%) ... Как говориться, без комментариев

[QUOTE=kps]Олег, а можно потестировать [url=http://www.steganos.com/?product=SASPY7&language=en&layout=default]Steganos AntiSpyware[/url] ? Интересно, насколько он эффективен.[/QUOTE]
Можно конечно - в понедельник в обед запущу его на тесты

[B]Steganos AntiSpyware [/B]
Версия на тестах - 7.3.2, в базе 27701 чего-то под названием fingeprint (сигнатур, описаний ... ? - не ясно)
Сканирует очень шустро, ИЗ 4528 файлов он пропустил 3474 (и поймал соответственно 1054) образца.
Вот картина по пропускам:
[B]AdvWare 776[/B]
Adware 2
[B]Backdoor 428[/B]
Constructor 1
[B]Dialer 222[/B]
Downloader 1
Email-Flooder 1
Email-Worm 31
Exploit 12
HackTool 2
Hoax 1
IM-Worm 6
Net-Worm 25
P2P-Worm 3
Porn-Dialer 2
Porn-Downloader 1
PornWare 0
PSWTool 1
RiskWare 4
Spy 261
Trojan 214
Trojan-Clicker 69
[B]Trojan-Downloader 745[/B]
Trojan-Dropper 86
Trojan-Proxy 38
Trojan-PSW 32
Trojan-Spy 485
Virus 22
Worm 3
Общее число файлов: 3474
Для мониторинга внедряет sis.dll в запущенные процессы, перехватывает CreateProcess, LoadLibraryEx и WinExec в kernel32.dll путем модификации их программного кода в памяти, что может привести к конфликтам с антивирусными мониторами.
[B]Теперь неприятное - он ищет файлы по именам [/B] !! Вернее, наверное правильно сказать "в том числе ищет файлы по именам", но факт есть факт... Создание файла gator.exe привело к немедленной реакции - он классифицировался как Gator с предложением удалить его ... запуск процесса с именем файла gator.exe приводит к его обнаружению как spyware. Правда, в описании можно заметить в поле Fingepint Type указание на то, что найден он "сигнатурой" типа "имя файла". Вот это уже опасно, и анализ списка удаленных зверей это подтвердил - после присвоения файлам случайных имен и повторения сканирования цифры изменились на порядок:
[B]AdvWare 1102[/B]
Adware 2
Backdoor 428
Constructor 1
Dialer 414
Downloader 1
Email-Flooder 1
Email-Worm 31
Exploit 12
HackTool 2
Hoax 1
IM-Worm 6
Net-Worm 25
P2P-Worm 3
Porn-Dialer 2
Porn-Downloader 1
PornWare 0
PSWTool 1
RiskWare 4
[B]Spy 487[/B]
Trojan 217
Trojan-Clicker 69
[B]Trojan-Downloader 807[/B]
Trojan-Dropper 86
Trojan-Proxy 38
Trojan-PSW 32
Trojan-Spy 485
Virus 22
Worm 3
Общее число файлов: 4283
Я не берусь утверждать наверняка, но сложилось подозрение, что он удаляет в ходе зачистки "сопуствующие" файлы, лежащие рядом с обнаруженными - по именам или еще как ... иначе объяснить столь разительное различие в цифрах очень трудно, т.к. в первом случае он сообщил о нахождении 77 категорий зверей, примерно 200 файлов - а удалил почти в 5 раз больше.
Во время работы монитора идет непрерывный шквал дисковых операций - более 10000 операций в минуту ! Т.е. для контроля за файлами тип Hosts идет непрерывный опрос содержащей его папки ...

[QUOTE=RiC]Олег Ещё тесты продолжаются? Вот ещё некий "DiamondCS TDS-3" - [url]http://www.diamondcs.com.au/tds/[/url] вроде судя по описанию неплохая ловилка троянов.
даже с ежедневным обновлением - [url]http://tds.diamondcs.com.au/radius.td3[/url]
На текущий момент в базе "TDS contains 58561 trojan references" по тестам выложенным на сайте она даже умудрилась обойти AVP (правда почему-то под дос ...).[/QUOTE]
Продолжаются - я еще не сводил дебет/кредит по изученным программам, так что можно оттестировать и его - завтра на обеде я заряжу его на тесты

[QUOTE=RiC]Олег Ещё тесты продолжаются? Вот ещё некий "DiamondCS TDS-3" - [url="http://www.diamondcs.com.au/tds/"]http://www.diamondcs.com.au/tds/[/url] вроде судя по описанию неплохая ловилка троянов.
даже с ежедневным обновлением - [url="http://tds.diamondcs.com.au/radius.td3"]http://tds.diamondcs.com.au/radius.td3[/url]
На текущий момент в базе "TDS contains 58561 trojan references" по тестам выложенным на сайте она даже умудрилась обойти AVP (правда почему-то под дос ...).[/QUOTE]
Тест звершен. Сканер весьма необычен по внешнему виду, содержит кучу встроенных утилит ... сканирует медленно, поддержка UPX компрессии сделана очень смешным способом - вместе с программой распространяется upx.exe, применяемый по мере надобности :)
У меня не получилось удалить все найденные им файлы - получалось удалять их поштучно, пришлось сохранить лог и из него сделать bat файл вида del <имя файла>. Я поудалял все найденные им образцы - там в логе идут разные сообщения, типа Positive identification, Trojan ... found, Possible ...
Из 4528 файлов он поймал 471 (включая все подозрения и т.п.), что составило 10.4% и пропустил 4057.
Данные по пропускам:
[b]AdvWare 1120[/b]
Adware 2
[b]Backdoor 316[/b]
Constructor 1
[b]Dialer 468[/b]
Downloader 1
Email-Flooder 1
[b]Email-Worm 31[/b]
Exploit 12
HackTool 2
Hoax 1
IM-Worm 6
[b]Net-Worm 25[/b]
P2P-Worm 3
Porn-Dialer 2
Porn-Downloader 1
PornWare 1
PSWTool 1
RiskWare 4
Spy 509
[b]Trojan 218[/b]
Trojan-Clicker 69
[b]Trojan-Downloader 711[/b]
Trojan-Dropper 85
Trojan-Proxy 38
Trojan-PSW 32
[b]Trojan-Spy 372[/b]
Virus 22
Worm 3
Общее число файлов: 4057

Общий вывод - качестно отлова AdWare/SpyWare у него почти нулевое, аналогично с TrojanDownloader.

Сорри а где можно скачать А2? просто первый раз слышу о нем если можно дайте ссылку или сайт домашний откуда было бы скчать и посмореть на деле

[QUOTE=spitamen]Сорри а где можно скачать А2? просто первый раз слышу о нем если можно дайте ссылку или сайт домашний откуда было бы скчать и посмореть на деле[/QUOTE]
См. ссылку на первой странице. Но он "хороший из паршивых" - DrWeb, KAV, VBA и т.п. ловят лучше ...