Комплексный сравнительный анализ антиSpyWare - подбор "кандидатов" и выбор методик

[color=black]Ввиду того, что программ борьбы со SpyWare в последнее время расплодилось много, я предлагаю произвести сравнительное тестирование наиболее распространенных из них.[/color]

[color=black]Предлагаемая методика тестов:[/color]

[b][color=black]1. Инсталляция-деинсталляция.[/color][/b]

[color=black]Цель теста - исследовать корректность установки программы, изучить, не "хулиганит" ли ее инсталлятор в системе и насколько чисто проходит деинсталляция. [/color]

[color=black]Задача - оценить, насколько безопасна для системы установка программы[/color]

[b][color=black]2. Анализ вмешательства в работу системы[/color][/b][color=black]. [/color]

[color=black]Цель теста - изучить, какие функции системы перехватываются (и перехватываются ли вообще - это в принципе актуально для монитора). [/color]

[color=black]Задача - оценить возможность конфликтов с другим антивирусным ПО[/color]

[b][color=black]3. Проверка на False Alarms (ложные срабатывания)[/color][/b][color=black]. [/color]

[color=black]Цель теста - изучить, дает ли программа ложные срабатывания на заведомо чистых системах. Если дает, то соответственно количество и степень тяжести. База чистых объектов и системных файлов у меня весьма внушительная, так что проблем не будет. Подозрения эвристика ложными срабатываниями предлагаю не считать (т.е. False Alarm считаем однозначную классификацию системного объекта в качестве "зверя")[/color]

[color=black]Задача - оценить количество и степень тяжести ложных срабатываний[/color]

[b][color=black]4. Проверка эффективности проверки и лечения системы от стандартных "зверей"[/color][/b][color=black]. [/color]

[color=black]Цель теста - заражение специально выделенного ПК ITW разнообразных SpyWare, AdWare, TrojanDownloader, Dialer в достаточно большом количестве и оценка эффективности борьбы с ними. Для оценки предполагается провести поиск и лечение в максимально возможном режиме[/color]

[color=black]Задача - оценить качественно и количественно эффективность работы программы[/color]

[b][color=black]5. Проверка эффективности эвристики и методик обнаружения маскирующихся "зверей"[/color][/b]

[color=black]Цель теста - заражение специально выделенного ПК ITW образцами AdWare с Rootkit- механизмом, встроенным кейлоггером, труднолечимых программ типа Look2Me[/color]

[color=black]Задача - оценить качественно и количественно эффективность работы программы по данным разновидностям [/color]

[b]6. Проверка монитора (если таковой есть) [/b]

Цель теста - оценка качества работы монитора программы, если таковой имеется. Методика - обход "злачных" мест в Инет (естественно, порядок обхода и набор сайтов будет одинаков для всех подопытных), и оценка количества остановленных/не остановленных монитором "зверей".

[b][color=black]7. Общий анализ методик программы [/color][/b]

[color=black]Цель теста - попытка оценить методику проверки системы, метод поиска "зверей" (имена, сигнатуры, контрольные суммы файлов и т.п.), [/color]

[color=black]Задача - оценить вероятность ложного срабатывания [/color]

[color=black]------------[/color]

[color=black]Для проведения тестов необходимо определиться со списком программ, которые должны быть подвержены тестированию и методикой. Предлагаемая методика изложена выше, но, возможно я что-то упустил .... - короче говоря, нужно обсудить.[/color]



[color=black]Тест я предполагаю сделать максимально объективным и [i]повторяемым[/i] (т.е., как видно на некоторых моих тестах - [i]берем X, кладем туда-то - получаем результат такой-то[/i] - т.е. если кто-то не верит (что нормально - я тоже скептически подхожу к анализу любой системы), то можно самостоятельно легко повторить некий тест и подтвердить/опровергнуть результат.[/color]
-------
Текущий список:
1.Ad-Aware SE ([url="http://www.lavasoft.ru/"]http://www.lavasoft.ru/[/url], 2.5 мб, free)
2.Spybot-S&D ([url="http://www.safer-networking.org/en/download/"]http://www.safer-networking.org/en/download/[/url], 4.15 мб, free)
3.Spy Sweeper ([url="http://www.webroot.com/products/spysweeper-indepth/"]http://www.webroot.com/products/spysweeper-indepth/[/url], v3.5, 3.8 мб, 30$)
4.a2 ([url="http://www.emsisoft.com/en/"]http://www.emsisoft.com/en/[/url], [url="http://download1.emsisoft.com/a2personalsetup.exe"]http://download1.emsisoft.com/a2personalsetup.exe[/url], v1.6, 2 мб)
5.Microsoft AntiSpyware ([url="http://www.microsoft.com/athome/security/spyware/software/default.mspx,%206.4"]http://www.microsoft.com/athome/security/spyware/software/default.mspx,[/url] 6.5 мб)
6.CounterSpy ([url="http://www.sunbelt-software.com/"]http://www.sunbelt-software.com/[/url]) 13 МБ, v 1.0.29, 20$
7.SpySubtract от Trend Micro ([url="http://www.intermute.com/products/spysubtract.html"]http://www.intermute.com/products/spysubtract.html[/url]) 30$, v3.0 Pro, 2.1 МБ
8.XoftSpy ([url="http://www.paretologic.com/xoftspy/lp/14/"]http://www.paretologic.com/xoftspy/lp/14/[/url], 1.5 мб, )
9.SpywareBlaster ([url="http://www.javacoolsoftware.com/sbdownload.html.,%20v3.4"]http://www.javacoolsoftware.com/sbdownload.html., [/url]v3.4, 2.5 мб)
10.WinPatrol ([url="http://www.winpatrol.com/news.html"]http://www.winpatrol.com/news.html[/url], v9.1, 1 мб)
11.Ewido security suite ([url="http://www.ewido.net//"]http://www.ewido.net/[/url] , 2.4 мб)
12.McAfee AntiSpyware ([url="http://us.mcafee.com/root/package.asp?pkgid=206&cid=9904"]http://us.mcafee.com/root/package.asp?pkgid=206&cid=9904[/url]) 6.86 Мб, 29.99$
13.CA PestPatrol Anti-Spyware ([url="http://store.ca.com/"]http://store.ca.com/[/url]) 40$, 12 МБ Corporate-версия,
14.ZoneAlarm Spyware Detector ([url="https://www.zonelabs.com/"]https://www.zonelabs.com/[/url]) ?! только OnLine сканер
15.Spyware Doctor ([url="https://www.pctools.com/spyware-doctor/%203.42%20мб%20)"]https://www.pctools.com/spyware-doctor/)[/url] 3.42 МБ

Предлагаемый список программ:
Ad-Aware SE
Spybot-S&D
Spy Sweeper
a2
Microsoft AntiSpyware

Ну вот, пять кандидатов уже есть ... плюс еще CounterSpy и SpySubtract от Trend Micro - они в сущности уже тестировались, но для объективности нужно их добавить ...

[url]http://www.paretologic.com/xoftspy/lp/14/[/url]
его тоже следует , люди его хвалят- однако я этой компании не доверяю , так как было много в своё время ложных срабатываний .

А я бы ещё назвал AVZ......

[QUOTE=rav]А я бы ещё назвал AVZ......[/QUOTE]
AVZ если и пойдет, то вне конкурса. Причина в том, что если я буду вести его тестирование, то имхо это не совсем некорректно/этично и наведет тень на объективность теста... Но есть и объективная причина - AVZ обучается по данным моей автоматической системы поиска ITW "зверей" в инет и по моей коллекции - он "знает" 100% из коллекции и то, что отлавливается по моим методикам....

Предлагаю добавить к списку SpywareBlaster версии 3.4, а также неплохую утилиту для защиты оси - WinPatrol 9.1- [url]http://www.winpatrol.com/news.html[/url] (использую ее года 2 никаких нареканий и глюков не было).

Может в список и эти добавить?-

Ewido security suite
McAfee AntiSpyware
PestPatrol Anti-Spyware
ZoneAlarm Spyware Detector
Spyware Doctor

ОК, я списочек сформировал в хвосте первого поста.
Осталось только изыскать URL на все указанные продукты - я потихоньку начал заполнять списочек ....

Вот URL-ки к первым пяти:
1.Ad-Aware SE ([url]http://www.lavasoft.ru/[/url])
2.Spybot-S&D ([url]http://www.safer-networking.org/en/download/[/url]) - скоро должна выйти версия 1.4
3.Spy Sweeper ([url]http://www.webroot.com/products/spysweeper-indepth/[/url])
4.a2 ([url]http://www.emsisoft.com/en/[/url])
5.Microsoft AntiSpyware ([url]http://www.microsoft.com/athome/security/spyware/software/default.mspx[/url])

Нужно еще упомянуть, что участникам предоставлены равные условия - тестироваться должна самая свежая версия с последним обновлением баз.

[QUOTE=SDA]Предлагаю добавить к списку SpywareBlaster версии 3.4, .[/QUOTE]
она же только ввиде прививки работает . добавляет в реестр плохие сайты и актив-х , куки и всё . чистить она не не умеет .

[QUOTE=drongo]она же только ввиде прививки работает . добавляет в реестр плохие сайты и актив-х , куки и всё . чистить она не не умеет .[/QUOTE]
Значит, для нее будут прочерки в тестах 3,4,5,7 ... а в п.п. 6 проверим эффективность прививки.

[b]to kps[/b]
Спасибо, я занес урлы в список

хочу напомнить , у а2 есть монитор - но нужно скачивать персонал версию и зарегиться на сайте . (30 дней бесплатно ) [url]http://download1.emsisoft.com/a2personalsetup.exe[/url]

6. Проверка монитора (если таковой есть) Методика - обход "злачных" мест в Инет.

А как это будет реализовано? - обход сразу после установки на эталонную систему?

[QUOTE=HATTIFNATTOR]6. Проверка монитора (если таковой есть) Методика - обход "злачных" мест в Инет.

А как это будет реализовано? - обход сразу после установки на эталонную систему?[/QUOTE]

Ну, я пока точно не знаю, стоит подумать и обсудить. Я пока вижу примерно такую методику - ставим на эталонно чистую систему подопытного, а затем производим обход сайтов - и смотрим на его реакцию и на то, пролезет что или нет. Затем сносим все под нуль - ставим на чистую систему второго и так по новой.
Второй метод я пробую - можно эмулировать несколько вредоносных сайтов на своем веб сервере (я сейчас ак раз этим занимаюсь - страницы с скриптами - инсталляторами легко найти и чуть-чуть подправить). Тогда эксперимент будет эталонным на все 100% - все будет инсталлироваться с моего сервера, бедет 100% повторяемость.
Наконец метод 3 - запускаем по очереди отобранные TrojanDownloader (монитор должен остановить илиTrojanDownloader, и (или) то, что он затаскивает).

AnVir - [url]http://anvir.com/index_ru.htm[/url]
на антивирус эта пародия явно не тянет, а за антиспайварь может и сойти.

[QUOTE=RiC]AnVir - [url]http://anvir.com/index_ru.htm[/url]
на антивирус эта пародия явно не тянет, а за антиспайварь может и сойти.[/QUOTE]
На антиспайвера эта штука тоже не тянет - я качнул ее для пробы, из 10000 образцов распозналось 40 ... (MyDoom, Sven, NetSky, Bagle). Из категорий AdWare и SpyWare - из 4000 образцов найдено 0. Это и не удивительно - несжатая база вирусных дефиниций у него - 4 кб. Т.е. это навороченный TaskManager с элементами детектирования "зверей"

Я предлагаю методику такую. Виртуальный комп. Ходим по всяким злачным местам, заражаем его. После этого делаем снапшот, и на этом снапшоте тестируем все программы. Так для всех будут одинаковые статовые условия.

[QUOTE=Geser]Я предлагаю методику такую. Виртуальный комп. Ходим по всяким злачным местам, заражаем его. После этого делаем снапшот, и на этом снапшоте тестируем все программы. Так для всех будут одинаковые статовые условия.[/QUOTE]
Имеено так и будет выполнен тест 3,4,5 - только вместо виртуального будет скорее всего обычный с системой восстановления данных на диске из снимка - так более реалистично. Проблема с монитором - ка проверить его работоспособность и эффективность ? По идее только хождением по злачным местам или путем поочередного запуска некоторого набора TrojanDownloader. Первый метод более правильный, т.к. позволить проверит фильтры, прививки и т.п., которые может понаставить монитор

Возник ряд моментов:
12.McAfee AntiSpyware - продукт есть, а триальной версии для теста - нет
13.CA PestPatrol Anti-Spyware ([url]http://store.ca.com/[/url]) - не понятно, где его взять.
14.ZoneAlarm Spyware Detector ([url]https://www.zonelabs.com/[/url]) - я нашел только его OnLine сканер

PestPatrol можно загрузить здесь:

[url]http://www.download.com/eTrust-PestPatrol-Anti-Spyware/3000-8022_4-10345714.html[/url]

а шкала оценки будет, я имею ввиду более детально, при каких признаках какую оценку в категории присваивать, не основываться же на своих ощющениях?

[QUOTE=Novosib]PestPatrol можно загрузить здесь:

[url]http://www.download.com/eTrust-PestPatrol-Anti-Spyware/3000-8022_4-10345714.html[/url][/QUOTE]
Я знаю про эту ссылку - но поней мне ничего качнуть не удалось - происходит переход на сайт ca, там регистрация, затем сообщение, что дескать инструкции по закачке файла и линк выслана на email. При этом приходит только одно письмо - с поздравлением об успешной регистрации ...

[QUOTE=egik]а шкала оценки будет, я имею ввиду более детально, при каких признаках какую оценку в категории присваивать, не основываться же на своих ощющениях?[/QUOTE]
Не знаю ... очень трудно оценивать что-то по некоторой шкале. Я думаю оценивать качество по 100-бальной или 1000-бальной шкале (т.е. запустить на тестовый ПК 100 или 1000 зверей и затем подсчитать то, что останется ... - просто и достаточно объективно). Если получится, я еще сделаю рейтинг по категориям

[QUOTE=Зайцев Олег]Возник ряд моментов:
12.McAfee AntiSpyware - продукт есть, а триальной версии для теста - нет
13.CA PestPatrol Anti-Spyware ([url]http://store.ca.com/[/url]) - не понятно, где его взять.
14.ZoneAlarm Spyware Detector ([url]https://www.zonelabs.com/[/url]) - я нашел только его OnLine сканер[/QUOTE]

э ... ну можно и другим способом достать :p , будем тестить не легально . :eek:
если да , то я поищу .

[QUOTE=drongo]э ... ну можно и другим способом достать :p , будем тестить не легально . :eek:
если да , то я поищу .[/QUOTE]
Так вот в том-то и проблема - достать левый продукт в инет намного проще, чем законный trial :) Но для теста хотелось бы именно законный ... CA PestPatrol Anti-Spyware я нашел, я McAfee AntiSpyware тоже верочтно проблем не будет ... остался только ZoneAlarm Spyware Detector - я не нашел его. Т.е. сканирование OnLine есть, а вот продукт мне так и не попался...

XoftSpy

Почему бы тогда не обратиться к самим компаниям с просьбой на полнофункциональный триал ?У многих в триале нет монитотра , а xотелось бы узнать резултаты об их эффективности .

[QUOTE=drongo]Почему бы тогда не обратиться к самим компаниям с просьбой на полнофункциональный триал ?У многих в триале нет монитотра , а xотелось бы узнать резултаты об их эффективности .[/QUOTE]
Фиг они дадут. особенно всякие левые :)

[QUOTE=Geser]Фиг они дадут. особенно всякие левые :)[/QUOTE]

не попросишь -не узнаешь .

[QUOTE=drongo]не попросишь -не узнаешь .[/QUOTE]
Попросить то конечно можно - а вот дадут ли - это вопрос. Я уже о другом думаю - вообще выгинуть тест монитора - во всех виденных мной версиях монитор и сканер используют один движок ... а мониторы есть не у всех "подследственных" - в результате я може быть сделаю тест именно сканера, а потом отдельное тестрирование мониторов для программ, где он есть.

McAfee-AntiSpyware

[url]http://www.download.com/McAfee-AntiSpyware/3000-8022_4-10385210.html?tag=lst-1-1[/url]

[QUOTE=HATTIFNATTOR]McAfee-AntiSpyware

[url]http://www.download.com/McAfee-AntiSpyware/3000-8022_4-10385210.html?tag=lst-1-1[/url][/QUOTE]
пришел-увидел-скачал :) Ну вот, вроде бы как коллекция подопытных собрана, на выходных проведу их тест

[QUOTE=SDA]Предлагаю добавить к списку SpywareBlaster версии 3.4, а также неплохую утилиту для защиты оси - WinPatrol 9.1- [url]http://www.winpatrol.com/news.html[/url] (использую ее года 2 никаких нареканий и глюков не было).[/QUOTE]
SpywareBlaster - только блокирует (не допускает загрузку на PC) вредоносные ActiveX и ad/tracking cookies. Так что в тесте она участвовать не может.

Ну вот, полигон подготовлен .... для теста отобрано 4500 образцов MalWare, вот статистический расклад:
AdvWare 1203
Backdoor 433
Constructor 1
Dialer 468
Downloader 1
Email-Flooder 1
Email-Worm 31
Exploit 12
HackTool 2
Hoax 1
IM-Worm 6
Net-Worm 25
P2P-Worm 3
Porn-Dialer 2
Porn-Downloader 1
PornWare 1
PSWTool 1
RiskWare 4
Spy 511
Trojan 218
Trojan-Clicker 69
Trojan-Downloader 851
Trojan-Dropper 86
Trojan-Proxy 38
Trojan-PSW 32
Trojan-Spy 500
Virus 22
Worm 3
Общее число файлов: 4526
В качестве базы образцов выступают файлы, зарегистрированные за последний квартал на ПК пользователей. Это важный момент - т.е. это не выкопанные из некоей коллекции файлы, а реальные "звери", многие пойманы в ходе "следствий", проводимых в данной конференции

Итак, первый подопытный A2. Из 4528 файлов он "прозевал" 2954 (и соответственно нашел 1574 файла). При этом в базе у него 126210 сигнатур, 7 плагинов.

---------------
Вот количественный расклад по тому, что он упустил:
AdvWare 783
Adware 0
Backdoor 239
Constructor 0
Dialer 396
Downloader 1
Email-Flooder 1
Email-Worm 12
Exploit 12
HackTool 1
Hoax 0
IM-Worm 3
Net-Worm 7
P2P-Worm 1
Porn-Dialer 0
Porn-Downloader 1
PornWare 1
PSWTool 0
RiskWare 1
Spy 365
Trojan 138
Trojan-Clicker 46
Trojan-Downloader 563
Trojan-Dropper 52
Trojan-Proxy 31
Trojan-PSW 23
Trojan-Spy 255
Virus 22
Worm 0
Общее число файлов: 2954

Общий вердикт - A2 посредственно ловит AdvWare, SpyWare и Trojan-Downloader. Причем есть закономерность - чем "старше" зверь, тем больше вероятность того, что он будет пойман A2 ... визуально плохо детектируются TrojanDownloader.Dyfuka, Wintrim, WinAd, WinTol; backdoor.HaxDoor вообще не детектирует ...
Из TrojanDownloader хуже всего детектируются
Dyfuca Femad Harnig Inor IstBar Lexup Pitux Pixar PurityScan Small Swizzor TargetSoft Tibser VB WinShow Wintrim ZombGet
Из AdWare - наибольшие проблем с семействами:
180Solutions Altnet BargainBuddy Beginto ClearSearch Comet CommonName DealHelper DigitalNames EZula F1Organizer FlashTrack Flt Gator GoWebSite
IGetNet IWon Look2Me Lop MediaBack MediaInject MetaDirect PowerScan ...

Неплохо было бы результаты в процентах :)

А еще лучше - диаграмму ... это все будет, просто я пока сбрасываю промежуточные данные - чтобы было что изучать :) Честно говоря, меня A2 разочаровал - при такой огромной базе такие результаты (для сравнения AVP с расширенной базой выбивает почти всех зверей из данного списка ...). Зато у A2 нормальный AV движек, а не поиск файлов по именам ... - это серьезный "+", ложных срабатываний на чистых файлов он не дал.

[QUOTE=Зайцев Олег]Честно говоря, меня A2 разочаровал - при такой огромной базе такие результаты (для сравнения AVP с расширенной базой выбивает почти всех зверей из данного списка ...). [/QUOTE]
Ну сравнил, ЛК в которой более 200 человек работает, и ту фирму которая делает а2. Наверное человек 10 :)

[QUOTE=Geser]Ну сравнил, ЛК в которой более 200 человек работает, и ту фирму которая делает а2. Наверное человек 10 :)[/QUOTE]
Очень может быть ... но кол-во разработчиков не показатель, базы то у него огромные - только не понятно, чем забиты.
Между тем на обеде у меня работал на тесте Microsoft AntiSpyware, и результаты меня шокировали: из 4528 файлов он поймал только 447 ...
Вот то, что он пропустил
AdvWare 989
Adware 2
Backdoor 433
Constructor 1
Dialer 437
Downloader 1
Email-Flooder 1
Email-Worm 30
Exploit 12
HackTool 2
Hoax 1
IM-Worm 6
Net-Worm 25
P2P-Worm 3
Porn-Dialer 2
Porn-Downloader 1
PornWare 0
PSWTool 1
RiskWare 4
Spy 394
Trojan 188
Trojan-Clicker 61
Trojan-Downloader 815
Trojan-Dropper 79
Trojan-Proxy 37
Trojan-PSW 32
Trojan-Spy 500
Virus 21
Worm 3
Общее число файлов: 4081
детектирует он наиболее известных зверей, из новых - почти ничего ... нашего старого знакомого Look2me он вообще не заметил, WinAd штук 5 из 50 разновидностей ...
Т.е. из грубо из 1200 AdWare он прозевал 989 ...