Проверка URL'ов, есть ли смысл?

[QUOTE=Зайцев Олег;137915]Я лично на подобные "грабли" налетал уже неоднократно
[/QUOTE]
Я тоже. И тем не менее, если при проверке линка плюхин сообщает, что там живет пара VBS.PackFor, то это сразу говорит о многом.

[quote=borka;137971]Я тоже. И тем не менее, если при проверке линка плюхин сообщает, что там живет пара VBS.PackFor, то это сразу говорит о многом.[/quote]
Если говорит - то это говорит обо всем сразу. Жаль, что пример с [URL]http://z-oleg.com/eicar.php[/URL] не объяснил Вам, насколько легко вирусописателю защититься от этого плагина.

>>Жаль, что пример с [url]http://z-oleg.com/eicar.php[/url] не объяснил Вам, насколько легко вирусописателю защититься от этого плагина
Странный разговор.
Говорят легко обмануть можно и любой антивирус, но при этом полностью отказываться от антивируса на венде не желательно.
Плагин не всегда, но работает, так же как и все антивирусы не знают 0-day вирусов, но никто не говорит, что антивирус нужно выкинуть.
Проблемы подобных плагинов, описанные здесь понятны, так же как и понятны проблемы необнаружения вирусов антивирусами.
То, что КЛ не будет делать подобный сервис тоже понятно. Нет, ну и не надо. Думаю, найдете куда потратить сэкономленное. :)
Так же понятно, что отказываться от сервиса вэба тоже смысла нет, поскольку он может быть иногда полезен.

[quote=pig;137865]Так это вроде бы не вам советовали... Я так думаю (c)[/quote]

Да нет, именно мне.

icon, Вы очень правильно резюмировали эту беседу. Спасибо.
Полагаю тему исчерпанной.

1. Скриптов на той странице на момент проверки не было, это я помню точно.
Потому как пришлось их тогда искать. Нашел, но не на том сайте.
2. DVi, если не очень сложно - корректнее, плиз, когда пишете о работе других.
3. Насчет упомянутых блэк-листов - на сайте с закладкой их не бывает.
Да и блокировки онлайна я ещё не видел. Даже наоборот - из дому мне трояны не отдаются, а онлайну - пожалуйста :).

ЗЫ: Даже [url=http://www.kaspersky.ru/scanforvirus]простейшая онлайн-проверка файлов[/url] и та с ограничением размера файла 1 мБ.
Это уже политика фирмы, и присутствующими здесь она никак не определяется, лишь добросовестно соблюдается. Даже чересчур добросовестно.
А упомянутые технические сложности работы плагина и онлайн-URL вполне решаемы - было бы желание.

Вероятно, я мог ошибиться, приведя ссылку на сообщение [b]Alexey P.[/b] на форуме DrWeb в качестве доказательства неполной работоспособности плагина. Я приношу свои извинения Алексею за свои домыслы (вполне вероятно, что и не имевшие под собой оснований).

Поэтому ниже я даю ссылку на сообщение [b]Alex Plutoff[/b], недвусмысленно иллюстрирующее все вышесказанное. [b]Alex Plutoff[/b] показал, что плагин не обнаружил зверька, а аналитическое исследование [b]Alexey P.[/b] показало наличие целого зоопарка: [url]http://forum.drweb.com/index.php?method=showhtmllist&list=message&rollid=4409&words=Script.0&clearoff=1[/url]

>3. Насчет упомянутых блэк-листов - на сайте с закладкой их не бывает.
Ой как вы ошибаетесь.. еще как бывает.

Стоит ли рассказывать что вся закладка на сайте состиои из ифрейма на вредоносный пхп скрипт. а этот скрипт определяет версию браузера, банит 2йные обращения, фильтрует "нужные" ИП.

[QUOTE=Sanja;139512]>3. Насчет упомянутых блэк-листов - на сайте с закладкой их не бывает.
Ой как вы ошибаетесь.. еще как бывает.

Стоит ли рассказывать что вся закладка на сайте состиои из ифрейма на вредоносный пхп скрипт. а этот скрипт определяет версию браузера, банит 2йные обращения, фильтрует "нужные" ИП.[/QUOTE]
Наверное, не стоит.
Фильтр - не на сайте с закладкой, он на троянском сайте с мпак или аналогом.
А детектится уже тот первый айфрейм - думаю, видели. До вредоносного пхп скрипта в таком варианте дело уже не доходит.

В том то и дело что нифига не детектится :)

[QUOTE=Sanja;139585]В том то и дело что нифига не детектится :)[/QUOTE]
Это почему еще? Если ифрейм известен, то почему бы ему не детектиться?

[quote=borka;139663]Если ифрейм известен, то почему бы ему не детектиться?[/quote]
Тут вот какая загвоздка: многие интернет-счетчики используют механизмы [COLOR=Blue]<iframe src="" width=0 height=0>[/COLOR]. Мы пробовали построить простенький эвристик на этих данных - и в тот же день получили большой поток фолсов. Пришлось убрать эту запись из антивирусных баз.

Похожая на этот "эвристик" (по замыслу, а не по исполнению) запись VBS.PackFor страдает ровно тем же самым. И если техподдержка DrWeb не получает жалоб своих пользователей по поводу этой записи, то лишь из-за несовпадения массива пользователей и массива ложняков.

Или Вы говорите о детекте конкретных УРЛов, указываемых в свойстве [B]src[/B] этих фреймов?

Вы точно в этом не одиноки. Слышал, что такую же "эвристику" делал вебвашер.
Но до внедрения в фильтры у них дело вроде не дошло.

[QUOTE=DVi;139673]Тут вот какая загвоздка: многие интернет-счетчики используют механизмы [COLOR=Blue]<iframe src="" width=0 height=0>[/COLOR]. Мы пробовали построить простенький эвристик на этих данных - и в тот же день получили большой поток фолсов. Пришлось убрать эту запись из антивирусных баз.[/QUOTE]
Да, я видел достаточно много честных ифреймов на вполне честных сайтах. Тут без фолсов не обойдется. :(

[QUOTE=DVi;139673]Похожая на этот "эвристик" (по замыслу, а не по исполнению) запись VBS.PackFor страдает ровно тем же самым. И если техподдержка DrWeb не получает жалоб своих пользователей по поводу этой записи, то лишь из-за несовпадения массива пользователей и массива ложняков.[/QUOTE]
Это сигнатурный детект, насколько я понимаю.

[QUOTE=DVi;139673]Или Вы говорите о детекте конкретных УРЛов, указываемых в свойстве [B]src[/B] этих фреймов?[/QUOTE]
Нет, я говорю о самой конструкции в целом. Например,
<iframe src="hттp://traffnew.biz/dl/adv659.php" width=1 height=1></iframe> и т. п. Если это вирусный ифрейм (Вирлаб определил), и он есть в базах (Вирлаб внес), то он будет найден при проверке страницы.

[quote=borka;139680]Это сигнатурный детект, насколько я понимаю.[/quote]
Да, там положена сигнатура на скриптовый упаковщик, а не на его содержимое. Поэтому я назвал это "как бы эвристикой".

[quote=borka;139680]
Нет, я говорю о самой конструкции в целом. Например,
<iframe src="hттp://traffnew.biz/dl/adv659.php" width=1 height=1></iframe> и т. п. Если это вирусный ифрейм (Вирлаб определил), и он есть в базах (Вирлаб внес), то он будет найден при проверке страницы.[/quote]
Понятно. Такие простые конструкции мы вносим прямиком в базу черных адресов в виде маски на домен (если выяснено, что весь домен является зловредным).

Как обещал Евгений Кузин, доработана онлайн-проверка Dr.Web плагинами.
Найденные в коде страницы скрипты и фреймы разбираются и проверяются также содержащиеся в них ссылки.
См. [url]http://forum.drweb.com/message/6087/0/#63756[/url]

[QUOTE=Alexey P.;144643]Как обещал Евгений Кузин, доработана онлайн-проверка Dr.Web плагинами.
Найденные в коде страницы скрипты и фреймы разбираются и проверяются также содержащиеся в них ссылки.
См. [url]http://forum.drweb.com/message/6087/0/#63756[/url][/QUOTE]
При проверке линка это выглядит следующим образом:
[b] Размер файла: 19812 байт, с учётом скриптов и фреймов: 58046 байт

[url]www.drweb.com[/url] - archive HTML
>[url]www.drweb.com/Script.0[/url] - OK
>[url]www.drweb.com/Script.1[/url] - OK
>[url]www.drweb.com/Script.2[/url] - OK
[url]www.drweb.com[/url] - OK

Эта страница включает в себя внешние скрипты/ фреймы. Все они были также проверены:

[url]http://www.google-analytics.com/urchin.js[/url]
[url]http://www.drweb.com/wz_tooltip.js[/url][/b]

Простите, что поднимаю эту тему. Месяц назад я не заметил ее обновления.
[quote=Alexey P.;144643]Как обещал Евгений Кузин, доработана онлайн-проверка Dr.Web плагинами.
Найденные в коде страницы скрипты и фреймы разбираются и проверяются также содержащиеся в них ссылки.
См. [URL]http://forum.drweb.com/message/6087/0/#63756[/URL][/quote]
Спасибо за информацию.
До какого уровня разбираются скрипты и фреймы?
Исполняются ли при этом скрипты типа document.write(unescape(eval(...))), которые составляют сейчас большинство инжектов на страницы?

Иными словами - если в странице лежит скрипт, который дописывает в конец страницы iframe, который в свою очередь содержит похожий скрипт, который опять-таки дописывает в конец страницы iframe (и так до десятка уровней вложенности - Вы ведь, Алексей, с этим знакомы), и в этом последнем iframe сидит детектируемый антивирусным движком VBS.PackFor, который и грузит реального зловреда - на каком уровне остановится проверяльщик УРЛов?
Если он не дойдет до конца - можно ли доверять результату его проверки и открывать проверенную страницу в браузере?

[quote=borka;144752][B]Эта страница включает в себя внешние скрипты/ фреймы. Все они были также проверены:

[URL]http://www.google-analytics.com/urchin.js[/URL]
[URL]http://www.drweb.com/wz_tooltip.js[/URL][/B][/quote]
Эта страница содержит не только внешние скрипты и фреймы, но и другие потенциально опасные внешние мультимедиа-файлы. Просмотрите информацию, которую дает об этой странице Firefox - Вы увидите баннер с Рамблера. Он был проверен антивирусом?
[IMG]http://i049.radikal.ru/0711/5b/187c028c6ea3.png[/IMG]

DVi, всё проще - сделайте лучше, и люди будут Вам искренне благодарны.
Очень желательно тоже в виде бесплатного сервиса.

ЗЫ: А искать соринку в глазу ближнего, традиционно не замечая бруса в своём - не царское это дело.

[QUOTE=DVi;155338]До какого уровня разбираются скрипты и фреймы?
Исполняются ли при этом скрипты типа document.write(unescape(eval(...))), которые составляют сейчас большинство инжектов на страницы?
Иными словами - если в странице лежит скрипт, который дописывает в конец страницы iframe, который в свою очередь содержит похожий скрипт, который опять-таки дописывает в конец страницы iframe (и так до десятка уровней вложенности - Вы ведь, Алексей, с этим знакомы), и в этом последнем iframe сидит детектируемый антивирусным движком VBS.PackFor, который и грузит реального зловреда - на каком уровне остановится проверяльщик УРЛов?
Если он не дойдет до конца - можно ли доверять результату его проверки и открывать проверенную страницу в браузере?[/QUOTE]
Вопрос об этом стоЯл тогда же, когда появилась проверка скриптов и фреймов. Разбор этих структур обещались сделать. Не все сразу.

Alexey P., так ведь сделали уже. Да, не бесплатно - а в составе коммерческого антивируса. Который стоит столько же, сколько и продукт DrWeb (а в некоторых местах и дешевле).

Я всего лишь объясняю, почему проверять что-либо с сервера антивирусной компании априори бесполезно.

Поверьте, тут нет аналогии между соринкой и бревном. Такой сервис действительно не дает никакой гарантии, что проверенный URL можно загружать в свой браузер. Для гарантии он должен :
[LIST][*]проверить все айфреймы до последнего уровня вложенности,[*]проверить все внедренные на страницу и на эти айфреймы медиа-файлы,[*]исполнить в виртуальной среде все скрипты,[*]сделать это он должен именно в момент открытия страницы в браузере пользователя [*]сделать это он должен именно с IP-адреса пользователя[/LIST]
Потому что неисполнение любого из этих пунктов влечет за собой отсутствие гарантии чистоты URL'а, даже если антивирус имеет соответствующую сигнатуру соответствующего зверька.

[QUOTE=DVi;155423]Alexey P., так ведь сделали уже. Да, не бесплатно - а в составе коммерческого антивируса. Который стоит столько же, сколько и продукт DrWeb (а в некоторых местах и дешевле).

Я всего лишь объясняю, почему проверять что-либо с сервера антивирусной компании априори бесполезно.

Поверьте, тут нет аналогии между соринкой и бревном. Такой сервис действительно не дает никакой гарантии, что проверенный URL можно загружать в свой браузер. Для гарантии он должен :
[LIST][*]проверить все айфреймы до последнего уровня вложенности,[*]проверить все внедренные на страницу и на эти айфреймы медиа-файлы,[*]исполнить в виртуальной среде все скрипты,[*]сделать это он должен именно в момент открытия страницы в браузере пользователя [*]сделать это он должен именно с IP-адреса пользователя[/LIST]
Потому что неисполнение любого из этих пунктов влечет за собой отсутствие гарантии чистоты URL'а, даже если антивирус имеет соответствующую сигнатуру соответствующего зверька.[/QUOTE]
Еще раз: не все сразу.

[url=http://s41.radikal.ru/i092/0808/da/1ab29249cda1.png][img]http://s41.radikal.ru/i092/0808/da/1ab29249cda1t.jpg[/img][/url]

Вообще говоря, этот скрипт пока не детектится Доктором, поэтому линк-чекер не при делах...

Прошу обратить внимание - это бесплатный сервис. А это платный [url]http://forum.kaspersky.com/index.php?showtopic=79907[/url] и результат такой же - пользователь подхватил трояна.[QUOTE]На странице был ещё скрипт не знакомый Касперскому. Я его вчера в вирлаб отправил.
Занесли в базу - теперь это Trojan-Downloader.JS.Iframe.rs, уже определяется.[/QUOTE]

Разве лечение вирусов на форуме ЛК платное?

[QUOTE=SDA;267226]Разве лечение вирусов на форуме ЛК платное?[/QUOTE]
Речь не о лечении на форуме. DVi [url=http://virusinfo.info/showpost.php?p=155423&postcount=61]сказал[/url], что проверку ссылок сделали в платном продукте - антивирусе, но результат оказался таким же: незнакомый вирус почему-то не определился, ;) ну и сел в систему. И только усилиями хелперов был уничтожен. :)

[QUOTE=borka;267229]незнакомый вирус почему-то не определился, ;) [/QUOTE]

Да Вы что??.. :O Какая досада... Неужели такое бывает? :)

[QUOTE=borka;267171]Вообще говоря, этот скрипт пока не детектится Доктором, поэтому линк-чекер не при делах...[/QUOTE]
Опять 25...
Какая разница, есть сигнатура этого скрипта в базах или нет. Скрипт, показанный на картинке, всего лишь рисует тег iframe и незаметно перебрасывает юзера на другую страницу, где, в свою очередь, стоит еще один iframe. Так вот суть в том, что антивирус может прекрасно определять истинного зверя, спрятанного за этим нагромождением фреймов - но линк-чеккер этого не покажет ни при каком раскладе.

Мои 5 копеек - Смысл всегда есть, хотя результат будет не 100-процентный, но такое же относится ко всем проверкам файлов или ссылок антивирусными программами, ибо: так как фолсить не хотят, и нет смысла до пенсии ждать результатов проверки файлов/ссылок на новых, ещё неизвестных зловредов, результат определяется либо по сигнатурам, либо методами эвристики:
1) определённое количество инструкций
2) возможно определённое заданное время (в миллисекундах)
3) найден кусок кода, похожий на вирусный код
4) неизвестная инструкция - не понял, значит 'хороший код'.

Дополнительная проблема линк-чеккеров/программ веб-защиты ещё в том, что они могут просто не иметь доступ ко всем он-лайновым ресурсам, и поэтому будут автоматом [b]предполагать[/b], что там всё чисто.
P.S.: Поэтому призываю ещё раз - все антивирусные решения должны иметь модуль по принципу NoScript в Firefox.

Paul

[QUOTE=Maxim;267193]Занесли в базу - теперь это Trojan-Downloader.JS.Iframe.rs, уже определяется[/QUOTE]

Да, и такое пока бывает, к сожалению. Но скоро все станет сильно лучше.
[url=http://s43.radikal.ru/i099/0808/69/b8c89c7c16fd.png][img]http://s43.radikal.ru/i099/0808/69/b8c89c7c16fdt.jpg[/img][/url]

[QUOTE=DVi;267411]Опять 25...[/QUOTE]Вот именно.
[QUOTE]Так вот суть в том, что антивирус может прекрасно определять истинного зверя, спрятанного за этим нагромождением фреймов - но линк-чеккер этого не покажет ни при каком раскладе.[/QUOTE]В том примере, что я приводил выше это не помогло - антивирус пропустил не только скрипт, но и зверя. Все грешат.

[size="1"][color="#666686"][B][I]Добавлено через 1 минуту[/I][/B][/color][/size]

[QUOTE=DVi;267418]Да, и такое пока бывает, к сожалению. Но скоро все станет сильно лучше.[/QUOTE]???

[QUOTE=ALEX(XX);267336]Да Вы что??.. :O Какая досада... Неужели такое бывает? :)[/QUOTE]
Ну-у-у... Случилось же как-то... ;)

[QUOTE=DVi;267411]Опять 25...
Какая разница, есть сигнатура этого скрипта в базах или нет. Скрипт, показанный на картинке, всего лишь рисует тег iframe и незаметно перебрасывает юзера на другую страницу, где, в свою очередь, стоит еще один iframe. Так вот суть в том, что антивирус может прекрасно определять истинного зверя, спрятанного за этим нагромождением фреймов - но линк-чеккер этого не покажет ни при каком раскладе.[/QUOTE]
Насчет "25" не знаю, но объясню еще раз :) - да, проверка пока простая, да, проверка несовершенная, но если на самой странице есть [b]детектируемый[/b] зловред, то о нем будет сообщено. А разница существенная: знакомый зловред - будет о нем информация, незнакомый - соответственно, не будет. Вот и всё. И неважно, сколько ифреймов во сколько ифреймов будет завернуто - если детектится первый (который на главной странице), то пользователь будет предупрежден и на страницу не пойдет. :)
Надеюсь, через пару часов детект этой страницы будет. :)

[size="1"][color="#666686"][B][I]Добавлено через 34 минуты[/I][/B][/color][/size]

[QUOTE=p2u;267416]Мои 5 копеек - Смысл всегда есть, хотя результат будет не 100-процентный, но такое же относится ко всем проверкам файлов или ссылок антивирусными программами, ибо: так как фолсить не хотят, и нет смысла до пенсии ждать результатов проверки файлов/ссылок на новых, ещё неизвестных зловредов, результат определяется либо по сигнатурам, либо методами эвристики:
[/QUOTE]
О стопроцентном результате никто и не говорит.

[size="1"][color="#666686"][B][I]Добавлено через 1 минуту[/I][/B][/color][/size]

[QUOTE=DVi;267418]Да, и такое пока бывает, к сожалению. Но скоро все станет сильно лучше.
[url=http://s43.radikal.ru/i099/0808/69/b8c89c7c16fd.png][img]http://s43.radikal.ru/i099/0808/69/b8c89c7c16fdt.jpg[/img][/url][/QUOTE]
Это не командлайновая ли тулза для проверки ссылок? ;)

[QUOTE=borka;267513]И неважно, сколько ифреймов во сколько ифреймов будет завернуто - если детектится первый (который на главной странице), то пользователь будет предупрежден и на страницу не пойдет. :)
[/QUOTE]
Зверь не обязан находиться на самой странице. И не обязан внедряться в нее через iframe. Уже были прецеденты заражения баннерных сетей.
Поэтому проверка ссылок бесполезна по своей сути - линк-чеккер проверяет совсем не то, что получает в браузер пользователь, зайдя на страницу.

[QUOTE=borka;267513]Это не командлайновая ли тулза для проверки ссылок? ;)[/QUOTE]
Нет, конечно.

Виталий, Ваша проблема в том, что Вы опираетесь только на теоретические рассуждения. Это естественно - проверить не на чем, своего чекера нет и не предвидится.
На практике же проверка ссылок фиксирует очень много детектов. С учётом того, что это бесплатный сервис - бесполезным это назвать никак нельзя.
Вы предлагаете обойтись одним лишь бесплатным сервисом ? Странно и наивно.
Естественно, для защиты необходим антивирус.

ЗЫ: Всё же я склоняюсь к мнению, что вся эта Ваша полемика не более чем попытка очернить бесплатный сервис конкурента. Вместо того, чтобы сделать свой, лучше.

[QUOTE=Alexey P.;267539]ЗЫ: Всё же я склоняюсь к мнению, что вся эта Ваша полемика не более чем попытка очернить бесплатный сервис конкурента. Вместо того, чтобы сделать свой, лучше.[/QUOTE]

Это не полемика, а политика.

PS: Чужого жука каждый норовит обругать :)

Alexey P., Вы неверно информированы - у меня проблем нет.
Проблемы есть у пользователей, которые поверив ответу линк-чеккера, заходят на сайт браузером.

[QUOTE=Alexey P.;267539]Всё же я склоняюсь к мнению, что вся эта Ваша полемика не более чем попытка очернить бесплатный сервис конкурента. Вместо того, чтобы сделать свой, лучше.[/QUOTE]
Алексей, я показываю принципиальную бесполезность такого сервиса - его можно улучшать до бесконечности, но от этого он не станет менее бесполезным. Главная причина: он проверяет не те данные, которые попадают в браузер реальному пользователю.

[size="1"][color="#666686"][B][I]Добавлено через 1 минуту[/I][/B][/color][/size]

[QUOTE=Alexey P.;267539]Вы предлагаете обойтись одним лишь бесплатным сервисом? [/QUOTE]
Это предлагает ООО "Доктор Веб": [url]http://info.drweb.com/show/3462/ru[/url]
[QUOTE]Для использования Dr.Web LinkChecker нет необходимости устанавливать антивирус Dr.Web.[/QUOTE]

[size="1"][color="#666686"][B][I]Добавлено через 3 минуты[/I][/B][/color][/size]

[QUOTE=Alexey P.;267539]Это естественно - проверить не на чем, своего чекера нет и не предвидится.[/QUOTE]
Не поверите - есть.

[QUOTE]Алексей, я показываю принципиальную бесполезность такого сервиса - его можно улучшать до бесконечности, но от этого он не станет менее бесполезным.[/QUOTE]Также как любой антивирус.
[QUOTE]Для использования Dr.Web LinkChecker нет необходимости устанавливать антивирус Dr.Web. [/QUOTE]Это говорит лишь о том, что плагин работает независимо от антивируса.
[QUOTE]Не поверите - есть.[/QUOTE]Я тоже не верю.

[QUOTE=DVi;267557]Проблемы есть у пользователей, которые поверив ответу линк-чеккера, заходят на сайт браузером.[/QUOTE]
А как быть с Вашими пользователями, которые слепо надеются на продукт Вашей компании и всё равно заражаются? В таком случае можно поговорить о бесполезности продуктов Вашей компании :)

[QUOTE]Это предлагает ООО "Доктор Веб": [url]http://info.drweb.com/show/3462/ru[/url][/QUOTE]
А скажите мне, в чём тут неправда? Да, действительно не надо устанавливать. Не перевирайте фразы. Речь идёт о том, что для работы линк-чекера не требуется установленный антивирус drWeb, а не об отказе от установки полноценного антивируса и надежды на один линк-чекер