Проверка URL'ов, есть ли смысл?

[quote=TANUKI;137141]Жду чего-то подобного и от Касперских ;) особенно плагинчик не помешал бы ;)[/quote]
Вряд ли дождетесь, ибо: [url]http://forum.kasperskyclub.com/index.php?s=&showtopic=2470&view=findpost&p=23991[/url]

А что-то вроде [url]http://online.drweb.com/?url=1[/url] есть в планах? Только чтобы скрипты, картинки проверял...

[QUOTE=DVi;137224]Вряд ли дождетесь, ибо: [url]http://forum.kasperskyclub.com/index.php?s=&showtopic=2470&view=findpost&p=23991[/url][/QUOTE]
Как я понимаю, смысл не только в проверке страниц, но и в проверке файлов без закачки, что в условиях недешевого инета иногда актуально.
А вообще, оффтоп уже.

[quote=Maxim;137229]А что-то вроде [URL]http://online.drweb.com/?url=1[/URL] есть в планах?[/quote]
Максим, учитесь читать и понимать прочитанное: данный выше ответ по плагину и есть ответ на Ваш вопрос.
[quote=Maxim;137229]Только чтобы скрипты, картинки проверял...[/quote]
А кто будет платить за входящий трафик антивирусного сервера?
[quote=icon;137247]Как я понимаю, смысл не только в проверке страниц, но и в проверке файлов без закачки, что в условиях недешевого инета иногда актуально.
[/quote]
На многих download-серверах уже давно не дают прямой ссылки на скачивание: обычно это ссылка на скрипт, который после нескольких редиректов выдает файл. Поэтому такой плагин бесполезен и в этих случаях - фактически он проверяет отлупы веб-сервера вместо файла дистрибутива.

P.S. Действительно, это уже оффтопик. Если хочется поговорить про бесплатную проверку URL'ов - заведите новую тему.

DVi, а по-моему, Maxim вашей фирме комплимент сделал? Мол, есть хорошая вещь у ваших конкурентов, но я им не доверяю, а вашей буду пользоваться. А вы его отшили. ;)

[QUOTE]Максим, учитесь читать и понимать прочитанное: данный выше ответ по плагину и есть ответ на Ваш вопрос.[/QUOTE]Не совсем. Расход трафика на систему плагинов гораздо больше, чем форма проверки на сайте. Почему? Посылать на проверку всякий мусор через форму нет так удобно как через плагин, злоупотреблений будет меньше.
[QUOTE]А кто будет платить за входящий трафик антивирусного сервера? [/QUOTE]А кто платит сейчас? Или формой проверки файлов ни кто не пользуется? Неужели в Москве нет безлимитных тарифов?

[B]SuperBrat[/B], я уже привык. Виталий считает, если я не понял его высказывание с первого раза, значит я не внимательно читаю.

Безлимитные тарифы есть только для частных лиц. Да не такие уж они и безлимитные на самом деле.

Ну моя безлимитка 200 Кбит\сек для меня в самом деле безлимитка. Хотя если поднимут скорость в 2-3 раза не откажусь :)

[quote=pig;137407]Безлимитные тарифы есть только для частных лиц. Да не такие уж они и безлимитные на самом деле.[/quote]
Дело не в безлимтке, а в том, о чем говорил DVi выше, если резюмировать:
1. Без проверки на N уровней в глубину нельзя выдать нормальный вердикт, заражен сайт или нет. А если проходить эти N уровней, то это время + дикий трафик + тот факт, что время отклика многих сайтов делеко не нулевое. И если на проверяемой страничке туча ссылок на рулетки/баннеры и прочую дребедень, то все это придется по хорошему отработать
2. Обход ссылок и анализ будет делать "робот", имеющий один или несколько внешних IP - зловредописателю не составит труда сделать динамическую выдачу страниц - роботу чистую, юзеру - зловреда
3. Если такой сервис приживется, то это мощнейшая нагрузка на канал и сервер как в лаборатории, так и на проверяемых серверах - WEB мастера не придут в восторг от того, что их сайты будет сканировать что-то там, снижая быстродействие
4. Многие ссылки и редиректы ведутся скриптами, по хорошему для их отработки придется эмулировать браузер + скрипт-машину браузера. А если скрипт выдаст сообщение на экран, требующее интрактивности ? Как тогда это эмулировать - проверять все варианты ?

С другой стороны, WEB антивирусу к примеру в KIS наплевать, каким образом пользователь получает данные из Инет и сколько итераций такой загрузки прошло - найдя зловреда он его проблокирует независимо от того, тащили его прямой ссылкой или это 169 итерация из редиректов по туче старниц и скриптов.

Вопросов больше нет. Спасибо.

Несмотря на всё вышесказанное, достаточно часто удается проверить архивчик без закачки себе на комп, сэкономив трафик. :)
Ориентированный на юзера сервис, так сказать.
>>А кто будет платить за входящий трафик антивирусного сервера?
Хм. Интересный вопрос.
Кто же платит за доктора? :)

[quote=icon;137428]Несмотря на всё вышесказанное, достаточно часто удается проверить архивчик без закачки себе на комп, сэкономив трафик. :)
[/quote]
Вот это как раз делать не стоит ! См. п.п. 2 - а что если там хитрый PHP скриптик или хитрая настройка сервера, которая для проверялки выдает чистый объект, а для обычного юзера - заразу ? Построить такое разграничение по IP очень просто ...

Такое, наверное, возможно. Но я не знаю зачем и кому это нужно?
Тех кто пользуется всякими подобными сервисами - очень мало. Соответственно никто под это дело отдачу затачивать не будет. А лишнее упоминание где-нибудь в прессе или на любом форуме полезно предоставляющему такой сервис. :)
P.S. А архивчик ведь всё-равно локально будет проверен.
P.P.S. Если говорить о том, что всё это создает некую иллюзию безопасности, то кто из любых антивирусов эту иллюзию не создает? :) Раздел "Помогите" - отличное подтверждение этого тезиса.

Суммируя.
Лично я не расстроюсь если не будет вообще такого сервиса, но если он есть, то почему бы и не воспользоваться возможностями им предоставляемыми?

2 DVi и Зайцев Олег,
На что расчитывали вэбберовцы при разработке этого плагина? Кстати, кто-то из ДрВэб вступится за свой продукт? :)

[QUOTE=TANUKI;137525]На что расчитывали вэбберовцы при разработке этого плагина? Кстати, кто-то из ДрВэб вступится за свой продукт? :)[/QUOTE]

Хм... на то, на что он и рассчитан - проверка файла по ссылке, не более и не менее. Да и вступаться тут некому.

[QUOTE]На что расчитывали вэбберовцы при разработке этого плагина?[/QUOTE]
Странный вопрос.
Плагин работает. :)

[url]http://forum.drweb.com/message/6087/0/#60260[/url]
[QUOTE]На данный момент плагин проверяет лишь объект на который указывает
ссылка, будь то файл, html-страница, итп. Разбор страниц и проверка
скриптов, ссылки на которые могут быть внутри, планируется реализовать.[/QUOTE]

[QUOTE=TANUKI;137525]
,,,Кстати, кто-то из ДрВэб вступится за свой продукт? :)[/QUOTE]

а что, кто-то должен вступаться/защищать? Вы в роли нападющего из команды другого антивируса решили напасть на конкурента?
Умерьте свой пыл, остыньте, глубоко вздохните и выдохните. Во время процедуры думайте о чём-то приятном. Повторите упражение 3 раза.

"Ребята, давайте жить дружно" (с) Кот Леопольд

[quote=icon;137457]Суммируя.
Лично я не расстроюсь если не будет вообще такого сервиса, но если он есть, то почему бы и не воспользоваться возможностями им предоставляемыми?[/quote]
+1. Кроме того, это отличная рекламная площадка.

P.S. В начале этой темы я лишь написал, почему ЛК не делает такого сервиса.

>>Умерьте свой пыл, остыньте, глубоко вздохните и выдохните. Во время процедуры думайте о чём-то приятном. Повторите упражение 3 раза.

Кнопку спасибо, к сожалению, нажать нельзя. Наверное, потому что "Сообщения: 1"
А так: +1 :)

[quote=Zveroboy;137589]"Ребята, давайте жить дружно" (с) Кот Леопольд[/quote]
+1

ОФФ:
Добро пожаловать, [B]Zveroboy[/B]!
Может быть, Вам удастся позвать сюда вирусных аналитиков DrWeb - это было очень полезно для команды Вирусинфо. Я затаскивал сюда аналитиков ЛК, но пока с переменным успехом.

[QUOTE=icon;137595]
Кнопку спасибо, к сожалению, нажать нельзя. Наверное, потому что "Сообщения: 1"
А так: +1 :)[/QUOTE]
Репутацию добавьте. ;)

[url]http://forum.drweb.com/viewtopic.php?t=6087[/url]
"Тем не менее даже с имеющимся функционалом плагин очень неплохо
определяет зараженные веб-страницы, сейчас это в основном
VBS.Packfor, VBS.Psyme (у Storm - VBS.Psyme.434) и т.д.
У Касперски Лаб и на тот сервис, который предоставляет бесплатный
DrWeb плагин, духу не хватило. Я предлагал г-ну Никишину организовать
аналогичный сервис примерно года два назад. Сказали, дорого и накладно.
А то, что они пишут по вышеприведенной ссылке - оно понятно, работа у них
такая.
P.S. Загружать на сайт и проверять _все_ ссылки, имеющиеся на
проверяемой странице - имхо, довольно затратная вещь, её придется
как-то ограничивать разумными рамками. Страницы разными бывают, некоторые
гейтвеи тонны мусора по редиректам закачивают, накручивают клики.
Best regards, Alexey"

Согласен с DVi по поводу вирусных аналитиков DrWeb, послушать комментарии аналитиков на нетральной площади (virusinfo.info), а не постить ссылки на форумы DrWeb и ЛБ.

За два года слова "дорого и накладно" не потеряли своей актуальности.
+ проявилось достаточно много минусов, о которых написал я и подтвердил [b]Alexey P.[/b]

[QUOTE=DVi;137672]За два года слова "дорого и накладно" не потеряли своей актуальности.
+ проявилось достаточно много минусов, о которых написал я и подтвердил [b]Alexey P.[/b][/QUOTE]
Так Вы ж про плюсы не написАли...

[quote=borka;137676]Так Вы ж про плюсы не написАли...[/quote]
Отчего ж не написал? [URL="http://virusinfo.info/showpost.php?p=137591&postcount=19"]Написал выше[/URL].

[QUOTE=DVi;137680]Отчего ж не написал? [URL="http://virusinfo.info/showpost.php?p=137591&postcount=19"]Написал выше[/URL].[/QUOTE]
Возможно, рекламная площадка - это само собой. Но то, что это реально работает, и юзеры не скачивают Пластиксы и ему подобные веСТЧи - это факт. Проверено неоднократно.

Борис, вот первая же запомнившаяся мне [URL="http://forum.drweb.com/index.php?method=showhtmllist&list=message&rollid=4049&words=%E7%E0%F0%E0%E6%E5%ED%E8%E5+%F1%E0%E9%F2%E0&clearoff=1"]ссылка на форуме DrWeb[/URL].
Alexey Podtoptalow проверил указанный сайт плагином и авторитетно заявил, что сайт чист. А между тем в этот момент там сидел всем нам известный iframe со ссылкой на Psyme. Psyme грузился автоматически всем зашедшим туда пользователям и моментально исполнялся в браузере. За собой он тянул Tiny.eo и Small.ddy. А что за собой тянули эти два зверька, я уже не разбирался.

Как Вы полагаете, плагин выполнил свою работу в данном случае?

[QUOTE=DVi;137690]Борис, вот первая же запомнившаяся мне [URL="http://forum.drweb.com/index.php?method=showhtmllist&list=message&rollid=4049&words=%E7%E0%F0%E0%E6%E5%ED%E8%E5+%F1%E0%E9%F2%E0&clearoff=1"]ссылка на форуме DrWeb[/URL].
Alexey Podtoptalow проверил указанный сайт плагином и авторитетно заявил, что сайт чист. А между тем в этот момент там сидел всем нам известный iframe со ссылкой на Psyme. Psyme грузился автоматически всем зашедшим туда пользователям и моментально исполнялся в браузере. За собой он тянул Tiny.eo и Small.ddy. А что за собой тянули эти два зверька, я уже не разбирался.[/QUOTE]
Ну, во-первых, нужно спросить у Алексея, что и как он проверял. ;) Плюхином или не. Думается, он проверял не плюхином. Во-вторых, я ужЕ не помню, был ли известен Доктору на тот момент [b]именно этот[/b] Псюме. Но неоднократно видел ответ сервера о зараженности сайта клонами этого вируса.

[QUOTE=DVi;137690]Как Вы полагаете, плагин выполнил свою работу в данном случае?[/QUOTE]
Я же не говорю, что плюхин - это панацея. Но в некоторых случаях здОрово помогает.

[quote=borka;137703]Ну, во-первых, нужно спросить у Алексея, что и как он проверял. ;) Плюхином или не. Думается, он проверял не плюхином.[/quote]
Если Алексей вспомнит этот инцидент, он сам нам расскажет, как было дело. Думаю, если бы он как обычно вел наблюдение со своей тестовой машины, он не мог бы не заметить весь тот зоопарк, который лез вслед за этим Псаймом.

[quote=borka;137703]
Во-вторых, я ужЕ не помню, был ли известен Доктору на тот момент [B]именно этот[/B] Псюме.[/quote]
Весь этот топик посвящен тому, что проверять ссылку следует неограниченно глубоко, чтобы полностью эмулировать поведение браузера пользователя. В этом случае, если бы DrWeb не знал конкретно этого Псайма, он выявил бы Тини или Смолла, или еще хоть кого-нибудь из цепочки зловредов.

Ну а так как полностью эмулировать поведение браузера практически невозможно, то и эффективность проверки ссылок на отдельно стоящем сервере подвергается мной сомнению. Гораздо большей эффективностью обладает прокси-сервер, прозрачно проверяющий весь трафик браузера - ему нет необходимости имитировать действия браузера.

[QUOTE=DVi;137707]Весь этот топик посвящен тому, что проверять ссылку следует неограниченно глубоко, чтобы полностью эмулировать поведение браузера пользователя. В этом случае, если бы DrWeb не знал конкретно этого Псайма, он выявил бы Тини или Смолла, или еще хоть кого-нибудь из цепочки зловредов.

Ну а так как полностью эмулировать поведение браузера практически невозможно, то и эффективность проверки ссылок на отдельно стоящем сервере подвергается мной сомнению. Гораздо большей эффективностью обладает прокси-сервер, прозрачно проверяющий весь трафик браузера - ему нет необходимости имитировать действия браузера.[/QUOTE]
В идеале - конечно, нужно проверять все. Но того плюхина, который есть, вполне хватает для проверки открыто лежащей заразы.

[QUOTE=borka;137708]Но того плюхина, который есть, вполне хватает для проверки открыто лежащей заразы.[/QUOTE]
Которой весьма и весьма хватает.

[B]2 Shu_b,[/B]
Плагин работает, причем, не смотря на выпады конкурентов. Это не панацея, но лишняя подстраховка не помешает ;) И спасибо команде Вэба, что она выпускает такие удобные и простые решения, как это плагин и CureIT. Вопрос: "на что расчитывали" нес в себе скорее попытку узнать - стоило ли выпускать плагин, которые так критикуют, и, порой, вполне оправданно, конкуренты.
Как вижу "вступаться" нашлось кому и это хорошо, потому как сторонний читатель сможет лучше разобраться в этом вопросе.

[B]2 Zveroboy,[/B]
[B]
Умерьте свой пыл, остыньте, глубоко вздохните и выдохните. Во время процедуры думайте о чём-то приятном. Повторите упражение 3 раза.[/B]

Со своей стороны советую вам проделать тоже самое, что бы в более спокойном, а не взвинченном настроении ВНИМАТЕЛЬНЕЙ читать сообщения форума. Это стоит делать хотя бы для того, что не приписывать людям несуществующих обидных качеств. Я не отношусь ни к какой из "команд", не состою в стаде или корпоративных группах. Это вам на будущее, вдруг опять забудетесь, не вчитаетесь, и припишете ересь к моему образу.

Если вы читали мое предыдущие сообщение, то, наверное бы, до вас дошло хоть каким-то образом, что никаким боком "опускать" продукцию Вэба я не собирался, а наоборот, благодарил за очень удобное и полезное решение. После появления критики на сайте ЛК мне, например, очень захотелось разобраться в этом вопросе подробнее, потому и попытался своей репликой дать понять кому-то из форумчан-вэбовцев (расчитывал, что такие найдутся), что пользователям их плагина хочется услышать точку зрения разработчика на критику. Оправдываться никто не обязан, а вот ответить на критическую оценку, причем данную в весьма гонористой и принебрежительной форме на сайте ЛК я думаю, просто необходимо. О чем и написал. Что не так?

П. С. С уважением отношусь к разработчикам любых антивирусов, потому что они делают важную и полезную работу. Очень расстраивает, что словестные перепалки в форумах между ЛК и ДрВэб носят систематический характер. :(

[QUOTE=TANUKI;137826][B]2 Zveroboy,[/B]
[B]
Умерьте свой пыл, остыньте, глубоко вздохните и выдохните. Во время процедуры думайте о чём-то приятном. Повторите упражение 3 раза.[/B]

Со своей стороны советую вам проделать тоже самое, что бы в более спокойном, а не взвинченном настроении ВНИМАТЕЛЬНЕЙ читать сообщения форума. Это стоит делать хотя бы для того, что не приписывать людям несуществующих обидных качеств. Я не отношусь ни к какой из "команд", не состою в стаде или корпоративных группах. Это вам на будущее, вдруг опять забудетесь, не вчитаетесь, и припишете ересь к моему образу.[/QUOTE]
Так это вроде бы не вам советовали... Я так думаю (c)

[quote=DVi;137707]
....
Весь этот топик посвящен тому, что проверять ссылку следует неограниченно глубоко, чтобы полностью эмулировать поведение браузера пользователя. В этом случае, если бы DrWeb не знал конкретно этого Псайма, он выявил бы Тини или Смолла, или еще хоть кого-нибудь из цепочки зловредов.

Ну а так как полностью эмулировать поведение браузера практически невозможно, то и эффективность проверки ссылок на отдельно стоящем сервере подвергается мной сомнению. Гораздо большей эффективностью обладает прокси-сервер, прозрачно проверяющий весь трафик браузера - ему нет необходимости имитировать действия браузера.[/quote]
Вот именно ... эмулировать поведение браузера можно (тогда уже точнее - браузеров), но это будет уже не плагин, а целый аппаратный аналитический комплекс. И анализировать он будет со скоростью примерно 1 URL в минуту на узел, не быстрее. Анализ бедет очень глубоким и тщательным, но очень медлинным и трафикопрожорливым.
Теперь по поводу плагина - если уже так хочется народу, я могу сделать тулзу-плагин для KIS7, который будет проверять указанную ссылку, используя ресурсы и трафик локального ПК + AV ядро KIS ... на этой тулзе народ сможет убедиться в правоте наших слов

[QUOTE=Зайцев Олег;137884]
Теперь по поводу плагина - если уже так хочется народу, я могу сделать тулзу-плагин для KIS7, который будет проверять указанную ссылку, используя ресурсы и трафик локального ПК + AV ядро KIS ... на этой тулзе народ сможет убедиться в правоте наших слов[/QUOTE]
Злые вы. ;) Угрожать начали. :) Где ж это видано - свои ресурсы тратить! Лучше будем ресурсы online.drweb.com использовать.

[quote=SuperBrat;137886]Злые вы. ;) Угрожать начали. :) Где ж это видано - свои ресурсы тратить! Лучше будем ресурсы online.drweb.com использовать.[/quote]
Мы не злые, мы реалисты :) Проверять ресурс нужно с IP того, кто его хочет качать !! Это аксиома ... ибо зловредописатели далеко не дураки и давно существуют блек-листы IP, принадлежащих вирлабам и разным там анализаторам

По поводу web-страниц мне и в голову не приходит проверять их на online.drweb.com или только лишь там. Про то как зловреды маскируются для online.drweb.com - в курсе. А вот когда стоит выбор качать тот или иной софт (нет ли в нем шпионов), а канал у меня не широкий, я иду к "добрым людям" на online.drweb.com. Спасибо им за доброту, а ЛК за реализм. ;)

[quote=SuperBrat;137900]По поводу web-страниц мне и в голову не приходит проверять их на online.drweb.com или только лишь там. Про то как зловреды маскируются для online.drweb.com - в курсе. А вот когда стоит выбор качать тот или иной софт (нет ли в нем шпионов), а канал у меня не широкий, я иду к "добрым людям" на online.drweb.com. Спасибо им за доброту, а ЛК за реализм. ;)[/quote]
В принципе тут опять-же может быть заковыка - для анализатора архив будет выдан нормальный, для пользователя - с шпионом. Более того, большинство файловых и варезных архивов содержат разные антиличи и прочие системы защиты от публикации прямых ссылок на файл. Т.е. если я вижу в файловом архиве ссылку вида [url]http://z-oleg.com/files/66287883299EF523A6B7/super-puper-file.zip[/url], то скачать этот файл смогу только я (длинный бредокод в адресе привызывает линк к моему IP) - если передать такой URL стороннему сервису WEB проверки, то он обратится по указанном URL, получит в ответ код 200 и текстовую страничку с описанием, как нехорошо качать файлы по чужим ссылкам и выдаст вердикт, что все чисто). защититься от этого можно, если сервис показывает размер файла (online.drweb.com показывает - т.е. если вместо 16 мб я получаю 16 кб, то ясно, что сработала привязка к IP).
Тема к сожалению постепенно скатывается на флейм, что плохо, так как проблема проверки WEB ресурсов - это актуальная тема, так как в последний год я наблюдаю очень активный рост защиты от WEB проверялок. Причем реализуется он двумя базовыми путями:
1. Статический список-фильтр (я для опыта сделал примерчик - [URL]http://z-oleg.com/eicar.php[/URL] - он выдает EICAR для всех IP и чистый объект для проверялки online.drweb.com). Я лично на подобные "грабли" налетал уже неоднократно
2. Динамический список - первое обращение с любого IP приводит к выдаче зловреда, второе - выдается безвредный мусор, т.к. на IP автоматом ставится бан. Следовательно ПК юзеров будут заражаться, а любая автопроверялка за счет многократных обращений сама себя забанит.
Вариант 2 эффективен и против админов - если выход в Инет через прокси или NAT транслятор, то соответственно юзер получит зловреда, а проверяющий открытые юзером ссылки админ получит мусор (у них общий внешний IP - блокировка сработает).

[quote=Зайцев Олег;137915](я для опыта сделал примерчик - [URL]http://z-oleg.com/eicar.php[/URL] - он выдает EICAR для всех IP и чистый объект для проверялки online.drweb.com)[/quote]
Угу, работает как написано.

[quote=Зайцев Олег;137915]Я лично на подобные "грабли" налетал уже неоднократно[/quote]
Все налетали - достаточно посмотреть топик [URL="http://virusinfo.info/showthread.php?t=3510"]url сайтов, с которых инсталлируется malware[/URL] в закрытой части форума. Там неоднократно возникали споры: "- У меня зловред виден на этой странице. - А у меня нет."