Angel - новый вариант whitelisting

Компания NictaTech Software, конечным пользователям известная в первую очередь по антивирусу Stop!, решила доработать идею онлайн-антивируса, сделав её пригодной для практического применения.

Разработанная ей программа [URL="http://www.nictasoft.com/ftp/aa10.exe"][COLOR=#810081]Autorun Angel[/COLOR][/URL], в отличие от антивирусов, пытающихся найти вирус в каждом запущенном приложении и открытом файле, ведёт «белый список», в котором перечислены файлы, вирусом точно не являющиеся – и если вы открываете такой файл, никаких дальнейших действий [URL="http://www.nictasoft.com/ftp/aa10.exe"][COLOR=#810081]Autorun Angel[/COLOR][/URL] не предпринимает. Если же файл в «белом списке» не найден, Autorun Angel отсылает его на антивирусный сервер для детальной проверки.


При этом решается сразу и ещё одна задача: в случае с обычными антивирусами в ответ на любые жалобы пользователей на подозрительные файлы специалисты-вирусологи неизменно отвечают «Присылайте файл, посмотрим...». В случае с Autorun Angel же подозрительный файл сразу оказывается в их распоряжении.

[B]Angel FAQ:[/B]

[B]Что это ?[/B]
Сложно сказать однозначно :)
Как показала практика — каждый понимает идею по своему, и наверное это здорово.
Изначальная идея была такова.
Мы хотели сделать утилиту для надежной проверки критических файлов в работе системы.
В случае с обычным антивирусом, файл проверяется и выносится вердикт ОК, но на практике это означает "Тут пока и вроде как все нормально".
Angel проверяя файл и вынося вердикт ОК (Checked если быть точным) подразумевает "Сначала этот файл проверили антивирусом, затем параноидальным антивирусом, затем аналитики посмотрели этот файл и вот теперь все вместе говорят, что с файлом все ОК"
При этом проверка производится в режиме он-лайн, что отменяет необходимость регулярного обновления антивирусных баз"


[B]Это антивирус ? [/B]
Нет. Angel утилита предназначенная для быстрой и надежной (это слово тут не для пиара) проверки критичных областей операционной системы.

[B]Т.е. оно как антивирус, но находит именно чистые файлы ? [/B]
В приципе да. Зловредные программы Angel точно так-же находит.

[B]А можно этим пользоваться ? [/B]
В данный момент это концептуальная бета-версия. Но, то, что она работает и помогла уже нескольким десяткам людей это факт.

[B]А почему именно он-лайн ?[/B]
Данная технология "выросла" из наших внутренних разработок.
За сутки мы анализируем порядка 70-100 Гб различных файлов.
Конечно 90% работы выполняют роботы которые в режиме "параноидальной эвристики" отсеивают, то, что должен перепроверить человек. В любом случае на каждый проверяемый файл мы выносим вердикт и вердикт этот заносится в специальную базу.
В итоге Autorun Angel получает данные из этой базы.

Если нам захочется изменить методику или изменить все, что угодно для адекватной реакции на современные угрозы, ВСЕ пользователи получат результаты немедленно.

И самое главное, в момент когда в базу попадают данные о новых программах — абсолютно все пользователи "получают" их у себя.

Это концептуально и очень интересно. И мы будем работать над этим.

[B]А на практике ?[/B]
Запускаем программу, нажимаем "Scan", программа посылает запрос серверу на предмет "знаком" ли сервер с этим файлом.
Сервер говорит "Знаком", файл помечается вердиктом "Checked" (можно дополнительно проверять цифровую подпись) и с большим спокойствием этот файл скрывается из списка, он нам больше не интересен. Он опознан как "Хороший".
В итоге в списке останутся только те файлы которые не знакомы серверу. Их можно отправить на анализ и через время повторить проверку (файлы уже попадут в базу данных и будут отмечаться как Checked)
Файлы которые являются зловредными программами (вирусами, червями и т.п.) будут отмечены как Malware.

[url]http://secureblog.info/articles/266.html[/url]

[size="1"][color="#666686"][B][I]Добавлено через 6 минут[/I][/B][/color][/size]

Кстати, если данная технология не будет внедрена в АВЗ и АВПТул, то очень скоро они станут просто никому не нужными. (Само собой в KAV/KIS)
А я, кстати, предлагал это ЛК еще год назад. Могли бы быть первыми.

У меня вопросы:
-файлы копируетк себе "домой" на проверку- те что пользователь указал или программа сама то что хочет то и посылает?
-те файлы, что проверила и оказались чистыми - защищает ли их программа
от изменения или хотя бы предупреждает пользователя что проверенные файлы изменились? Если такого механизма нет, можно посылать проверять до опупения.

Отсылает то что пользователь указывает из не прошедших проверку.

[size="1"][color="#666686"][B][I]Добавлено через 4 минуты[/I][/B][/color][/size]

У меня нашлось 45 неизвестных. Недостаток в том, что библиотеки не проверяются. Ну это и понятно. На начальной стадии и с процессами будет завал

[quote=Geser;277547]Отсылает то что пользователь указывает из не прошедших проверку.

[SIZE=1][COLOR=#666686][B][I]Добавлено через 4 минуты[/I][/B][/COLOR][/SIZE]

У меня нашлось 45 неизвестных. Недостаток в том, что библиотеки не проверяются. Ну это и понятно. На начальной стадии и с процессами будет завал[/quote]
Так он посылает контрольные суммы или файлы ?! Если файлы, то это "мертворожденный ребенок" - так как:
1. Далеко не все будут передавать десятки мегабайт файлов
2. Ни одна здравомыслящая служба безопасности не позволит применять такую штуку в сети корпорации
3. Если тулза станет популярной - трафиг будет гиганским и будет кирдык серверу, принимающему файлы (у меня 160 теребайт только исходящего трафика на закачках AVZ только с моего сайта с начала года, а тут по может быть 5-30 мб с каждого юзера ...).

[QUOTE=Зайцев Олег;277594]Так он посылает контрольные суммы или файлы ?! Если файлы, то это "мертворожденный ребенок" - так как:
1. Далеко не все будут передавать десятки мегабайт файлов
2. Ни одна здравомыслящая служба безопасности не позволит применять такую штуку в сети корпорации
3. Если тулза станет популярной - трафиг будет гиганским и будет кирдык серверу, принимающему файлы (у меня 160 теребайт только исходящего трафика на закачках AVZ только с моего сайта с начала года, а тут по может быть 5-30 мб с каждого юзера ...).[/QUOTE]

Посылаются сначала контрольные суммы, а потом посылаются не опознанные файлы.
Я с тобой совершенно не согласен. Через год-два такой функционал будет во всех крупных антивирусах. Можем поспорить :)
1. Ну и что, всем и не нужно. Даже если 10% будут посылать, то неизвестных файлов будут единицы. А свежие зловреды будут обнаруживаться на порядок быстрее.
2. В корпорациях отсылка будет централизованной, после того как служба безопасности проверит что нет конфиденциальных данных. Потому как ни одной корпорации не хочется иметь у себя бекдор.
3. Трафик не будет гигантским. В начале будет довольно большой, а потом будут копейки, поскольку в автозагрузку пишутся очень мало программ. Что уже доказано тем же АВЗ.

[quote=Geser;277601]Посылаются сначала контрольные суммы, а потом посылаются не опознанные файлы.
Я с тобой совершенно не согласен. Через год-два такой функционал будет во всех крупных антивирусах. Можем поспорить :)
1. Ну и что, всем и не нужно. Даже если 10% будут посылать, то неизвестных файлов будут единицы. А свежие зловреды будут обнаруживаться на порядок быстрее.
2. В корпорациях отсылка будет централизованной, после того как служба безопасности проверит что нет конфиденциальных данных. Потому как ни одной корпорации не хочется иметь у себя бекдор.
3. Трафик не будет гигантским. В начале будет довольно большой, а потом будут копейки, поскольку в автозагрузку пишутся очень мало программ. Что уже доказано тем же АВЗ.[/quote]
1. Файлов будет лавина - мне это очень хорошо известно :) Даже если взять большую корп. сеть, скажем на 1000 ПК и пытаться применяемый там софт держать в базе чистых (хотя-бы на уровне запушенныого и находящегося в автозагрузке), то придется постоянно ее пополнять, по 50-100 файлов в день (причина банальна - всякие гаранты-консультанты, 1C, туча самописного или ведомстенного софта, криптошифровалки, лавина разных украшалок системы, скринсейверов, плагинов и т.п.). У меня действует такая система очень давно, и поток добавляемых файлов не снижается во времени.
2. В корпорациях никто этим заниматься не будет :) Это я как СБ-шник с большим стажем говорю - ибо служба безопасности не совсем двинулась головой, чтобы заниматься аудитом того, что какая-то непонятная программа посылает неясно кому непонятно для чего (особенно если посылает в сжато-зашифрованном виде).
3. См. п.п. 1 - трафик не иссякнет никогда !! Берем скажем 1000 программ, это 10000 файлов. Но файлы то постоянно обносляются - выходят новые версии, каждая третья программа сейчас с автоапдейтом через Инет и т.п. Берем тот-же антивирус - у него компоненты постоянно апдейтятстя, возьмем за прмиер того-же KIS, сколько его версий гуляет по Инет ?! Прибавим тучу его бета-версий, и получим десятки тысяч файлов только на нем. Плюс разные локализации продуктов (при условии, что локаль не в базе, а именно локализуется файл). Плюс креки (крекнутая версия отличается контрольной суммой от нормальной, для популярной программы будет несколько типов креков). AVZ сейчас распознает порядка 70-80% ПО по базе чистых, многое за счет ЭЦП. Чтобы довести эту цифру скажем до 90% - нужно увеличить базу на 1-2 порядка, вместо 70 тыс получить 700-800 тыс.
Поэтому это решение проблемы ... тем более что получив поток файлов разработчики столкнутся с другой проблемоу - как понять, чистый файл или нет ? Скажем это какой-то непонятный драйвер, сам по себе (без управляющей программы) он ничего не делает, следовательно поведенческий автоанализ в чистом виде отпадает. И что с ним делать - ковырять дизассемблером ?! А как быть с файлами, допускающими двойственное применение (в полезных целях и в зловредных) ?
Поэтому AV разработчики идут другим путем -
1. Создают базы ЭЦП тех поставщиков, которым доверяют (с возможностью добавления или удаления ЭЦП). В такой ситуации скажем для идентификации файлов MS или Adobe достаточно только проверить ЭЦП. Все больше крупных производителей ПО видят эту тенденцию и подписываю свои исполняемые файлы
2. Оснащают свои продукты всякими эвристиками, которые могут заподозрить и закарантинить что-то. Например эвристик KIS7 (в частности эмулятор) из входящего потока всякой дряни у меня на конвейере ежедневно отлавливает с десяток новых неизвестных науке зверей. Если умножить работу такого эвристика на миллионы юзеров KIS - получим карантин, но не всего подряд, а только вызывающего подозрение.

Олег, Вы упомянули про траффик от обновлений с Вашего сайта. Поэтому если это не секрет, то раскройте следующую информацию:
1). Сколько примерно людей в день обновляются?
2). Каково процентное соотношение по странам?.. (не обязательно по всем а по двум ведущим например)

[quote=priv8v;277610]Олег, Вы упомянули про траффик от обновлений с Вашего сайта. Поэтому если это не секрет, то раскройте следующую информацию:
1). Сколько примерно людей в день обновляются?
2). Каково процентное соотношение по странам?.. (не обязательно по всем а по двум ведущим например)[/quote]
112 миллионов закачек, 258 миллионов обновлений всего за примерно 2.5 года. 47 миллионов закачек AVZ и около 55 миллионов обновлений с начала года (т.е. в месяц в среднем 6 миллионов обновлений, в день - более 200 тыс.). Обновления точно посчитать сложно - так как есть зеркало на VI и есть возможность скачать базы одним файлом. Аналогично загрузки AVZ с зеркал - только с рапидшары его качнули 45 тыс. раз за 4 месяца. Детальную статистику я не храню (объем логов огромный), по текущей 38..45% - однозначно Россия, 4-5% - Украина, 2% - США, 1% - Белоруссия, остальное идет под грифом "прочее/неизвестно".

А, еще в цифрах трафик ... более 160 теребайт исходящего трафика с начала года, по причине чего я получил вежливый ультиматум от хостера в лице Agava о том, что или я как-то сниму нагрузку, или они загонят мой сайт "на сервер для пользователей с большой нагрузкой, и это приведет к его очень нейсточивой работе" (т.е. говоря по русски - прикроют), или я перееду на выделенный сервер с соответствующим тарифным планом. Вот эти цифры очень хорошо показывают, во что оборачивается раскрученный проект - но тут то по большому счету ничего не передается на мой сайт, каратины в объеме порядка теребайта в год на этом фоне - капля в море. А вот если наладить автоотправку карантинов и создать багабазу чистых, то легко понять, какой трафик намотается на запросах-ответах, плюс какой трафик нагонят присылаемые на изучение семплы.

[QUOTE=Зайцев Олег;277607]1. Файлов будет лавина - мне это очень хорошо известно :) Даже если взять большую корп. сеть, скажем на 1000 ПК и пытаться применяемый там софт держать в базе чистых (хотя-бы на уровне запушенныого и находящегося в автозагрузке), то придется постоянно ее пополнять, по 50-100 файлов в день (причина банальна - всякие гаранты-консультанты, 1C, туча самописного или ведомстенного софта, криптошифровалки, лавина разных украшалок системы, скринсейверов, плагинов и т.п.). У меня действует такая система очень давно, и поток добавляемых файлов не снижается во времени.
2. В корпорациях никто этим заниматься не будет :) Это я как СБ-шник с большим стажем говорю - ибо служба безопасности не совсем двинулась головой, чтобы заниматься аудитом того, что какая-то непонятная программа посылает неясно кому непонятно для чего (особенно если посылает в сжато-зашифрованном виде).
3. См. п.п. 1 - трафик не иссякнет никогда !! Берем скажем 1000 программ, это 10000 файлов. Но файлы то постоянно обносляются - выходят новые версии, каждая третья программа сейчас с автоапдейтом через Инет и т.п. Берем тот-же антивирус - у него компоненты постоянно апдейтятстя, возьмем за прмиер того-же KIS, сколько его версий гуляет по Инет ?! Прибавим тучу его бета-версий, и получим десятки тысяч файлов только на нем. Плюс разные локализации продуктов (при условии, что локаль не в базе, а именно локализуется файл). Плюс креки (крекнутая версия отличается контрольной суммой от нормальной, для популярной программы будет несколько типов креков). AVZ сейчас распознает порядка 70-80% ПО по базе чистых, многое за счет ЭЦП. Чтобы довести эту цифру скажем до 90% - нужно увеличить базу на 1-2 порядка, вместо 70 тыс получить 700-800 тыс.
Поэтому это решение проблемы ... тем более что получив поток файлов разработчики столкнутся с другой проблемоу - как понять, чистый файл или нет ? Скажем это какой-то непонятный драйвер, сам по себе (без управляющей программы) он ничего не делает, следовательно поведенческий автоанализ в чистом виде отпадает. И что с ним делать - ковырять дизассемблером ?! А как быть с файлами, допускающими двойственное применение (в полезных целях и в зловредных) ?
Поэтому AV разработчики идут другим путем -
1. Создают базы ЭЦП тех поставщиков, которым доверяют (с возможностью добавления или удаления ЭЦП). В такой ситуации скажем для идентификации файлов MS или Adobe достаточно только проверить ЭЦП. Все больше крупных производителей ПО видят эту тенденцию и подписываю свои исполняемые файлы
2. Оснащают свои продукты всякими эвристиками, которые могут заподозрить и закарантинить что-то. Например эвристик KIS7 (в частности эмулятор) из входящего потока всякой дряни у меня на конвейере ежедневно отлавливает с десяток новых неизвестных науке зверей. Если умножить работу такого эвристика на миллионы юзеров KIS - получим карантин, но не всего подряд, а только вызывающего подозрение.[/QUOTE]

1. Еше раз. Программа проверяет только файлы прописанные в автозапуск, а не просто запущенные. Подавляющее большинство софта в автозапуск не пишется. Потому из сотен тысяч файлов присутствующих на компе в автозапуске будет пару сотен. Из них большинство это файлы МС подписанные их цифровой подписью. Ясное дело их никто проверять не будет.
Потому не вижу смысла говорить о самописном софте и всяких прикладных программах. Они не пишутся в автозапуск.
2. МОжет этой функции не будет в корпоративных версиях, или корпорации будут доверять АВ вендорам. Вопрос что лучше, если конфеденциальный файл попадет АВ вендору, или если не обнаруженный бекдор переправит его конкуренту?
3. Проблема непонятных огрызков которые приходят на анализ существует и сейчас, и никаким образом не связана с обсуждаемой технологией. Понятно что все поступаемые файлы будут пропускаться через эмуляторы и всевозможные эвристические системы, и только подозрительные будут анализироваться вручную. Опять же, обсуждаемая технология никак на это не влияет.

Де факто на сегодня белые списки получают распространение. И другого пути нет. А для пополнения белых списков нужен именно такой механизм как предложен выше.

про первый пункт: а вы знаете сколько самописного софта в автозагрузке на компах федерального казначейства?.. причем разных версий одного и того же...
а в налоговой?..
там ОЧЕНЬ много выходит...

[QUOTE=priv8v;277624]про первый пункт: а вы знаете сколько самописного софта в автозагрузке на компах федерального казначейства?.. причем разных версий одного и того же...
а в налоговой?..
там ОЧЕНЬ много выходит...[/QUOTE]

В налоговой самописный софт??? Бухгалтера пишут что-ли?:)

[quote=priv8v;277624]про первый пункт: а вы знаете сколько самописного софта в автозагрузке на компах федерального казначейства?.. причем разных версий одного и того же...
а в налоговой?..
там ОЧЕНЬ много выходит...[/quote]
Вот именно ... у меня аналогично, в автозапуске некоторых машин по 15 левых программ висит, из которых:
1. Апдейтеры разного самописного софта. На одном ПК таких апдейторов может стоять на 5 штук, и все разные
2. Интегрирующие оболочки-запускалки (от софта п.п. 1)
3. Запуск разных алертеров/смотрелок от систем документооборота, АРМ регистрации непонятно чего непонятно где, разных напоминальников и оповещальников, криптозащита, поддержка разных ключей и биометрии
4. Средства мониторинга железа (есть такие программы - собирают конфигурацию и шлют "железячникам" на контроль, не поменялась ли у юзера видеокарта и т.п.
5. Разные украшалки, напоминалки, индексировалки, каталогизаторы и т.п., понаставленные юзером. Доходит до абсурда, прибегает юзер ругаться - типа у меня из-за корпоративного антивируса AVP компьютер тормозит. Приходим посмотреть - у него трей соприкасается с кнопкой "пуск" ! В нем висит более 20 наименований разной дребедени, каждое "жизненно важное" для работы, и все ресурсы ПК пожраны этим софтом (тормозило действительно из-за AVP :) у юзера в трее в том числе висело три вида индексаторов документов, которые прилежно шерстили диск, конкурируя друг с другом, а AVP монитор прилежно проверял, что к чему - так как открывали они документы на чтение/запись и один из них вроде как что-то дописывал туда, типа ADS).
6. Гаранты, Консультанты и их аналоги - часто они прямо в автозапуске прописаны, и меняются с завидной регулярностью
7. Документы в автозапуске. Можно долго смеяться, но юзеры знают, что из автозапуска откроется документ. И суют туда конфиденциальные документы пачками, чтобы при запуске ПК сразу открывался документ :)
8. Агенты мониторинга сети, управления ПК, системы удаленного управления и администрования
9. Софт от принтеров, МФУ, сканеров, мышек, кошек и тапочек для тараканов :) ... парадокс, но каждая вторая железка пытается что-то прописать в автозапуск, у кого апдейтер какой-то, у кого мониторилка, у кого WEB сервер (типовой пример - RAID драйвера). Лидеры - мультимедийные клавиатуры, мыши, далее идут МФУ и сканеры.
10. Разные словари, переводчики + их обновлялки и напоминалки
11. Калибраторы мониторов и принтеров + софт для загрузки профилей и напоминания, что непплохо бы прокалибровать монитор
12. и т.п, и т.д ....

У меня автокарантин AVZ на всех ПК сети включен, в него такое попадает, что страшно делается. С тысячи ПК с среднем 2 Гб в день, если постоянно пополнять базу чистых, и это с учетом того, что сеть то корпоративная и юзер не может творить все, что ему хочется

Хорошо, посмотрим через сколько времени остальные АВ компании начнут это использовать. Могу поспорить что менее чем через год похоже появится еще в нескольких антивирусах.

[quote=Geser;277643]Хорошо, посмотрим через сколько времени остальные АВ компании начнут это использовать. Могу поспорить что менее чем через год похоже появится еще в нескольких антивирусах.[/quote]
В таком виде - думаю не появится. В других видах уже появилось ... приведу на примере KIS 2009
1. Там локальная небольшая база чистых + база ЭЦП производителей софта, которым можно доверять. Все это обновляемо и соответственно опознанным процессам можно доверять по умолчанию, что собственно и делается
2. Если по локальной базе или ЭЦП процесс не опознается, KIS запрашивает свою мега-базу. Если есть ответ - то решение принимается. Если нет, идем дальше (но легко заметить, что несложно аккумулировать статистику)
3. Срабатывает эмулятор, при этом так как речь идет о первом запуске EXE, то "на подумать" ему дается максимум времени. Результаты эмуляции оцениваются поведенческой эвристикой + вычисляется SR - рейтинг потенциальной опасности. На процессы в зависимости от SR накладываются ограничения, возрастающие по мере роста SR
И понятное дело результаты п.п. 1-3 запоминаются, чтобы не делать это каждый раз. Плюс в KIS содержится ядро AVZ, которое по команде юзера может собрать и послать логи анализа системы (логи, но не файлы), например для саппорта или статистики. Но что важно - что шаги 1-3 KIS делает но в произвольный момент времени, а перед запуском неизвестной ему программы, как следствие решение и анализ делается до запуска, а не после ... И при этом важно, что никакие файлы никуда KIS не шлет - максимум хеш.

[QUOTE=Зайцев Олег;277711]В таком виде - думаю не появится.[/QUOTE]

Появится приблизительно в таком виде, возможно с мелкими изменениями. Возможно не будут отправляться файлы подписанные доверенными ЭЦП. Возможно будет ограничение на максимальный размер, т.к. трояны никогда не весят гигабайты. Возможно данный сервис будет стоить дополнительных денег... Но, это [B]единственный[/B] способ значительно сократить время обнаружения новых зловредов. В общем время покажет кто прав.

[quote=Geser;277719]Появится приблизительно в таком виде, возможно с мелкими изменениями. Возможно не будут отправляться файлы подписанные доверенными ЭЦП. Возможно будет ограничение на максимальный размер, т.к. трояны никогда не весят гигабайты. Возможно данный сервис будет стоить дополнительных денег... Но, это [B]единственный[/B] способ значительно сократить время обнаружения новых зловредов. В общем время покажет кто прав.[/quote]
Да, время покажет. Пока время показывает, что троян или руткит (и не видим в автозапуске), или драйвер/DLL и т.п. Т.е. лобовым изучением автозапуска его не поймать, нужно комплексное решение

[QUOTE]В налоговой самописный софт??? Бухгалтера пишут что-ли?
[/QUOTE]
самописный в смысле, что это не такой софт, которы стоит у всех и у каждого - это специальные программы по бух.учету, по заполнению форм, по их проверке, по принятию отчетов от предприятий...
при этом с подобным софтом "гемморой" просто жуткий - присылают версию - она с багом (баг некритичный, но все-таки...) присылают через сутки другую версию с пометкой, что ставить ее не обязательно. потом еще одну... и так каждая программа - итого выходит куча программ при чем одной и той же...
+ разные там крипто-про, цифровые подписи и т.д и т.п
не говоря уже о том, что каждый бухгалтер норовит себе на ком поставить что-то новенькое типа стиля, скринсейвера, шуточной программы и т.д :)