Показано с 1 по 6 из 6.

Проверка web-трафика Squid на вирусы при помощи ClamAV и c-icap

  1. #1
    umask
    Guest

    Проверка web-трафика Squid на вирусы при помощи ClamAV и c-icap

    Проверка web-трафика Squid на вирусы при помощи ClamAV и c-icap.



    Предыстория.

    В предыдущей статье я описал настройку совместной работы ClamAV и Samba (http://www.opennet.ru/base/net/samba_clamav.txt.html, http://www.nixp.ru/articles/clamav_samba_vfs_linux) для прозрачной проверки загружаемых файлов.
    Но Samba - не единственный источник потенциальной вирусной угрозы, обычный web-сёрфинг представляет собой намного бОльшую угрозу, поскольку является внешним источником опасности. Samba же - внутренний источник. В антивирусной защите следует прежде всего контролировать (проверять) всю поступающую извне информацию, один из источников - интернет.
    Актуальность защиты Samba-ресурсов (те, кто знаком с Win32.Parite.2 меня прекрасно поймут) так же достаточно высока.
    В этой статье я обратил внимание на проверку web-трафика, проходящего через Squid (www.squid-cache.org) на вирусы, используя ClamAV (www.clamav.net) и c-icap (c-icap.sourceforge.net ).
    С протоколом ICAP можно более подробно ознакомиться на сайте www.i-cap.org. Это наиболее верный способ антивирусной проверки web-трафика. Редиректоры в Squid так же можно использовать, но при больших нагрузках редиректоры сильно ограничены и не позволяют распределить нагрузку. Так же редиректоры крайне ограничены и по возможности обратного взаимодействия с пользователем.
    Я принимал участие в бета-тестировании icap-демона от DrWeb, остался им доволен (несмотря не некоторые проблемы, не решённые на этот момент), но финансовая сторона вопроса меня сильно ограничивает, поэтому, в очередной раз, мой выбор пал на ClamAV.



    Получение необходимых файлов.

    Для дальнейших действий понадобятся:
    - Исходные коды Squid Proxy Server с поддержкой ICAP. Одну из возможных вариаций можно получить со страницы c-icap - http://sourceforge.net/projects/c-icap , последней на этот момент из этого источника оказалась версия 2.5.STABLE11-20050927 (я использовал версию именно от разработчиков c-icap!).
    Так же можно получить Squid с поддержкой ICAP от DrWeb - http://download.drweb.com/unix/Linux+(generic)/ .
    Первый источник отличен от второго тем, что в первом не исправлена проблема с обрывом закачки, при обрыве закачки клиентом (т.е. прокси-сервер по любому скачивает файл до конца, что ведёт к расходу трафика).
    - c-icap - демон ICAP - http://sourceforge.net/projects/c-icap , последняя версия на данный момент c-icap-220505.
    - последняя версия ClamAV, которую нам предоставляют разработчики этого GNU/GPL антивируса - www.clamav.net.



    Установка и настройка ClamAV.

    О процессе установки и настройки ClamAV можно более подробно узнать из предыдущей статьи - "Использование ClamAV для проверки ресурсов Samba 3.0.x через VFS в Linux (на примере Slackware Linux 10.1)", её можно получить тут - http://www.opennet.ru/base/net/samba_clamav.txt.html или тут - http://www.nixp.ru/articles/clamav_samba_vfs_linux .
    Для работы не понадобиться работающий демон clamd, так что можете смело пропустить его конфигурирование (clamd.conf), если он не используется или не будет использоваться.
    c-icap использует свой антивирусный модуль, основанный на ClamAV, поэтому нам понадобиться наличие в системе libclamav (достаточно наличия установленного обычным способом ClamAV).
    В случае отсутствия в системе libclamav c-icap просто не соберёться.



    Установка и настройки c-icap с поддержкой ClamAV.

    Распакуем архив c_icap-220505.tar.gz в /usr/src (или туда, где у вас лежат исходные коды).
    configure в каталоге с исходниками c-icap следует запускать со следующими параметрами:

    $ ./configure --enable-static --with-clamav --prefix=/usr/local/c_icap


    Или так, например, если --prefix=/opt/clamav для configure от ClamAV:
    $ ./configure --enable-static --with-clamav=/opt/clamav --prefix=/usr/local/c_icap


    Демон c_icap собирается статически.
    --prefix так же можно указать по вкусу.
    Можно собирать и сам демон:

    $ make

    Необходимо проверить, всё ли верно собралось:

    $ make check

    И непосредственно установить c-icap в систему (в тот каталог, который был указан через --prefix):

    # make install


    Теперь необходимо исправить некоторые настройки в c-icap.conf. В случае нашего --prefix=/usr/local/c_icap не трудно догадаться, что конфиги лежат в /usr/local/c_icap/etc.
    Рекомендую обратить внимание на следующие параметры:
    - User лучше поставить nobody, поскольку wwwrun, указанный по умолчанию, скорее всего отсутствует в системе.
    - TmpDir /tmp - ваш каталог временных файлов.
    - Далее необходимо настроить ACL - Access Control Lists - список IP-адресов, которые могут использовать данный ICAP-демон:
    acl localsquid_respmod src 127.0.0.1 type respmod
    acl localsquid src 127.0.0.1
    acl externalnet src 0.0.0.0/0.0.0.0
    icap_access allow localsquid_respmod
    icap_access allow localsquid
    icap_access deny externalnet
    Так возможно определить откуда доступ к нашему сервису icap разрешён, а откуда нет. Заметьте, что в данных ACL определяется не список непосредственных клиентов прокси-сервера, а именно список клиентов демона ICAP, т.е. список прокси-серверов (их IP-адреса).
    Я составил ACL для случая работы демона ICAP и Squid на одном хосте.
    - srv_clamav.ClamAvTmpDir /tmp - временный каталог для модуля ClamAV
    - srv_clamav.VirSaveDir /var/infected/ - каталог карантина. Другие аналогичные лучше закомментировать!
    - srv_clamav.VirHTTPServer "DUMMY".


    Можно попробовать и так:
    srv_clamav.VirHTTPServer "http://proxy.your_srv_name.ru/cgi-bin/get_file.pl?usename=%f&remove=1&file=" - URL скрипта на локальном веб-сервере, ссылка на который будет сообщена пользователю в уведомлении о попытке доступа к инфицированному объекту.
    Необходимо некоторое пояснение: опция srv_clamav.VirSaveDir может быть задана несколько раз, таким образом, что инфицированные файлы будут сохраняться в множестве мест.
    Если задать одним из карантинных каталогов корень веб-сервера, то можно дать пользователям возможность осознанно скачать инфицированный файл. Остаётся только воспользоваться файлом contrib/get_file.pl в исходных кодах c-icap.
    У меня необходимости в этом не было.


    Создайте каталог /var/infected и сделайте его владельцем пользователя nobody (chown nobody /var/infected).

    Осуществим пробный запуск c-icap:

    # cd /usr/local/c_icap/bin
    # ./c-icap

    Если сообщений об ошибках нет, то стоит так же убедиться, что c-icap прослушивает нужный сокет:

    # netstat -apn | grep 1344

    Если видим нечто похожее на следующую строку, значит всё в порядке:
    tcp 0 0 *:1344 *:* LISTEN 24302/c-icap

    Оставим демона c-icap работать и перейдём к дальнейшим настройкам.



    Установка и настройка прокси-сервера Squid.

    Распакуем в /usr/src полученный ранее Squid:

    # tar zxvf squid-icap-2.5.STABLE11-20050927.tgz

    Перейдём в каталог с исходниками Squid'а и запустим configure так:

    $ ./configure --enable-icap-support


    До запуска configure в Squid от DrWeb необходимо запустить bootstrap.sh, находящийся в корневом каталоге исходных кодов Squid.
    Если вы используете Squid от DrWeb, то обязательно прочитайте документацию из пакета drweb-icapd!


    Собираем Squid:

    $ make

    Устанавливаем:

    # make install

    Имеем установленный Squid в /usr/local/squid.

    Теперь изменим настройки в squid.conf.

    Необходимо найти пару строк:

    #acl our_networks src 192.168.1.0/24 192.168.2.0/24
    #http_access allow our_networks

    Раскомментировать их и установить собственное значение, вместо '192.168.1.0/24 192.168.2.0/24' (в моём случае пользователи прокси-сервера находились в сети 172.16.194.0/24):

    acl our_networks src 172.16.194.0/24
    http_access allow our_networks

    Перейдите в /usr/local/squid/var, создайте каталог cache.
    Теперь там же выполните команду:

    # chown nobody cache/ logs/

    Сменить владельца необходимо по той причине, что демон прокси-сервера будет запущен от пользователя nobody и не сможет писать логи и использовать кэшь.

    Осталось создать структуру каталогов для кэширования. Перейдите в /usr/local/squid/sbin и выполните:

    # ./squid -z


    По умолчанию параметр cache_dir в squid.conf задан так:
    cache_dir ufs /usr/local/squid/var/cache 100 16 256
    Вы можете изменить путь к кешу (например, если он расположен у вас на другом разделе или жёстком диске), и тогда необходимо проверить права на указанный вами каталог.


    На данном этапе мы имеем рабочий Squid, но без поддержки ICAP, т.е. обычной кэширующий прокси-сервер.


    Более подробно о настройке Squid можно узнать на squid.opennet.ru.


    Добавим поддержку ICAP.



    Добавление поддержки ICAP в squid.conf

    Найдите по слову icap_enable и выставите значение icap_enable on.
    Найдите по слову icap_preview_enable и выставите значение icap_preview_enable on
    Найдите по слову icap_preview_size и выставите значение icap_preview_size 128
    Найдите по слову icap_send_client_ip и выставите значение icap_send_client_ip on
    Найдите по слову icap_service и добавьте пару таких icap-сервисов:
    icap_service service_avi_req reqmod_precache 0 icap://localhost:1344/srv_clamav
    icap_service service_avi respmod_precache 1 icap://localhost:1344/srv_clamav
    Найдите по слову icap_class и добавьте такой icap-класс:
    icap_class class_antivirus service_avi service_avi_req
    Найдите по слову icap_access и добавьте следующие права доступа:
    icap_access class_antivirus allow all


    Суммарно для поддержки ICAP в squid.conf должны быть добавлены следующие строки:

    icap_enable on
    icap_preview_enable on
    icap_preview_size 128
    icap_send_client_ip on

    icap_service service_avi_req reqmod_precache 0 icap://localhost:1344/srv_clamav
    icap_service service_avi respmod_precache 1 icap://localhost:1344/srv_clamav

    icap_class class_antivirus service_avi service_avi_req
    icap_access class_antivirus allow all


    На этом минимальное конфигурирование прокси-сервера закончено.

    Запустим его:

    # cd /usr/local/squid/sbin
    # ./squid

    Если всё верно, то сообщений в консоли быть не должно.



    Проверка работоспособности.

    Добавьте прокси-сервер в вашем браузере (если проксирование не прозрачное) и откройте страницу http://www.eicar.com/anti_virus_test_file.htm.
    Попытайтесь скачать файл eicar.com, если вы видите подобное сообщение:
    "A VIRUS FOUND ..."
    значит всё верно работает.
    Обратите внимание, что кэшь прокси-сервера не должен содержать инфицированных объектов! Поэтому, перед началом использования Squid совместно с c-icap кэшь лучше очистить.
    Так же учтите, что браузер имеет свой кэшь.



    Обновление антивирусных баз ClamAV.

    Добавьте freshclam в crontab, как это сделать описывалось в предыдущей статье.
    Реинициализация баз c-icap производиться каждые srv_clamav.VirUpdateTime минут, этот параметр можно указать в c-icap.conf (по умолчанию - 15 минут).



    Файл c-icap.magic и типы проверяемых объектов.

    Данный файл может быть найден в том же каталоге, что и c-icap.conf, он представляет собой описание форматов различных групп-типов файлов (TEXT, DATA, EXECUTABLE, ARCHIVE, GRAPHICS, STREAM, DOCUMENT - определённые группы в c-icap.magic по умолчанию).
    Антивирусная проверка строиться по типам файлов, проходящих через проски-сервер, некоторые типы, например, можно исключить или добавить свои типы.
    Формат записи строки, для определения файла по его magic-числу (последовательности):
    offset:Magic:Type:Group:Desc
    Offset - смещение, с которого начинаеться Magic-последовательность.
    Type и Group - тип и группа, к которой следует относить файл с данной magic-последовательностью.
    Desc - кратное описание, технической нагрузки не несёт.
    Для примера загляните в c-icap.magic.

    Обратите так же внимание, что в c-icap.conf параметр srv_clamav.ScanFileTypes определяет группы и типы файлов (можно прописывать и группы, и типы), которые следует проверять.
    Что определяет srv_clamav.VirScanFileTypes я окончательно не понял, но подозреваю, что принудительно проверяемые группы файлов (EXECUTABLE и ARCHIVE по умолчанию).


    В моём конфиге c-icap вышеописанные параметры выглядят так:
    srv_clamav.ScanFileTypes TEXT DATA EXECUTABLE ARCHIVE GRAPHICS STREAM DOCUMENT
    srv_clamav.VirScanFileTypes EXECUTABLE ARCHIVE




    Возможные проблемы.

    - Squid выдаёт сообщение "ICAP protocol error", страницы не открываются.

    Проверьте верно ли вы указали ACL в c-icap.conf, в данном ACL должен быть разрешён доступ не для пользователей, а для прокси-сервера.
    Попробуйте завершить процессы Squid и c-icap, а затем запустить их в следующем порядке - сначала c-icap, а затем Squid.
    Так же такая ошибка может возникать, если демону с-icap не хватает прав на запись в карантинный каталог или в лог-файлы.
    Если проблема так и не решилась, то попробуйте запустить Squid с параметрами -d 10 -N -X:

    # ./squid -d 10 -N -X

    а c-icap c параметрами -N -d 10 -D:

    # ./c-icap -N -d 10 -D

    Увидите подробную информацию, по которой можно разобраться что где не так.

    - Squid выдаёт сообщение "ICAP protocol error" только на некоторых страницах (на одних и тех же).

    Всё-таки проверьте есть ли у c-icap права на запись в карантинный каталог (а ещё лучше сделать владельцем всех карантинных каталогов пользователя под которым запущен c-icap).
    Попробуйте запустить c-icap и Squid в режиме отладки (как - сказано выше).
    Так же неплохо посмотреть логи c-icap.
    Попробуйте снова загрузить объект, на котором возникает ошибка. Возможно вы узнаете намного больше о проблеме и сможете её решить.



    Итоги.

    Теперь и web-сёрфинг защищён от вирусов и прочих вредоносных кодов (в том числе и некоторые эксплоиты для ms ie), теперь можно путешествовать по интернет намного безопаснее.
    Как корпоративное решение для сервера с большой нагрузкой этот метод не опробован, но, думаю, может быть реализован (хотя бы потому, что нагрузку можно распределить на несколько ICAP-серверов).
    Как решение для небольшой организации - вполне актуально.

    И помните, что разработчики пишут на своём сайте:

    The Antivirus ClamAV service
    This service is under development.
    О некоторых принципах работы протокола ICAP на русском можно узнать из руководства DrWeb-ICAPd - одна из успешных коммерческих реализаций протокола ICAP.
    Так же можно прочесть RFC 3507.

    Комфортной и безопасной работы!

    Спасибо за внимание.





    umask a/k/a Илья(с), MATI-RSTU, app-math dept.
    mail to: umask at yandex dot ru.
    Wed Sep 28 17:38:31 MSD 2005.

    Последний раз редактировалось umask; 29.09.2005 в 00:21. Причина: Небольшая поправка заголовка темы

  2. Реклама
     

  3. #2
    Гость
    Guest

    засада с с-icap

    он просто падает в кору:
    testhost2# ./c-icap
    Initialization of echo module......
    Initialization of sguard module......
    Fatal error 'Spinlock called when not threaded.' at line 87 in file /usr/src/lib/libpthread/thread/thr_spinlock.c (errno = 0)

    freebsd 5.4
    clamav-0.87
    c_icap-220505

    как быть? не подскажите?

  4. #3
    guest
    Guest
    Цитата Сообщение от Гость
    он просто падает в кору:
    testhost2# ./c-icap
    Initialization of echo module......
    Initialization of sguard module......
    Fatal error 'Spinlock called when not threaded.' at line 87 in file /usr/src/lib/libpthread/thread/thr_spinlock.c (errno = 0)

    freebsd 5.4
    clamav-0.87
    c_icap-220505

    как быть? не подскажите?
    из портов ставить пробовал? ;-)

  5. #4

  6. #5
    guest
    Guest
    ага, были теже грабли- выпадал в корку с той же ошибкой, при связке:
    freebsd 5.4
    clamav-0.88.2
    c_icap-220505
    после билдворлд картина осталась та же... установил c_icap из портов, все заработало... видать какие-то зависимости при установке из сырцов не прослеживаются...

  7. #6
    guest
    Guest

    кстати, объяснялка некоторая есть здесь


Похожие темы

  1. Ответов: 11
    Последнее сообщение: 05.08.2011, 02:09
  2. Ответов: 2
    Последнее сообщение: 17.05.2008, 01:49
  3. Проверка при помощи AVZ4
    От RomanLo в разделе Помогите!
    Ответов: 1
    Последнее сообщение: 22.10.2007, 01:30
  4. ДрВеб for ICAP
    От Geser в разделе Антивирусы
    Ответов: 7
    Последнее сообщение: 10.02.2005, 10:48
  5. Ответов: 9
    Последнее сообщение: 14.01.2005, 20:42

Свернуть/Развернуть Ваши права в разделе

  • Вы не можете создавать новые темы
  • Вы не можете отвечать в темах
  • Вы не можете прикреплять вложения
  • Вы не можете редактировать свои сообщения
  •  
Page generated in 0.00711 seconds with 18 queries