Страница 1 из 2 12 Последняя
Показано с 1 по 20 из 31.

Исследование Антивирусов на ВирусИнфо

  1. #1
    Senior Member Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация
    Регистрация
    03.04.2006
    Сообщений
    21,108
    Вес репутации
    3001

    Исследование Антивирусов на ВирусИнфо

    Небезызвестный специалист по безопасности Андреас Клементи сомневается в целесообразности и чистоте исследований, проводимых ВИ на базе анализа файлов на Virustotal.
    Оригинальное сообщение: http://www.rokop-security.de/index.p...5&#entry231305
    Смысловой перевод с немецкого.
    Установленные на virustotal.com сканнеры имеют совершенно различные, и потому - не сравнимые - установки, которые в свою очередь отличаются от установок этих сканнеров на машинах пользователей. Многие продукты на virustotal.com установлены на максимальные (параноидальные) установки, на других же зачастую не включена эвристика. Посему сравнивать детекцию различных программ на основе данных Virustotal.com бессмысленно. Virustotal.com ведет собственную закрытую статистику закачанных файлов, которая по выше указанной причине не публикуется.
    Кроме того, статистика Virusinfo ограничивается примерно 60 файлами, отсюда колебания статистики, как при тираже лотереи.

  2. Будь в курсе!
    Реклама на VirusInfo

    Надоело быть жертвой? Стань профи по информационной безопасности, получай самую свежую информацию об угрозах и средствах защиты от ведущего российского аналитического центра Anti-Malware.ru:

    Anti-Malware Telegram
     

  3. #2
    Expert Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Аватар для DVi
    Регистрация
    28.08.2006
    Адрес
    moscow
    Сообщений
    3,698
    Вес репутации
    2151
    В общем и целом я с ним соглашусь:
    1. Выборка очень мала
    2. Никто не следит за адекватностью соблюдения правил теста
    Как итог: вероятность мухляжа (возможно, неосознанного) очень велика. Хороший пример - деятельность UltimaWeapon, который в течение месяца закидал в этот тест большое количество хлама.

    3. Настройки сканеров Вирустотала, действительно, вряд ли совпадают с настройками на юзерских компах.

  4. #3
    Senior Member Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Аватар для Alex Plutoff
    Регистрация
    05.02.2006
    Адрес
    Украина
    Сообщений
    1,728
    Вес репутации
    936
    -всегда, почемуто, хотелось подвергнуть сомнению саму методику этого тестирования, но всё не досуг было
    -это же очевидно, что сканнеры на virustotal.com
    имеют совершенно различные, и потому - не сравнимые - установки
    ...неоднократно бывал озадачен результатами анализа объектов, содержащих явно вредоносные элементы, на этом ресурсе, но всякий раз не считал нужным заводить полемику на эту тему ...спасибо м-ру Андреасу, таки расшевелил и заставил поднять вопрос и завести тему
    С уважением,
    Alex Plutoff
    А. ПЛАТОВ

  5. #4
    External Specialist Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация
    Регистрация
    20.09.2004
    Адрес
    г. Киев, Украина.
    Сообщений
    1,322
    Вес репутации
    796
    Цитата Сообщение от Alex Plutoff Посмотреть сообщение
    -всегда, почемуто, хотелось подвергнуть сомнению саму методику этого тестирования, но всё не досуг было
    Ну, и где аргументы?

    Цитата Сообщение от Alex Plutoff Посмотреть сообщение
    -это же очевидно, что сканнеры на virustotal.com ...неоднократно бывал озадачен результатами анализа объектов, содержащих явно вредоносные элементы, на этом ресурсе, но всякий раз не считал нужным заводить полемику на эту тему ...спасибо м-ру Андреасу, таки расшевелил и заставил поднять вопрос и завести тему
    Думаете, что что-то изменится?
    ---
    С уважением,
    Borka.

  6. #5
    Junior Member Репутация
    Регистрация
    19.03.2008
    Сообщений
    7
    Вес репутации
    36
    На мой взгляд, методика неплохая, если оценивать, что она может, а чего нет.
    Насчет различий в настройках антивирусов на VirusTotal:
    1) При любых настройках, даже при отключенной эвристике, известные вирусы должны обнаруживаться. Поэтому показатель, обозначаемый на диаграмме красным цветом (думаю, все понимают, на какой диаграмме), объективно отражает обновляемость антивирусных баз у сравниваемых программ.
    2) Во многих случаях если вирус не обнаруживается на "среднем" уровне эвристики, он не виден и на "высоком". Поэтому различия в настройках антивирусов на VirusTotal искажают статистику, на не более чем на 10-15%.

    Еще одно узкое место методики: на данный сайт файлы отправляют в том случае, если используемый антивирус не нашел вирус. Отсюда вывод: если большинство используют антивирус Х, то на VirusTotal будут отправляться в основном файлы, которые этим антивирусом не ловятся. Следовательно, антивирус Х по причине своей популярности будет иметь несколько заниженные показатели.
    Поэтому я считаю, что показатели NOD32, Kaspersky и DrWeb (наиболее часто используемых в России) могли быть немного выше. Но погрешность опять-таки вряд ли составит более 10-15%.

  7. #6
    VIP Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация
    Регистрация
    07.07.2005
    Адрес
    Moscow region
    Сообщений
    30,462
    Вес репутации
    2499
    Цитата Сообщение от ialnik Посмотреть сообщение
    На мой взгляд, методика неплохая, если оценивать, что она может, а чего нет.

    Еще одно узкое место методики: на данный сайт файлы отправляют в том случае, если используемый антивирус не нашел вирус. Отсюда вывод: если большинство используют антивирус Х, то на VirusTotal будут отправляться в основном файлы, которые этим антивирусом не ловятся. Следовательно, антивирус Х по причине своей популярности будет иметь несколько заниженные показатели.
    Не знаю, как другие, я предпочитаю отправлять такие экземпляры, которые идут как свежие. Скажем, Доктор, к примеру, ловит, а Касперский нет Тех, кого ловят все, добавлять в статистику, не хочется.
    Павел
    AVZ HijackThis помощь с 10-00 до 18-00МСК

    Windows7, SEP(work)
    WindowsXP KIS(home)

    На up не реагирую

  8. #7
    Junior Member Репутация
    Регистрация
    19.03.2008
    Сообщений
    7
    Вес репутации
    36
    Цитата Сообщение от PavelA Посмотреть сообщение
    Не знаю, как другие, я предпочитаю отправлять такие экземпляры, которые идут как свежие. Скажем, Доктор, к примеру, ловит, а Касперский нет Тех, кого ловят все, добавлять в статистику, не хочется.
    Это понятно. Но, предположим, человек использует NOD32. Его антивирусник поймал какой-то троян. Может быть, кроме NOD-а никто этот троян не поймал бы. Но человеку и в голову не придет посылать этот вирус на VirusTotal. Таким образом, NOD32 теряет возможность оторваться в рейтинге от своих конкурентов.
    Зато в другом случае NOD32 пропустил троянец. Человек посылает файл на VirusTotal, половина вирус определяет, половина - нет. Понятно, что NOD32 оказывается среди тех, кто не ловит.
    А теперь представим себе, что большинство отправляющих на VirusTotal используют NOD. В этом случае он окажется на низких позициях в рейтинге.

  9. #8
    Senior Member Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Аватар для drongo
    Регистрация
    17.09.2004
    Адрес
    Israel
    Сообщений
    7,165
    Вес репутации
    971
    Для полноты картины следует дополнить : возьмём реальный пример :троян не определяется на данный момент нодом, после отправки в лабораторию нода, даже через несколько дней- какие же позиции будут у нода ?

  10. #9
    Expert Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Аватар для DVi
    Регистрация
    28.08.2006
    Адрес
    moscow
    Сообщений
    3,698
    Вес репутации
    2151
    drongo, разговор не о Ноде, а о несовершенстве методики рейтинга антивирусов Вирусинфо. И тут я полностью согласен с ialnik.

    Добавлено через 4 минуты

    Цитата Сообщение от ialnik Посмотреть сообщение
    Но человеку и в голову не придет посылать этот вирус на VirusTotal. Таким образом, NOD32 теряет возможность оторваться в рейтинге от своих конкурентов.
    Не только теряет, но и находит - если этому человеку захочется "подправить" рейтинг любимого антивируса, ему ничто не мешает прийти на Вирусинфо и внести свою лепту в рейтинг.
    Последний раз редактировалось DVi; 21.03.2008 в 17:02. Причина: Добавлено

  11. #10
    Banned Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация
    Регистрация
    18.11.2007
    Сообщений
    3,293
    Вес репутации
    0
    Да, может кому-то методика не нравится и вполне обоснованно, но вопрос в том, что можно предложить взамен существующей? Или же полностью отказаться от данного вида деятельности?

    Добавлено через 2 минуты

    Ну скажу о себе, что я проверяю на вирустотал только то, что Касперский (именно он у меня установлен) не детектит. Возможно этот Ативирус и теряет какие-то пункты, но просто не вижу особого смысла отправлять на проверку то что и так детектиться (по крайней мере у меня), возможно в этом я и не прав.
    Последний раз редактировалось wise-wistful; 21.03.2008 в 17:10. Причина: Добавлено

  12. #11
    Expert Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Аватар для DVi
    Регистрация
    28.08.2006
    Адрес
    moscow
    Сообщений
    3,698
    Вес репутации
    2151
    ИМХО гораздо бОльшую объективность имеет статистика, собираемая PavelA: http://virusinfo.info/showthread.php?t=19139

  13. #12
    Junior Member Репутация
    Регистрация
    19.03.2008
    Сообщений
    7
    Вес репутации
    36
    Цитата Сообщение от wise-wistful Посмотреть сообщение
    Да, может кому-то методика не нравится и вполне обоснованно, но вопрос в том, что можно предложить взамен существующей? Или же полностью отказаться от данного вида деятельности?
    Отказываться от методики не надо ни в коем случае. Нет совершенной методики, надо просто знать достоинства и недостатки каждой.

  14. #13
    Full Member Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация
    Регистрация
    04.07.2005
    Адрес
    Украина, Николаев.
    Сообщений
    215
    Вес репутации
    219
    Цитата Сообщение от DVi Посмотреть сообщение
    ИМХО гораздо бОльшую объективность имеет статистика, собираемая PavelA:
    ИМХО этой статистике нехватает главного - социологических исследований о том, кто пользуется VirusInfo и, в частности, разлелом "Помогите". На первый взгляд (опять же ИМХО) процент "молодого" поколения с "фиксованым" NOD очень высок. А объективность в этом случае получается очень сомнительная.
    Последний раз редактировалось aleksdem; 23.03.2008 в 09:37.

  15. #14
    Junior Member Репутация
    Регистрация
    15.08.2005
    Сообщений
    48
    Вес репутации
    46
    Для повышения достоверности результатов предлагаю ввести отсев файлов по следующему критерию:
    Если в отчёте virustotal по какому-либо файлу в качестве задетектировавших зловреда отсутствует вся шестерка следующих анивирей - AntiVir, DrWeb, Kaspersky, NOD32, Symantec и VBA32, то этот файл считается чистым и из подсчёта ислючается.
    Кроме того, в подсчёте результатов не участвуют адварь, кряки, шутки и прочие "not a virus", т.к. в некоторых антивирях их детект на virustotal отключен.

  16. #15
    Senior Member Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Аватар для ALEX(XX)
    Регистрация
    31.03.2005
    Адрес
    Чернигов
    Сообщений
    10,777
    Вес репутации
    3708
    Цитата Сообщение от Mamont Посмотреть сообщение
    Для повышения достоверности результатов предлагаю ввести отсев файлов по следующему критерию:
    Если в отчёте virustotal по какому-либо файлу в качестве задетектировавших зловреда отсутствует вся шестерка следующих анивирей - AntiVir, DrWeb, Kaspersky, NOD32, Symantec и VBA32, то этот файл считается чистым и из подсчёта ислючается.
    ИМХО это неверно. Бывает такое, что пара-тройка "не лидеров" даёт детект или подозрение и действительно, файл оказывается "реальным зверем"
    Left home for a few days and look what happens...

  17. #16
    Junior Member Репутация
    Регистрация
    15.08.2005
    Сообщений
    48
    Вес репутации
    46
    Цитата Сообщение от ALEX(XX) Посмотреть сообщение
    ИМХО это неверно. Бывает такое, что пара-тройка "не лидеров" даёт детект или подозрение и действительно, файл оказывается "реальным зверем"
    Плохо, что файлов нет, а то можно было бы проверить, что процент подобного реального детекта "не лидеров" существенно ниже ложного.

  18. #17
    Senior Member Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Аватар для ALEX(XX)
    Регистрация
    31.03.2005
    Адрес
    Чернигов
    Сообщений
    10,777
    Вес репутации
    3708
    Цитата Сообщение от Mamont Посмотреть сообщение
    Плохо, что файлов нет, а то можно было бы проверить, что процент подобного реального детекта "не лидеров" существенно ниже ложного.
    Это да...
    Left home for a few days and look what happens...

  19. #18
    Visiting Helper Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация
    Регистрация
    11.12.2006
    Сообщений
    3,698
    Вес репутации
    1814
    Цитата Сообщение от ALEX(XX) Посмотреть сообщение
    ИМХО это неверно. Бывает такое, что пара-тройка "не лидеров" даёт детект или подозрение и действительно, файл оказывается "реальным зверем"
    Вот-вот.
    Пример:
    http://virusinfo.info/showpost.php?p...&postcount=231
    The worst foe lies within the self...

  20. #19
    External Specialist Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Аватар для Groft
    Регистрация
    26.11.2007
    Сообщений
    510
    Вес репутации
    654
    но кейгены, кряки и подобную чепуху надо выкинуть из исселедования по любому

    Добавлено через 4 минуты

    Цитата Сообщение от Kuzz Посмотреть сообщение
    А вы этот файлик в вирлаб оправьте, посмотрим что они вам ответят
    Последний раз редактировалось Groft; 23.03.2008 в 19:12. Причина: Добавлено

  21. #20
    Senior Member Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Репутация Аватар для drongo
    Регистрация
    17.09.2004
    Адрес
    Israel
    Сообщений
    7,165
    Вес репутации
    971
    Groft, написано же , ответили в тот же день

Страница 1 из 2 12 Последняя

Похожие темы

  1. Исследование антивирусов 6
    От ALEX(XX) в разделе Тестирование
    Ответов: 426
    Последнее сообщение: 05.11.2008, 09:24
  2. Исследование антивирусов 5
    От anton_dr в разделе Тестирование
    Ответов: 313
    Последнее сообщение: 05.10.2007, 08:33
  3. Исследование антивирусов 4
    От Geser в разделе Антивирусы
    Ответов: 325
    Последнее сообщение: 08.01.2007, 15:36
  4. Исследование антивирусов 3
    От Geser в разделе Тестирование
    Ответов: 188
    Последнее сообщение: 03.07.2006, 09:00
  5. Исследование антивирусов 2
    От Geser в разделе Тестирование
    Ответов: 190
    Последнее сообщение: 30.12.2005, 11:23

Свернуть/Развернуть Ваши права в разделе

  • Вы не можете создавать новые темы
  • Вы не можете отвечать в темах
  • Вы не можете прикреплять вложения
  • Вы не можете редактировать свои сообщения
  •  
Page generated in 0.01160 seconds with 16 queries