Архиватор интернета

[SDA]

Ученые установили слежку за веб-страницами

Инженеры из лабораторий Adobe Systems и ученые из Вашингтонского университета в начале декабря представили уникальную систему Zoetrope, которая перевернет представление о работе с интернетом. Она позволяет читать на веб-страницах не только информацию, которая появилась только что, но и ту, что была раньше.

По словам авторов Zoetrope, интернет вокруг нас эфемерен. Ежечасно и ежесекундно меняются главные страницы новостных ресурсов, редактируются статьи в Википедии, удаляются профили в социальных сетях, скачут цены на акции, ресурсы и бытовую электронику. Если пользователь хочет узнать, как выглядел тот или иной сайт три дня назад - как ему быть?

До сих пор существовали довольно ненадежные решения - проект WayBackMachine, например, теоретически позволяет взглянуть на любую из 85 миллиардов страниц. База данных этого сервиса простирается до 1996 года - то есть доисторических времен по меркам интернета. Есть только два недостатка: WayBackMachine очень медленно работает и, кроме того, обновляет свою базу далеко не каждый день. Еще одно решение - кэш всемогущего Google. Однако спустя некоторое время он очищается.

Zoetrope добавляет в одномерную Сеть, где браузер позволяет просматривать лишь последние версии страниц, второе измерение. Пользователь может нарисовать на интересующей его странице прямоугольник (в терминологии Zoetrope - "линзу") и, прокрутив специальный бегунок, узнать, как менялась эта часть веб-страницы раньше.

Если сайт изменит свой дизайн, то линза может "сползти" и не будет показывать того, что от нее требуется. Для этого авторы Zoetrope разработали специальный тип линз, отслеживающий не определенный прямоугольник на странице, а целый блок. Даже если сайт сильно изменится, такая линза "поймет", где находится нужный блок.

Линзы можно соединять друг с другом. Это позволяет, например, одновременно смотреть график цен на нефть и последние новости, ища взаимосвязь. Такая возможность - просто находка для любого пользователя.

Кроме того, линзы "умеют" выделять текстовую информацию. Это позволяет, например, отслеживать передвижения по рейтингу музыкальных композиций любимой группы.

На линзы можно накладывать различные фильтры. Фильтр по времени позволит посмотреть по соответствующему сайту, в какие вечерние часы бывают пробки и как они зависят от погоды или, например, как менялся тот или иной текст в течение конкретного дня. Фильтр по ключевым словам, будучи введен на линзу на новостном сайте, эффективно отфильтрует поток сообщений. Также можно удалить дубликаты и тем самым избавить себя от прокрутки не меняющихся фрагментов страницы.
Более того, если отслеживаются числовые значения, Zoetrope может построить график изменений. Это очень облегчает анализ. Также можно ставить одну линзу на другую, получая отфильтрованное представление данных.

Небольшой брат следит за тобой

Пока Zoetrope работает в тестовом режиме лишь с 250 страницами. Вот уже месяц эти страницы ежечасно обходит робот, складывая информацию в базу данных.

Если проект станет доступен пользователям, наступят тревожные времена. Любую выложенную в Сеть на час информацию можно будет посмотреть, даже если она исчезла из интернета.

В социальной сети можно будет отследить изменение личных данных пользователя. Ошибки новостных сайтов навсегда останутся в кэше Zoetrope. Кроме того, правообладателям будет сложнее изъять выложенные пиратами в сеть книги и фотографии - ведь они тоже в базе данных.

Упростится работа спецслужб и цензоров. Теперь они легко смогут доказать, что та или иная запись появилась в соответствующем блоге. А если к Zoetrope прикрутят блок авторизации, то можно будет через "линзу" отслеживать изменения в запароленных областях Сети.

Как Adobe будет развивать Zoetrope, кто первый получит к ней полный доступ, расширят ли число проверяемых страниц с 250 до, скажем, миллиарда - абсолютно неясно. Зато понятно, что "старому интернету", похоже, приходит конец.

http://www.lenta.ru/articles/2008/12/08/zoetrope/

[Зайцев Олег]

250 страниц - это не серьезно, масштабировать такую систему не всегда тривиально. Мои "пауки" например держат на контроле 4 миллиона сайтов, так вот даже задачка обойти их все и проверить контент (определить его тематику, проверить на наличие заражения и т.п.) очень тягостная и нетривиальная задачка при том, что "боевое дежурство" круглые сутки несут 4 "паука". Вот и тут проблема - если они описанную систему масштабируют скажем до нескольких миллионов сайтов, то они или будут проверять их странички раз в N месяцев, или им придется построить мегасистему с тысячами "пауков".

[priv8v]

В социальной сети можно будет отследить изменение личных данных пользователя. Ошибки новостных сайтов навсегда останутся в кэше Zoetrope. Кроме того, правообладателям будет сложнее изъять выложенные пиратами в сеть книги и фотографии - ведь они тоже в базе данных.

ну да... вложить еще нужно в эти пауки возможности хрумера (а то как он будет закрытые от поисковиков социальные сети рассматривать?)
ну, конечно, обходить несколько раз в день сайт - делать больше боту нечего...
а про фильмы забыли?.. харды же резиновые - влезет все)

[maXmo]

редактируются статьи в Википедии

там история правок ведётся.