Самая большая БД в мире работает на модифицированном PostgreSQL в Yahoo

[ALEX(XX)]

Компания Yahoo утверждает, что ей удалось побить мировой рекорд, создав самую большую и нагруженную базу данных в мире. Объём запущенной год назад базы данных достиг 2 петабайт. Система создана для аналитических целей, в ней хранится история поведения веб-пользователей (утверждается, что в месяц сохраняются данные о полумиллиарде пользователей). Помимо прочего, интернет-гигант заявляет, что это не только самая большая БД в мире, но ещё и самая нагруженная — в сутки в ней регистрируются данные о 24 млрд событиях. Управляет этим монстром модифицированный PostgreSQL. Это — результат покупки компании-стартапа Mahat Technologies, изначально работающей с самой развитой СУБД с открытым исходным кодом PostgreSQL. Код «Постгреса» был модифицирован для работы с такими огромными объёмами информации (одно из самых крупных изменений: ориентация на по-колоночное хранение вместо традиционного построчного, что замедляет запись на диск, но обеспечивает лучшую скорость доступа к данным для аналитических целей). Положительный результат налицо: некоторые таблицы в базе содержат триллионы строк, которые не просто лежат мёртвым грузом на дисках, но могут быть запрошены и обработаны стандартным SQL, в стандартной ACID-совместимой среде. Инженеры Yahoo ожидают рост до 5 петабайт к следующему году. И они готовы к такому росту. Для сравнения: редко встречаются БД уровня предприятия объёмом более десятков терабайт. Например, одна из самых больших публично известных БД в мире — база данных налоговой службы США «весит» всего лишь 150 терабайт. Компания Ebay заявляет, что работает с системами, обрабатывающими 10 млрд строк в сутки, при этом суммарный объём данных в этих системах составляет 6 петабайт, а объём данных у самой большой из систем — около 1.4 петабайт. Стоит понимать, что речь идёт именно о СУБД и БД, построенных на них. Есть хранилища данных с ещё более впечатляющим объёмами, но при этом данные в них практически недоступны для анализа и обработки. К примеру, Всемирный центр данных о климате в Гамбурге обладает хранилищем в более чем 6 петабайт данных, сохранённых на магнитной ленте, при этом в «активном» состоянии находятся «лишь» 220 терабайт данных.
Источник

uinc.ru

Добавлено через 1 час 13 минут

В тему с баша

Обсуждение поста "PostgreSQL: Самая большая база данных в мире — в Yahoo! И работает она на PostgreSQL!" на хабрахабре, объемы БД порядка нескольких петабайт.

xxx 27 мая 2008 21:28
Что мне нравится в таких базах - так это то что их никакой Том Круз не упрет. Дискету не утащит)
xxx 27 мая 2008 21:42
Да, я прямо представил как он спускается на тросе, записывает болванку, матерится, записывает еще. Лезет вверх за сумкой с болванками, курит, Лезит за внешним винчестером, курит. Ставит архивацию и решает зайти еще раз через пару недель.

[Alex_Goodwin]

в ней хранится история поведения веб-пользователей (утверждается, что в месяц сохраняются данные о полумиллиарде пользователей).

А приватность?

[XiTri]

А приватность?

Это фантастика

[Shark]

Трепещите!
Большой Брат следит за всеми нами!
Рад бы посмеяться, да повода не нахожу.
На мой взгляд, такая Информация не должна храниться ни с какими целями и ни в каком виде. Ситуация осложняется тем, что отдельные Пользователи являются отправителями и получателями специфической документации и Информация о такой Документации способна нанести вред не только отдельной организации, но и стране в целом.: dash1:

[maXmo]

А приватность?

да скока хошь.