Архи́в Интерне́та (сокр. АИ; ) — некоммерческая организация, основанная в 1996 году в Сан-Франциско американским программистом Брюстером Кейлом. Главной заявленной целью Архива является предоставление всеобщего доступа к накопленной в Интернете информации. Коллекция АИ состоит из множества подколлекций архивированных веб-сайтов, оцифрованных книг, аудио- и видеофайлов, игр, программного обеспечения.
К крупнейшим проектам Архива относят запущенный в 2001 году сервис Wayback Machine, который архивирует и предоставляет доступ к бо́льшей части «открытого» интернета. Пользователи Wayback Machine могут отследить происходящие на выбранных сайтах изменения и сравнивать разные версии правок. Другой крупной инициативой АИ является Open Library — открытая онлайн-библиотека, через которую пользователи могут брать на 2 недели оцифрованные версии книг. Также по инициативе Архива был создан сервис Archive It — служба веб-архивирования, помогающая организациям и частным лицам собирать, создавать и сохранять коллекции цифрового контента. На начало мая 2022 года коллекция Архива Интернета состояла из более чем 35 млн книг, 7,9 млн фильмов, видео и телепередач, 842 тыс. программ, 14 млн аудиофайлов, 4 млн изображений, 2,4 млн телеклипов, 237 тыс. концертов и более 682 млрд веб-страниц в Wayback Machine.
Для долгосрочного хранения данных «Архив» использует систему зеркальных сайтов, расположенных в географически отдалённых друг от друга местах. Копии Wayback Machine существуют в Сан-Франциско, Ричмонде, Александрии, Амстердаме. Для эффективного хранения файлов «Архив» использует формат WARC (Web ARChive), позволяющий сохранять файлы без потерь при архивировании.
В октябре 2024 года сайт Архива подвергся хакерской атаке, в результате чего приостановил свою деятельность. Руководство архива дало обещание вернуть сайт к работе. 29 октября руководство архива восстановило работу сайта, и продолжило работу над безопасностью.
История
Создание
Главную роль в создании «Архива Интернета» сыграл выпускник Массачусетского технологического института Брюстер Кейл. Во время учёбы Кейл и его одногруппники имели доступ к прототипу интернета — сети ARPANET. Однажды они решили посмотреть, что произойдёт, если поместить отдельные сообщества (на тот момент — небольшие списки рассылок и группы Usenet) в общее виртуальное пространство — единый список рассылки. Как позже вспоминал программист: «Это был хаос, анархия и дезинформация — это было ужасно!». Однако именно тогда Кейл осознал потенциал сети в предоставлении людям из разных учреждений возможности общаться друг с другом без задержек и трений. Благодаря экспериментам с ARPANET у программиста появилась идея создать первое цифровое хранилище.
Начиная с 1980-х годов Кейл участвовал в создании компании по производству мини-суперкомпьютеров Thinking Machines Corporation, а в 1989 году программист основал первую сетевую информационную поисковую систему WAIS и одноимённую компанию, которую он продал в 1995 году America Online за 15 млн $. Впоследствии WAIS стала прообразом современных поисковых систем и одной из первых программ, индексирующих большое количество информации. Одновременно с этим Брюстер переехал из Бостона в Сан-Франциско — город, который в то время только начал становиться центром Кремниевой долины.
В этот период Кейл заинтересовался вопросом архивирования всего интернета. Для этих целей он создал в 1996 году две взаимосвязанные организации — НКО Internet Archive и коммерческую систему веб-архивирования Alexa Internet, которая была создана совместно с и получила название в честь Александрийской библиотеки. Задачей Alexa Internet стало финансирование некоммерческого проекта за счёт средств, вырученных от веб-архивирования. Помимо этого, все архивированные через Alexa данные также автоматически сохранялись в коллекцию. Начальные инвестиции в проект Alexa Internet составили около 1 млн $. Уже спустя год после создания «Архив Интернета» и Alexa совместно разработали браузерный плагин — программа автоматически определяла и сохраняла «ценные» веб-страницы, ранжируя их по количеству посещений и перекрёстных ссылок и кликов. Цикл создания и архивирования страниц составлял восемь недель, после чего процесс сканирования запускали заново. Встроенная в браузер панель инструментов Alexa помогала пользователям в навигации по интернету и одновременно занималась его каталогизацией, собирая метаданные о том, как страницы связаны друг с другом. Первое время для хранения данных использовали магнитную ленту — несмотря на то, что только появившиеся дисковые хранилища выигрывали в вопросе экономии пространства и удобства, ленты были примерно в 10 раз дешевле.
Целью «Архива Интернета» стала борьба с вымиранием ссылок — большинство создававшихся веб-страниц не было долговечным. Все собранные данные сохранялись в коллекцию «Архива Интернета». Так, 72 % опубликованных в 1998 году ссылок стали «мёртвыми» к 2021 году. Чтобы продемонстрировать важность сканирования и сохранения копий веб-страниц, «Архив» инициировал совместный проект со Смитсоновским институтом в Вашингтоне по сбору скриншотов веб-сайтов всех кандидатов в президенты 1996 года. Впоследствии эти данные были включены в архив института о партиях и кандидатах, собирающий данные по политическим партиям США и всем кандидатам в президенты.
1997—1999-й год В 1998 году Alexa Internet передала Библиотеке Конгресса 2 терабайта заархивированного за два года контента или веб-сайтов. Тогда Брюстер Кейл упомянул, что надеется вдохновить Библиотеку Конгресса и другие исследовательские библиотеки сохранять знания не только в печатном, но и в онлайновом виде.
В 1998—1999 годах «Архив Интернета» и Alexa заключили контракт с Microsoft и Netscape Communications на включение своего программного обеспечения в браузеры Internet Explorer и Netscape Navigator. Соглашения позволили значительно расширить инфраструктуру «Архива» — Alexa была внедрена на 90 % персональных компьютеров того времени. К концу 1998 года руководство «Архива» решило перейти с магнитной ленты на жёсткие диски. В 1999 году Брюс Кейл получил предложение от компании Amazon продать ей коммерческий успешный Alexa Internet за $250 млн, на что создатель ответил согласием. После покупки Alexa по-прежнему продолжила отправку данных в «Архив Интернета». В этом же году Энди Джуэл создал новый веб-краулер, позволяющий параллельно совершать сразу несколько сканирований и сохранять результаты в формате ARC. В этом же году НКО внедрило разработанный Джуэлом новый краулер, который позволил собирать не только веб-страницы, но и другие виды данных, например, анимацию. Благодаря партнёрству с из был реализован проект по оцифровке 1000 фильмов (общей стоимостью в $) и по архивированию телевизионных новостных трансляций. В 2005 году Библиотека Конгресса приобрела Prelinger Archives, доступ к материалам по-прежнему осуществляется через «Архив».
2000—2010 годы
В период за 2000—2001 год размер архива увеличился втрое и составил около 40 терабайт. Одновременно с этим перед руководством встал вопрос о предоставлении доступа к собранной коллекции. Отдельные данные были доступны широкой публике, но требовали от пользователя знания Unix. Чтобы открыть доступ к информации, программисты Alexa создали Wayback Machine — онлайн-сервис, через который пользователи могли осуществить поиск по вводимому URL-адресу. Сервис был запущен 24 октября 2001 года и предлагал доступ к более чем 10 млрд заархивированных веб-страниц и 100 ТБ данных. В то время данные хранились на серверах Hewlett-Packard и uslab.com под управлением операционных систем FreeBSD и Linux. На каждом сервере было около 512 МБ оперативной памяти и чуть более 300 ГБ на жёстких дисках. К декабрю 2014 года руководство Wayback Machine сообщило, что сохранило 435 млрд веб-страниц по всему миру. С технической точки зрения WM не является архивом, а скорее общедоступным интерфейсом к ограниченному подмножеству всех хранилищ.
В связи с президентскими выборами в США 2000 года «Архив Интернета» инициировал совместный с Библиотекой Конгресса проект по сбору информации о политических кампаниях кандидатов. Другим крупным проектом того периода стал «Архив 11 сентября», посвященный событиям 11 сентября 2001 года. Работая с Библиотекой Конгресса, «Архив» собрал изображения с более избранных веб-сайтов в период по 1 декабря 2001 года включительно, а также сотни часов телетрансляций.
В 2002 году «Архив» реализовал сразу несколько крупных проектов, значительно расширивших его коллекцию. Первым и самым крупным из них стал зеркальный сайт библиотеки в городе Александрия. Всего в Египет было отправлено серверов с более чем 100 ТБ данных, общей стоимостью около $5 млн. Также «Архив Интернета» передал в Библиотеку Александрина 10 млрд веб-страниц, собранных с 1996 по 2001 год, 2000 часов записей передач египетского и американского телевидения и 1000 старых фильмов.
Летом 2002 года «Архив Интернета» сотрудничал с центром Карнеги-Меллона в проекте «» (MBP) по оцифровке более одного миллиона книг и размещению их для бесплатного чтения в интернете. Проект осуществляли при полноправном участии других американских университетов и цифровых собраний Индии, Китая, Египта. Деньги на MBP выделили Национальный научный фонд США ($3,63 млн), правительство Индии (25 млн), а также Министерство образования КНР (8,46 млн). В свою очередь, «Архив Интернета» предоставил оборудование, персонал и денежные средства для оцифровки необходимых документов. Впоследствии собранная коллекция была доступна через зеркальные сайты Индии, Китая, порталов Университета Карнеги-Меллона и «Архива Интернета». В декабре 2004 года АИ объявил о новом сотрудничестве с несколькими международными библиотеками по помещению оцифрованных книг в архивы с открытым доступом. Вторым крупным проектом этого периода стал «Букбомбиль» — передвижная библиотека, по желанию печатающая работы из коллекции архива. Букмобиль передвигался по Сан-Франциско и, по заказу пользователей, мог печатать около 20 страниц в минуту, после чего волонтёры проекта собирали их вручную, помещали в обложку и переплетали с помощью нагревающего клей устройства, нанесённого на корешок страниц. Для обрезки книги использовали гильотинный резак для бумаги.
В 2003 году «Архив» продолжил сотрудничать с национальными библиотеками. В июле АИ принял участие в создании — группы из 12 национальных библиотек США, согласившихся объединиться для разработки стандартов, инструментов и практик по приобретению, сохранению и созданию доступного знания и информации из интернета. Для достижения этой цели консорциум собирает интернет-контент со всего мира, таким образом, чтобы его можно было заархивировать и защитить, а также содействует разработке и использованию общих инструментов, методов и способов поощрения развития национальных библиотек. В этом же году «Архив Интернета» запустил — веб-краулер с открытым исходным кодом на основе Java, который впоследствии был внедрён многими учреждениями по всему миру.
В 2004 году «Архив Интернета» начал перенос данных на оборудование третьего поколения — . PetaBox основан на операционной системе Linux и представляет RAID-хранилище по цене примерно $2000 за терабайт или $2 млн за петабайт. Первым новое оборудование установили в Амстердамском отделении «Архива» — EU Web archive, которое собирает документы в странах Европейского союза и также служит зеркалом основной коллекции.
«Архив Интернета» ставит перед собой цель предоставить универсальный доступ ко всему человеческому знанию и стать масштабной интернет-библиотекой. В июне 2007 года штат Калифорния присвоил «Архиву Интернета» статус библиотеки, таким образом сделав его доступным для федерального финансирования и включив его в сеть организаций, занимающихся сохранением открытого доступа к информации.