Архівува́ння вебса́йтів (вебархівува́ння, ) — процес збирання та «дублювання» вебсторінок та цілих сайтів з метою збереження інформації та доступу до неї у майбутньому, якщо джерело виявиться недоступним. Передумовами розвитку вебархівування стали проблеми вимирання посилань і потенційний наступ цифрових темних століть. 1996 року створено «Архів Інтернету» — першу некомерційну організацію, яка поставила собі за мету створити «знімки» всіх сторінок в інтернеті. 2001 року «Архів» запустив сервіс із архівування сайтів Wayback Machine, через який станом на 2021 рік було збережено понад 600 млрд вебсторінок.
Від початку 2000-х років практики збереження вебсайтів активно впроваджують у багатьох країнах, зокрема й на державному рівні. При цьому діють майданчики для розробки стандартів та загальних практик у сфері вебархівування, наприклад, Міжнародний семінар архівування інтернету (IWAW) (від 2001-го) та (від 2003-го).
Найчастіше інформацію зі статичних сайтів збирають за допомогою пошукових роботів (наприклад, , Webrecorder, HTTrack), які надсилають HTTP-запити на вебсервери і «захоплюють» передаваний контент зі всіма гіперпосиланнями з просканованих вебсторінок. Натомість, скрипти, шаблони та контент динамічних сайтів зберігаються на вебсерверах як окремі ресурси, тому архівувати такі портали значно складніше. Процес має два основні етапи — збереження файлових даних зі структури каталогів вебсайту та подальше архівування інформації з бази даних.
Визначення Терміни вебархівування та вебзбереження () часто використовують як взаємозамінні, проте між ними існує важлива відмінність: перший визначає весь процес збереження інтернет-ресурсу, а другий лише один з етапів. визначає вебархівування як:
Передумови
Від початку 1990-х років створення, зберігання та поширення інформації відбувається переважно в цифровому середовищі. Вже до середини 1990-х років почали старіти раніше популярні носії інформації, такі як магнітні стрічки, дискети, ZIP-накопичувачі та компакт-диски, а доступ до старих файлових форматів ускладнився. Стали зникати багато великих баз даних, які не було скопійовано на інші носії чи продубльовано на папері. Так, усі дані великомасштабного проєкту BBC Domesday Project, проведеного в 1980-ті роки за участю понад мільйон осіб, було записано на кілька дисків, які до початку 2000-х років або пошкодились, або були втрачені.
Повсюдна втрата даних призвела до того, що окремі дослідники почали обговорювати потенційне настання «цифрових темних століть» () — періоду, що характеризується практично повною відсутністю писемних свідчень. Деякі дослідники називають XXI століття «інформаційною чорною дірою» через побоювання, що програмне забезпечення та комп'ютери майбутнього не зможуть відтворити створених раніше даних. 2003 року ЮНЕСКО випустила «Хартію про збереження цифрової спадщини», яка визначає важливість резервації цифрових даних, втрата яких може призвести до «збіднення» людської спадщини. 2015 року із заявою про те, що людство рухається до «цифрових темних століть», виступив американський учений і віце-президент Google Вінтон Серф.
Іншою передумовою для розвитку вебархівування є вимирання посилань — ситуація, коли сторінки стають недоступними за попередніми URL або змінюється їх зміст. Аналіз, який провели 2017 року португальські дослідники, показав, що близько 80 % інтернет-сторінок недоступні в початковому вигляді вже через рік після опублікування, при цьому 13 % посилань у наукових статтях зникали в середньому через 27 місяців. 2021 року вчені юридичного факультету Гарвардського університету разом із журналістами The New York Times (NYT) проаналізували життєздатність посилань у більш ніж 550 тисячах випущених NYT онлайн-публікаціях у період за 2000—2017 роки — близько чверті використаних URL-адрес «вимерли». Середня тривалість життя вебсторінки становить 44—100 днів, а на сайтах новин і в соціальних мережах інформація може зникати ще швидше.
Інформація в інтернеті може зникати і з інших причин. Так, 2015 року Державний департамент США і Агентство США з міжнародного розвитку ініціювали видалення матеріалів про війну в Афганістані з метою вберегти тих, хто співпрацював з американською владою, від переслідування з боку талібів. Інший приклад — висунуті в грудні 2021 року вимоги Роскомнадзору видалити з низки російських ЗМІ матеріали про розслідування видання «Проект», яке раніше визнано небажаною організацією.
Відбір джерел Починаючи від 1980-х років, окремі архіви та бібліотеки почали зберігати електронні ресурси з метою задокументувати хроніку актуальних подій. Однак відправною точкою вебархівування вважають створення 1996 року «Архіву Інтернету» — некомерційної організації, що поставила амбітну мету зберегти всі веб-сторінки всього інтернету, яких на той момент було відносно небагато. Наприкінці 1990-х — на початку 2000-х років уряди багатьох розвинених країн стали впроваджувати практики вебархівування, поклавши відповідальність за їх ведення на національні бібліотеки, які мають необхідний досвід та засоби для архівування. До 2000 року національні вебархіви з'явилися в багатьох країнах, зокрема, у Великій Британії, Новій Зеландії, США та Чехії.
Відтоді кількість проєктів із вебархівування зростає. 2011 року у світі діяло 42 програми, більшість із яких збирали регіональні вебджерела. Дослідження 2020 року показало експоненційне зростання кількості установ, що мають власні репозиторії, роботу яких підтримують найняті фахівці та спеціалізоване обладнання. Більшість таких репозиторіїв поповнюється за принципом самоархівування — автори самостійно розміщують там свої матеріали. На 2019 рік вебархіви на національному рівні запроваджено практично у всіх країнах Європейського Союзу, найчастіше — у рамках роботи національних бібліотек.
Організації
«Архів Інтернету»
Першою найбільшою ініціативою з веб-архівування став «Архів Інтернету» — некомерційна організація, створена 1996 року для збереження всіх розміщених в інтернеті матеріалів. Творцем став американський програміст Брюстер Кейл, який одночасно запустив «Архів» і комерційну систему вебархівування Alexa Internet. 1997 року він розробив браузерний плагін, через який Alexa Internet автоматично визначала і зберігала в «Архів» «цінні» веб-сторінки, ранжуючи їх за кількістю відвідувань, перехресних посилань і «клацань». Від 1998 року кількість сторінок для архівування зростала вдвічі кожні 3—6 місяців.
24 жовтня 2001 року «Архів Інтернету» запустив сервіс Wayback Machine, через який користувачі могли отримати доступ до більш ніж 10 млрд заархівованих веб-сторінок. Тоді дані зберігалися на серверах Hewlett Packard і uslab.com і керувалися через операційні системи FreeBSD і Linux.
На 2021 рік колекція «Архіву Інтернету» містила багато підколекцій архівованих вебсайтів, оцифрованих книг, аудіо та відео файлів, ігор, програмного забезпечення; при цьому кількість заархівованих вебсторінок склала понад 622 млрд.
WebCite Сервіс WebCite, запущений 2003 року, став першим інструментом вебархівування, що дозволяє користувачам зберігати вебсайти за запитом. Він швидко набрав популярності і вже на 2005 рік близько 200 журналів просили авторів перед надсиланням рукописів архівувати використовувані вебсторінки через WebCite. Сервіс не використовує пошукових роботів для «захоплення» сторінок, архівування відбувається безпосередньо за запитом користувача.
2013 року WebCite був під загрозою закриття через брак фінансування, проте завдяки публічній кампанії зі збору коштів творця Гюнтера Айзенбаха портал продовжував свою роботу ще шість років. Від 2019 року він став доступним лише для читання та припинив приймати запити на архівування.
Archive.today Сервіс archive.today (спочатку archive.is) запустила 2012 року однойменна некомерційна організація. Проєкт фінансують приватні спонсори. Так само, як і WebCite, archive.today зберігає вебсторінки за запитами користувачів, розміщуючи у відкритому доступі робочу копію вебсторінки та знімок екрана зі статичною візуалізацією сторінки у форматі PNG. Розмір заархівованої сторінки з усіма зображеннями не може перевищувати 50 МБ.
Творці archive.today також запустили розширення для браузера Mozilla Firefox, яке автоматично зберігає і викладає у спільний доступ копію кожної вебсторінки, яку користувач додав у закладки .
Національні бібліотеки У більшості розвинених країн діють закони про обов'язковий примірник, які покладають юридичну відповідальність на національні бібліотеки зберігати один примірник кожного опублікованого в цій країні друкованого видання. З розвитком засобів електронної комунікації дію закону поширили і на вебсайти. Так, згідно із , та зобов'язані зберігати всі важливі постанови уряду Великої Британії. Оскільки чиновники все частіше публікують свої звіти в інтернеті, вебархів щомісяця відвідують понад 100 млн користувачів (станом на 2013 рік).
1996 року Національна бібліотека Швеції ініціювала проект Kulturar, у рамках якого здійснювалося великомасштабне збереження всієї шведської мережі доменів. На початку 2005 року зібрано понад 350 000 вебсайтів або близько 10 терабайт даних, завдяки чому вебархів став найбільшим на той момент у світі. 1997 року створено спільну ініціативу національних бібліотек Данії, Фінляндії, Ісландії, Норвегії, Швеції під назвою Nordic Web Archive (NWA). У рамках NWA велася розробка інструментів та обговорювалися методи вебархівування для скандинавських країн. 2004 року NWA випустив програмний пакунок для доступу до архівованих вебдокументів, який згодом ліг в основу Toolkit. Цього ж року Національна бібліотека Австралії запустила — проєкт збереження електронних ресурсів Австралії. 2019 року колекція Pandora увійшла до — одного з найбільших національних вебархівів у світі.
Колаборації
2001 року створено Міжнародний семінар архівування Інтернету (IWAW) — майданчик для обміну дослідженнями та досвідом у сфері вебархівування, а 2003-го з ініціативи «Архіву Інтернету» засновано (IIPC), у рамках якого розробляються стандарти та засоби вебархівування. Крім «Архіву», до складу IIPC увійшли національні бібліотеки Франції, Австралії, Канади, Данії, Фінляндії, Ісландії, Італії, Норвегії, Швеції, Великої Британії, США. 2008 року в рамках IIPC розроблено Web ARChive або WARC — формат файлів для архівування вебресурсів. На 2021 рік у IIPC перебувало більше 50 членів.
Організації часто співпрацюють для створення об'єднаних веб-архівів. Так, від 2004 до 2018 року діяв Європейський цифровий архів (згодом перейменований на ), який збирає електронні документи в країнах Європейського Союзу. Серед інших, до його складу входили Національні архіви Великої Британії, Товариство імені Макса Планка, Берлінський технічний університет, Саутгемптонський університет, . На початку 2000-х років департаменти китаєзнавства Гейдельберзького та Лейденського університетів спільно запустили вебархів DACHS, що містить електронні матеріали з синології. Консорціуми NWA та UKWAC проводили програми спільного збору даних у партнерстві з іншими організаціями. Наприкінці 1990-х років Європейська комісія профінансувала створення Networked European Deposit Library (NEDLIB) — проекту зі збирання, описування, зберігання та відкриття доступу до збережених європейських вебсайтів. Випущений 2000 року NEDLIB Harvester став одним із перших пошукових роботів, спеціально створених для архівування даних. Згодом його використовували в низці проєктів, зокрема для збору даних із нідерландських, естонських та ісландських вебдоменів.
У липні 2011 року Національний архів Великої Британії спільно з Internet Memory Foundation запустили пілотний проєкт з вебархівування цифрових даних для місцевих органів влади. Проєкт діяв у семи архівах муніципальних утворень, що охоплюють понад 20 місцевих органів влади. Персонал пройшов безкоштовне навчання зі створення кураторського вебархіву для своєї галузі.