A webarchiválás a világháló (World Wide Web) egyes részeinek begyűjtésére és megőrzésére irányuló tevékenység. Fő célja, hogy a világhálón tárolt információk a kutatók, történészek és a széles társadalmi nyilvánosság részére, szervezett gyűjteményi keretek között, a jövőben is elérhetők legyenek. A webarchiválással foglalkozó szakemberek rendszerint keresőrobotokat használnak az automatizált begyűjtéshez, jelenleg ez a leginkább elterjedt módszer a nagy mennyiségű és nagy terjedelmű webes információforrások begyűjtésére.
A webarchiválás szervezeti keretei A legnagyobb és legrégebbi internet archiválással foglalkozó nonprofit szervezet, az Internet Archive, amely a teljes világháló egyes szegmenseiről készít mentéseket. „Rajta kívül a nemzeti könyvtárak, a nemzeti levéltárak, valamint a webarchiválásban érdekelt egyéb szervezetek által alkotott különféle szövetségek, konzorciumok játszanak vezető szerepet a webes kulturális örökség megőrzésében.
A 2001-ben alakult International Web Archiving Workshop (IWAW) elsőként biztosított egységes platformot a tapasztalatok megosztásához és a közös szakmai gondolkodáshoz. Az International Internet Preservation Consortium (IIPC) későbbi, 2003-ban történt megalapítása jelentősen megkönnyítette a nemzetközi együttműködést a szabványok és a nyílt forráskódú eszközök fejlesztésének terén. Az IIPC segítséget nyújt az egyes nemzeti webarchívumok létrehozásához, folyamatos fejlődéséhez, és közös ernyőszervezetben tömöríti 45 országból a webarchiválásban érintett közgyűjteményeket, nonprofit intézményi szereplőket és magánvállalatokat.
Magyarországi partnerként az Országos Széchényi Könyvtár (OSZK) 2018-ban csatlakozott a szervezethez. Mivel a kulturális alkotások egyre nagyobb hányada már eleve a számítógépes világhálón jön létre, illetve ott is rögzítésre kerül, ezért egyre nagyobb az igény e kultúrkincs archiválásra a közgyűjtemények részéről. Az IIPC közös kereteket ad ahhoz, hogy egyre több könyvtár, levéltár és múzeum feleljen meg e szakmai kihívásnak.
A webarchiválás múltja A világháló hőskorát még a statikus honlapok és az azokon keresztül közzétett információ korlátozott, könnyen áttekinthető és nyilvántartható rendszere jelentette. Ennek az időszaknak egyik jellemző műfaja volt a tematikus katalógus (például az Amnesty International által összegyűjtött emberi jogi csoportok listája, valamint a Yahoo! Directory és az Open Directory Project). A kilencvenes évek közepén az egyik legfontosabb szolgáltatás-típus volt ez a maga nemében, mert tartalmi kategóriák szerint, folyamatos frissítéssel tette elérhetővé az egyes webhelyek címeit. 1998-ra már az a meggyőződés alakult ki, hogy a Yahoo! jelentősen hozzájárult az online könyvtártudomány kialakulásához, nem csupán annak osztályozási rendszere révén, hanem a cég által kifejlesztett navigációs eszközöknek köszönhetően is. A weboldalak felmérése, értékelése és kategorizálása jelentette a webkurátori tevékenység kezdeti formáját. Az algoritmikus keresőmotorok megjelenése – az online tartalom exponenciális mértékű növekedésével párhuzamosan – az ilyen manuális módszerek eltűnéséhez vezetett, de kisebb méretű válogatott linkgyűjtemények létrehozásához erre a tevékenységre továbbra is szükség van.
Magyarországon a webarchiválás gondolata már a 2000-es évek elején felmerült különféle könyvtári és informatikai fórumokon. Kisebb kísérleti projektek zajlottak könyvtárakban, egyetemeken és kutatóintézetekben, de az intézményi keretek között szervezett, nemzeti szintű webarchiválási tevékenység megalapozására egészen 2017-ig kellett várni. Ekkor indult el az Országos Széchényi Könyvtárban az a kísérleti projekt, melynek célja az üzemszerűen működő magyar webarchívum szakmai és infrastrukturális feltételeinek megteremtése.
A web gyűjtése A webarchívumok munkatársai általában különböző típusú tartalmakat archiválnak, beleértve a HTML weboldalakat, a stíluslapokat, a JavaScript-et, a képeket és a videóanyagokat. Az archiválás során az összegyűjtött források metaadatait is megőrzik. A különböző típusú (leíró, adminisztratív, technikai) metaadatok rögzítésére szolgáló intézményi gyakorlat kialakítását nemzetközi ajánlások segítik. A metaadatok hasznosak a gyűjtemény hitelességének és eredetiségének megállapításához is, különösen a levéltárak által archivált "hivatalos" webdokumentumok esetében van ennek fokozott jelentősége.
A tartalom gyűjtésének módszerei
Távoli aratás A leggyakoribb webarchiválási módszer a keresőrobotokhoz hasonlóan automatizálja a weboldalak gyűjtésének folyamatát. Ezek a szoftverek jellemzően ugyanúgy érik el a weblapokat, mint a böngésző programok, ezért viszonylag egyszerű módszert biztosítanak a tartalom távolról történő aratására. Az archiváláshoz használt robotok közül az alábbiak használata a leginkább elterjedt:
Wget Heritrix HTTrack Webrecorder Conifer Brozzler
A távoli aratással begyűjtött anyag tárolási formája és megjelenítési módja A HTTrack ugyanabban a könyvtárszerkezetben gyűjti be a webes anyagot, ahogyan az az eredeti webhelyen megjelent. A hosszú távú megőrzéshez azonban a webarchívumok ennél célravezetőbb tárolási módot használnak. A WARC a robotok által begyűjtött digitális objektumok és metaadataik tárolására szolgáló, 2009-ben szabványosított (ISO 28500) nyílt formátum. A WARC fájl egy olyan, jellemzően nagy méretű csomag, amely egy vagy több WARC rekordot tartalmaz (ezeknek 8 fajtája létezik), melyek mindegyike egy header-ből és egy content block-ból áll. Utóbbiban bármilyen fájltípus tárolható. A Heritrix által vezérelt robotok ilyen gyűjtőfájlokba mentik a learatott tartalmat. A WARC fájlokba mentett webanyagot általában az Internet Archive által fejlesztett Wayback Machine nyílt forráskódú változatával jelenítik meg, de léteznek alternatív megoldások is, például a Webrecorder Player, vagy a Python nyelven írt pywb.
Adatbázis archiválás Ez a kategória az adatbázis-alapú webhelyek tartalmának archiválására szolgáló módszereket foglalja magában, ami általában az adatbázis tartalmának szabványos sémába történő exportálását igényli, gyakran XML használatával. A szabványos formátumban tárolt adatbázisok archivált tartalmait közös lekérdező rendszer segítségével is el lehet érni. Ezt szolgálják például a DeothArc és a Xinq eszközök, amelyeket a Francia Nemzeti Könyvtár és az Ausztrál Nemzeti Könyvtár fejlesztett ki. A DeepArc lehetővé teszi egy relációs adatbázis struktúrájának XML-sémára történő leképezését, majd az XML dokumentumba történő tartalom konverziót. A Xinq pedig az így konvertált tartalom online elérhetőségét biztosítja. Bár a webhely eredeti elrendezése és funkcionalitása nem tartható meg teljes pontossággal, a Xinq lehetővé teszi az eredetinek megfelelő alapvető lekérdezési és visszakeresési funkciókat.
Tevékenység-alapú archiválás Ez egy olyan eseményalapú archiválási módszer, amely összegyűjti a webszerver és a webböngésző közötti tranzakciókat. Elsősorban az adott webhelyen, adott időpontban ténylegesen megtekintett tartalom bizonyításának megőrzéséül szolgál. Ez különösen fontos lehet olyan szervezetek számára, amelyeknek meg kell felelniük az információk nyilvánosságra hozatalára és megőrzésére vonatkozó jogszabályi, illetve egyéb szabályozási követelményeknek.
Ingyenes webarchiválási szolgáltatások Különféle ingyenes szolgáltatások is léteznek, webes források archiválására, a fentebb tárgyalt aratási technikák valamelyikének alkalmazásával. A teljesség igénye nélkül néhány a lényegesebbek közül:
A WebCite egy elsősorban szerzőknek és szerkesztőknek szánt ingyenes, igény szerint archiváló szolgáltatás, amely lementi és stabil URI-val látja el a felhasználó által javasolt publikációkat és egyéb online forrásokat, így biztosítva, hogy az ezekre való hivatkozások hosszú távon is működőképesek maradnak. Böngészőbe beépíthető könyvjelző alkalmazás is van hozzá.
A Conifer a Rhizome nonprofit szervezet által 2016 óta fejlesztett, Python nyelven írt nyílt forráskódú program a weben való böngészések archiválására és utólagos visszanézésére. (Csak a felhasználó által meglátogatott oldalak nézhetők újra). Elsősorban a közösségi média megőrzésére optimális, olyan regisztrációhoz kötött, interaktív, dinamikus, média-gazdag oldalakhoz, amelyekkel a hagyományos robotok és egyéb letöltők nem boldogulnak. Az archív tartalom WARC formában tárolható, és fel- illetve letölthető az WebRecorder.io szerverre, ami 5 GB ingyen tárhelyet ad. A munkamenetek fájlkezelő-szerű felületen menedzselhetők és megoszthatók másokkal.
Az Archive.is egy ingyenes weboldal archiváló szolgáltatás, ami egy bookmarklet segítségével böngészőbe is beépíthető. A felhasználó kezdeményezésére lementett weblapok stabil URL-eken hivatkozhatók és kereső is van hozzájuk. A lementett oldalakról 1024x768 pixeles képernyőfotó is készül. A maximális mérethatár 50 MB (oldalanként, képekkel együtt), megőrzési határidőkorlát nincs. A szöveges tartalomról három másolatot tárol, de a képanyag is duplikálva van különböző európai adatközpontokban.
Kihívások, korlátok, nehézségek
A robot alapú begyűjtés korlátai A webarchívumok a világháló feltérképezésének eredményeire támaszkodnak. A webanyagok feltárását és begyűjtését azonban több dolog nehezíti:
A robotok kitiltásának szabályai, melyeket az adott webszerver gyökérkönyvtárában lévő robots.txt szövegfájlban lehet szabványos formában megadni, megkövetelhetik, hogy a webhelyet bejáró robotok ne férjenek hozzá bizonyos alkönyvtárakhoz vagy fájlokhoz. Egyes esetekben megfelelő jogszabályi felhatalmazással figyelmen kívül hagyható ez a tiltás és beállítható úgy a robot, hogy learassa az adott webhely teljes nyilvános tartalmát. Lehet, hogy a tartalom nagy része rejtve marad a láthatatlan weben, például azért, mert az csak egy keresőűrlapon keresztül érhető el, vagyis nincs egy robotok által is követhető link a találati listára. A robotokat fogságba ejtő csapdák (pl. öröknaptárak) esetében az adott helyre tévedő robot végtelen számú oldalt tölthet le, s így nem tud továbbhaladni. A robotok ezért általában úgy vannak beállítva, hogy korlátozzák a feltérképezett dinamikusan generált oldalak számát.
Fontos azonban megjegyezni, hogy egy natív formátumokra támaszkodó nagy webarchívum létrehozatala és bővítése, azaz egy teljesen böngészhető gyűjtemény működő hivatkozásokkal, dizájn- és média-elemekkel stb., jelenleg döntően csupán a robotokra támaszkodó technológiai háttérrel lehetséges.
Az egyes lekérdezési műveletekre válaszként folyton dinamikusan változó tartalmat generáló oldalak archiválása viszont nem oldható meg hagyományos webrobotok segítségével. Fejlesztés alatt állnak olyan, az emberi böngészési tevékenységet imitáló szoftverek, melyek segítségével a jelenleg nem jól aratható tartalmak (pl. közösségi média, folyamatosan változó hírportálok, a láthatatlan webet alkotó adatbázisok stb.) is feltérképezhetőbbé és menthetőbbé válhatnak. Jelenleg még csupán arra van lehetőség, hogy a Webrecorder szolgáltatás révén manuálisan, egy böngésző segítségével gyűjtsük be az általunk bejárt dinamikus oldalakat.
A web mérete annyira nagy, hogy teljes feltérképezése hatalmas mennyiségű technikai erőforrást igényel. Egy webhely egy része akár meg is változhat, mielőtt a robot befejezi az aratását. Az egyes webarchívumok gyűjtőköri szabályozása ezért pontosan meghatározza a begyűjtendő tartalom körét.
A webszerver beállításainak hatása a webarchiválásra