Bundesarchiv

Het Duitse Bundesarchiv digitaliseert steeds meer van zijn documenten en wordt daarbij voor flinke uitdagingen gesteld. Jaarlijks ontvangt het grote volumes aan gedigitaliseerde gegevens die op integriteit moeten worden gecontroleerd alvorens in het archief te worden opgenomen. Het staatsarchief wordt daarbij geholpen door externe dienstverleners. In zijn zoektocht naar een manier om gedigitaliseerde bestanden sneller in het archief op te kunnen nemen kwam de overheidsinstelling uit bij de Silent Bricks van FAST LTA. Na een bijzonder kort implementatietraject beschikt het Bundesarchiv nu over 70 snel presterende systemen bestaande uit SSD-opslagmedia en transporteerbare opslagcontainers waarmee het gedigitaliseerde gegevens in uiterst korte tijd op veilige wijze naar het archief in Koblenz kan overbrengen.

“Met de Silent Bricks realiseren we overdrachtssnelheden van 500 tot 700 MB per seconde voor grote bestanden. Vroeger was dit slechts 80 MB. Dit biedt enorme voordelen en stroomlijnt het proces aanzienlijk. We konden de technologie zonder aanpassingen bijzonder eenvoudig in gebruik nemen en naar onze externe dienstverleners uitrollen.”
Timo Dommermuth, IT-specialist bij het Bundesarchiv

Tien keer snellere opslagsnelheden dankzij Silent Bricks:

Hoe het Duitse Bundesarchiv het geheugen van de natie digitaliseert

Bioscoopjournaals uit de Tweede Wereldoorlog, films zoals “Rosen für den Staatsanwalt” (1959), documenten vanaf het einde van de 14e eeuw en sinds 2021 ook de Stasi-archieven: in het Duitse Bundesarchiv ligt het geheugen van de natie opgeslagen. Steeds meer van de archieven op papier of microfiches worden gedigitaliseerd. Vanaf 2024 moet dat met een tempo van zo’n 80 miljoen pagina’s per jaar gebeuren. De Silent Bricks van FAST LTA vervullen daarbij een sleutelrol als snelle en transporteerbare opslagmedia. Hierdoor was het Bundesarchiv in staat om de opslagsnelheden met een factor tien te verhogen ten opzichte van zijn eerdere oplossing. En dankzij dit nieuwe storage-systeem kan men ook twee keer zo snel over gedigitaliseerde informatie beschikken. Het Bundesarchiv en zijn externe dienstverleners slaan de gedigitaliseerde bestanden op transporteerbare en vrijwel onverwoestbare opslagmedia op. Deze worden naar Koblenz overgebracht en daar voor de eeuwigheid opgeslagen op magnetische tape. Bij elk nieuw verzoek om archiefmateriaal wordt nu het principe van digitalisering on demand toegepast. Met andere woorden: elk papieren document dat voor dit doel wordt aangeraakt wordt meteen gedigitaliseerd.

Uitdagingen

1. Tot 10 petabyte aan archiefgegevens per jaar digitaliseren
2. Traditionele vaste schijven vertegenwoordigden een bottleneck
3. Een veilig transport van grote hoeveelheden data over lange afstanden

Elke tijd brengt nieuwe inzichten met zich mee. Dit maakt het extra belangrijk om documenten uit het verleden opnieuw te evalueren vanuit de huidige tijdgeest en stand van kennis. Archieven zoals die van het Bundesarchiv zijn daarvoor onmisbaar. “Elk archief is een plek die het individuele en collectieve geheugen in stand houdt. In dit tijdperk van informatie en digitale transformatie waarborgen archieven de volkssoevereiniteit”, aldus Prof. Dr. Hollmann, de voorzitter van het Bundesarchiv.

Bergen aan data

Het Bundesarchiv heeft het wettelijke mandaat om het Duitse archiefgoed voor de lange termijn op te slaan en bruikbaar te maken. Er worden dossiers, kaarten, afbeeldingen, posters, films en bandopnamen in analoge en digitale vorm bewaard. Momenteel zijn er circa 2.300 medewerkers bij het Bundesarchiv actief. Zo’n honderd daarvan zijn IT-professionals. Het digitaliseren van de archieven is een ware herculesarbeid, aangezien de opslagvolumes elk jaar met vijf tot tien petabytes groeien. Binnen het archief is sprake van veel analoge bronnen. Zo was er eind 2020 alleen al sprake van 428 strekkende kilometer aan schriftelijk materiaal en meer dan een miljoen filmrollen. Sinds medio 2021 beheert het Bundesarchiv ook de Stasi-archieven van de “Staatssicherheitsdienst”, de binnenlandse geheime dienst van de DDR, die voorheen onder beheer van de Gauck-Behörde stonden. Daarmee ontstaat een verdere behoefte aan digitalisering.

Daarnaast worden alle bioscoopfilms waarvan de makers overheidssubsidie van de Duitse regering ontvangen in het Bundesarchiv opgeslagen. Het leeuwendeel van het archiefmateriaal bestaat echter uit dossiers, zoals beleidsdocumenten van de Duitse regering en diverse overheidsinstellingen. Deze documenten voeren terug naar het Heilige Roomse Rijk der Duitse Natie. Ten slotte liggen er in het Bundesarchiv ook geheime documenten opgeslagen.

Bottlenecks binnen het digitaliseringsproces

Het eerste overleg ten aanzien van het project vond halverwege 2018 plaats. “We werden voor het probleem gesteld dat we enorm veel data van externe dienstverleners ontvingen. Deze trend nam zienderogen toe. We ontvingen deze gegevens op USB-drives of vaste schijven, en het overzetten daarvan ging met enorm veel overhead gepaard”, zegt Timo Dommermuth, hoofd IT bij het Bundesarchiv. De gegevens moesten vervolgens naar een speciale opslagomgeving worden gedownload om verder te kunnen worden verwerkt.

“Het kopiëren van de gegevens vanaf deze gegevensdragers, in de meeste gevallen USB-schijven, verliep in het beste geval met slechts 80 MB per seconde. Dit resulteerde in uiterst lange verwerkingstijden, omdat we niet slechts een paar terabyte aan gegevens ontvangen, maar tot wel tien petabyte per jaar”, aldus Dommermuth. Het duurde bovendien tot twee weken om de gegevens op dergelijke schijven te evalueren en volledig in het archief op te nemen. In de speciale storage-omgeving vond namelijk een integriteitscontrole plaats en werden de gegevens omgezet in TAR-bestanden. De resulterende datasets werden vervolgens op tape opgeslagen. Het overleg stond daarom in het teken van de vraag hoe dit proces ingrijpend kon worden gestroomlijnd, vereenvoudigd en versneld.

Eliminatie van het kopieerproces en merkbaar snellere gegevensoverdracht

Dit was geen eenvoudige opgave, omdat er geen praktisch haalbare oplossing op de markt verkrijgbaar leek te zijn. De IT-experts herinnerden zich echter een presentatie over het opslagsysteem van FAST LTA die ze enige tijd daarvoor hadden bijgewoond. Het ging om het klassieke concept van de Silent Bricks als energie-efficiënte cold storage archiefoplossing. Maar met het oog op de enorme datavolumes waarmee het Bundesarchiv te maken heeft zou dat volgens Dommermuth een utopie zijn geweest. De experts kregen echter een lumineus idee: wat als ze deze technologie simpelweg gebruikten voor de uitwisseling van gegevens met de externe dienstverleners?

“We herinnerden ons dat de Silent Bricks direct in de controllers konden worden geschoven en in gebruik worden genomen. Daarmee konden het ingest- en kopieerproces aanzienlijk worden versneld”.

Eind 2018 ging men van start met een proof of concept (POC), in samenwerking met IT-dienstverlener Bechtle AG, een partner van FAST LTA. Men begon aanvankelijk met Silent Bricks in twee verschillende maten, een SSD-variant en de bijbehorende controllers. “Tijdens de POC bleek dat we met de Silent Bricks overdrachtssnelheden van 500 tot 700 megabyte per seconde konden realiseren voor bestanden met een grote omvang. Dit biedt enorme voordelen en stroomlijnt het proces aanzienlijk”, zegt Dommermuth. De verwerkingstijden werden zo ruim gehalveerd. Daarmee staat de gedigitaliseerde informatie sneller ter beschikking in het archief.

De gegevens worden door de dienstverleners direct naar de Silent Bricks geschreven. Na het transport naar het Bundesarchiv worden de gegevensdragers in de controller geschoven en via het NFS-protocol aan het archief gekoppeld. Het kopieerproces wordt daarmee volledig geëlimineerd.

Tijdens de eerste projectfase werden 20 Silent Bricks aangeschaft in combinatie met twee controllers, die elk vijf slots voor Silent Bricks bieden. Vanwege de snellere opslagprestaties koos het Bundesarchiv voor de SSD-variant.

Een eenvoudige integratie van digitaliseringspartners

Al tijdens de POC werd de nieuwe opslagtechnologie op de proef gesteld in samenwerking met enkele dienstverleners die naast Bechtle bij het project werden betrokken. “We konden de technologie van FAST LTA als het ware direct van de plank en zonder aanpassingen in gebruik nemen. Onze digitaliseringspartners lieten ons weten dat zij er direct probleemloos mee aan de slag konden gaan”, herinnert de IT-manager zich. De tijd tussen het eerste concept en de uiteindelijke implementatie bedroeg slechts een halfjaar. “Dat is bijzonder snel voor een IT-project waarbij nog nooit eerder gebruikte technologie komt kijken”, aldus Dommermuth. Het team van het Bundesarchiv draagt zorg voor circa een derde van alle digitalisering. Het resterende deel valt te beurt aan de externe dienstverleners. Op de locatie Berlin-Lichterfelde slaat het team nieuwe gegevens op Silent Bricks op die om de twee weken naar Koblenz worden overgebracht.

Voor dit doel wordt gebruikgemaakt van uiterst veilige transportcontainers. “We hebben op het juiste paard gewed”, zegt Timo Dommermuth. “Er is sprake van vlekkeloos contact met Bechtle en ook de ondersteuning door FAST LTA verloopt uitstekend. Beide partners stellen zich uiterst flexibel op. Er hebben zich tot dusver geen problemen voorgedaan”.

Uitvoering

1. Een succesvolle proof of concept waarbij externe dienstverleners waren betrokken

2. Een bijzonder snelle en probleemloze start van het project met 20 Silent Bricks

3. Een voortdurend groeiend opslagsysteem

Veiligheid als drijvende kracht

Een andere belangrijke reden waarom de keuze van het staatsarchief op Silent Bricks viel was de robuustheid van het systeem, dat vrijwel volledig fail-safe is. Er is immers sprake van regelmatige transporten tussen de externe dienstverleners en het Bundesarchiv, en dat gaat er niet altijd even zachtjes aan toe. Binnen elk opslagmedium wordt gebruikgemaakt van erasure coding ter voorkoming van gegevensverlies als gevolg van storingen. “Dankzij dit geïntegreerde beveiligingsconcept is de kans op gegevensverlies zo goed als nul, terwijl we in het verleden gedwongen waren om documenten opnieuw te digitaliseren als er storingen op USB-drives optraden”, zegt Timo Dommermuth.

Het digitaliseren van archieven is niet altijd even eenvoudig. Zeker niet als er nitraatfilms aan te pas komen. Alleen al de bioscoopjournaals uit de Tweede Wereldoorlog nemen in gedigitaliseerde vorm 20 terabyte in beslag. Bovendien is er een onvervalst fingerspitzengefühl nodig om ervoor te zorgen dat de films niet beschadigd raken of mensen in gevaar brengen. De coating van nitrocellulose, ook wel schietkatoen genoemd, valt onder de explosievenwet. Om deze reden moeten de nitraatfilms op een bepaalde temperatuur worden opgeslagen, zodat ze niet spontaan tot ontbranding kunnen komen. Ook de opslag van de gedigitaliseerde nitraatfilms op Silent Bricks geschiedt nu in beveiligde ruimtes.

Een groeiend opslagsysteem

Het modulaire storage-systeem, dat op flexibele wijze kan worden uitgebreid op basis van het bouwsteenprincipe, is in de loop der jaren steeds meer gegroeid. Het Bundesarchiv is momenteel in een nieuwe inkoopfase beland. In de nabije toekomst moeten er nog eens zes G5000-controllers en rond de 30 Silent Bricks met elk een bruto SSD-opslagcapaciteit van 24 TB worden aangeschaft. Het gaat binnen het staatsarchief duidelijk de kant op van on demand digitalisering: zodra documenten worden opgevraagd in het kader van een nieuw informatieverzoek worden ze gedigitaliseerd. Dat is des te meer reden om de Silent Brick-infrastructuur steeds verder uit te breiden. De experts van het Bundesarchiv verwachten vanaf 2024 zo’n 60 tot 80 miljoen pagina’s per jaar te kunnen digitaliseren. Tot nu zijn er 75 miljoen pagina’s in digitale vorm beschikbaar. Dit is zelfs voor internationale begrippen extreem veel.

De redenen waarom mensen een beroep op het archief doen verschillen sterk van elkaar. Vaak gaat het om wetenschappers of promovendi die documenten voor hun onderzoek nodig hebben. Maar er wordt ook herhaaldelijk gevraagd naar informatie die het lot van mensen moet ophelderen. De generatie van kleinkinderen wil steeds meer in het reine komen met de familiegeschiedenis in de tijd van het nationaalsocialisme. Maar er is ook sprake van minder gebruikelijke verzoeken. Zo hebben gameproducenten blauwdrukken van slagschepen uit de Tweede Wereldoorlog voor hun spelontwerpen nodig. Bijna al deze gebruikers ontvangen hun informatie nu in digitale vorm in plaats van op papier.

Resultaten

1. De snelheid van de overdracht werd opgevoerd tot 700 MB per seconde

2. De doorlooptijd voor de opname van gedigitaliseerde bestanden is ruim gehalveerd

3. Er is niet langer sprake van gegevensverlies als gevolg van problemen tijdens het transport

Partner

• Bechtle IT-Systemhaus Bonn/Köln

Over het Bundesarchiv

Het Bundesarchiv is een Duitse overheidsinstelling met het wettelijke mandaat om de staatsarchieven voor de lange termijn op te slaan en bruikbaar te maken. Er worden dossiers, kaarten, posters, afbeeldingen, films en bandopnames in analoge en digitale vorm opgeslagen. Momenteel zijn er circa 2.300 medewerkers bij het Bundesarchiv werkzaam. Ongeveer honderd daarvan zijn IT-professionals. Het archief werd in 1952 in Koblenz opgericht. Daarvoor deed het rijksarchief op de Brauhausberg in Potsdam dienst als het centrale archief.

Na de Tweede Wereldoorlog droegen de geallieerden in beslag genomen documenten over aan het Bundesarchiv. Sinds 1955 is het staatsarchief ook verantwoordelijk voor de langetermijnopslag van de militaire geschiedenis van de Bondsrepubliek Duitsland en zijn voorlopers. In juni 2021 viel daarnaast de verantwoordelijkheid voor het beheer van de documenten van het Ministerie voor Staatsveiligheid (MfS) van de voormalige DDR aan het Bundesarchiv ten deel.