Casestudy

Duits Centrum voor Lucht- en Ruimtevaart (DLR)

Het Duitse satellietdata-archief bewaart de data van de aardeverkenningssatellieten met een dual-vendor-opzet. De op tape gebaseerde oplossing wordt echter door de fabrikant niet meer verder ontwikkeld. Omdat aanvullend uit toekomstige missies een aanzienlijke groei van de data te verwachten is, moest een gelijkwaardige vervanging gevonden worden. Nieuwe virtual tape libraries moesten de oplossing voor de transitie vanuit de bestaande archiefmedia zijn omdat zo ook kortere wachttijden bij het aanroepen van de data bereikt worden.

Dankzij de harddisk gebaseerde technologie kunnen wij nu van een verdere, snellere kopie op harddisks afzien.

Stephan Schropp, IT-manager D-SDA, Duits Centrum voor Lucht- en Ruimtevaart (DLR) 

TanDEM-X

Alle foto’s: Duits Centrum voor Lucht- en Ruimtevaart (DLR) 

SB Story DLR | Feb 2020

Satellietdata veilig archiveren

Het DLR voegt het Silent Brick systeem van FAST LTA aan het archief toe

Het Duitse Centrum voor Lucht- en Ruimtevaart (DLR) biedt als onderzoekscentrum van de Bondsrepubliek Duitsland onderzoeks- en ontwikkelingswerk voor luchtvaart, ruimtevaart, energie, verkeer, veiligheid en digitalisering. Naast de eigen onderzoeken is het DLR als ruimtevaartinstituut in opdracht van de Duitse regering verantwoordelijk voor de planning en omzetting van de Duitse ruimtevaartactiviteiten. Op de locatie Oberpfaffenhofen bij München is het Earth Observation Center (EOC) gevestigd. Hier wordt met middelen van teledetectie naar antwoorden op dringende vragen op de gebieden milieu en klimaat, mobiliteit en planning, preventie en management van natuurrampen en de civiele veiligheid gezocht. Onderdeel van het EOC is het Duitse satellietdata-archief (D-SDA). De over de gehele wereld verdeelde ontvangststations voor satellietdata sturen hun data door naar het EOC waar ze langdurig bewaard en gearchiveerd worden. De data van het zeer snel groeiende, momenteel ca 20 Petabyte grote archief worden met een voorgeschakelde harddisk-cache via een hiërarchisch storage managementsysteem opgeslagen. Hierbij moeten twee kopieën van de data op verschillende opslagtechnologieën bewaart worden. Omdat één van de beide tot heden gebruikte tape-technologieën door de fabrikant als end-of-life verklaard is, koos het DLR ervoor het Silent Brick systeem van FAST LTA te evalueren. Naast de vereiste technologiebreuk bieden de Silent Bricks ook beduidende snelheidsvoordelen.

Het Duitse satellietdata-archief is het centrale onderdeel van talloze nationale en internationale ruimtevaartmissies voor de observatie van de aarde. Het wordt sinds medio de jaren 1990 in deze vorm onderhouden. Verschillende satellieten, die met optische methodes, röntgentechniek, spectrografie en radar verworvene data produceren, geven wetenschappers de basis voor hun onderzoeken. Zo kan bijvoorbeeld de verandering van alle gletsjers wereldwijd van de afgelopen 30 tot 40 jaar precies onderzocht worden. Ook voor economische toepassingen, stedenbouw, land- en bosbouw of voor milieueffectbeoordeling worden deze data benut. Overeenkomstig omvangrijk zijn bij het D-SDA de ervaringen betreffende de archivering van grote hoeveelheden data. Stephan Schropp is al als IT-manager met een aantal collega’s voor het concept, het optimale setup en de aanpassing van de archiefomgeving verantwoordelijk.

Zeven jaar data verzamelen – bewaren voor de eeuwigheid

De satellieten zijn voor zeven jaar gebruik gepland, gedurende welke ze de aarde omcirkelen. Gedurende deze tijd – en soms ook een paar jaar langer – verzamelen ze hun data en sturen deze regelmatig naar het S-DSA. De archivering van deze satellietdata moet voor en zo lang mogelijke periode zijn om ook voor toekomstige uitdagingen de analyse van historische data mogelijk te maken. Het datamanagement wordt met een eigen ontwikkelde software gedaan. De data worden eerst op een harddisk-cache opgeslagen en vervolgens redundant naar twee verschillende tape-technologieën en -locaties gearchiveerd, om zo het risico van dataverlies te minimaliseren. Tot op heden is naast de LTO6/7- tapesystemen de evenwel op tape gebaseerde oplossing van Oracle Storagetek STK T10000 gebruikt. Deze wordt echter niet meer verder ontwikkeld. “Wij zien al langer een verandering in de markt. Bij tapes is het aantal van verschillende drive-fabrikanten de afgelopen jaren alleen maar afgenomen, zodat een dual-vendor-strategie, die in de langetermijnarchivering gebruikelijk is, niet meer vol te houden is.”, legt IT-Manager Stephan Schropp uit. “Voor bepaalde data van de actuele missies moet tevens een lage wachttijd bij het lezen van de data bereikt worden.” Nieuwe soorten van virtual tape libraries kunnen de oplossing voor de transitie naar nieuwe archiefmedia zijn.

Silent Bricks bieden snellere toegang dan bij tape

Op advies van de experts van de systemintegrator Navum GmbH uit Wörthsee bij München, die het DLR al vele jaren bij het beheer van het archief ondersteunen, viel de keuze op het Silent Brick Systeem van FAST LTA. “Wij kunnen hierdoor onze dual-vendor-strategie voortzetten” zegt Schropp. De Silent Bricks kunnen als Virtual Tape Library ingezet worden. Zo is de integratie in de bestaande omgeving zonder grote aanpassingen van de bestaande archiefsoftware mogelijk. “Dankzij de harddisk gebaseerde technologie kunnen wij nu van een verdere, snellere kopie op harddisks afzien.” verheugt zich Stephan Schropp. Dit was voorheen nodig om een snelle toegang naar de archiefdata te waarborgen, maar was vanwege de hogere prijs en energieverbruik alleen voor een klein deel van de data mogelijk. De snelle willekeurige toegang naar steeds meer data wordt voor toekomstige toepassingen echter steeds belangrijker. Aan dit eis kan reeds nu met de oplossing van FAST LTA voldaan worden. Door het uitschakelen van niet- actieve Silent Bricks kunnen de van harddisks bekende toegangstijden bij laag energieverbruik bereikt worden; de energiebalans is hierdoor vergelijkbaar met diegene van een tape-archief. “Wij konden in vergelijking met de oude oplossing beduidend kortere wachttijden bij het lezen van data uit het archief vaststellen” legt Stephan Schropp uit. De eerste Silent Brick systemen zijn in januari 2019 zonder enige onderbreking van de productie op de locaties Oberpfaffenhofen en Neustrelitz geïnstalleerd. “De drie systemen draaien sindsdien betrouwbaar en zonder aandacht te trekken. Het is voor ons een zeer goed passende oplossing.” verklaart Schropp tevreden.

Met het Silent Brick systeem kunnen wij onze dual-vendor-strategie voortzetten. De 3 systemen draaien betrouwbaar en zonder dat ze aandacht nodig hebben.

Stephan Schropp, IT-manager D-SDA, Duits Centrum voor Lucht- en Ruimtevaart (DLR)

10 PB groei per jaar

“Wij verwachten door de actuele en nieuwe satellietmissies een datagroei van tot 10 petabyte per jaar”, zegt Schropp. Toekomstig is gepland, technologieën zoals de Silent Bricks als vast onderdeel in de archiveringsstrategie te integreren en daarmee de satellietdata van het DLR toekomstbestendig voor onderzoek en economie ter beschikking te stellen. Hiervoor werken DLR en Navum samen met FAST LTA aan een doorontwikkeling van het Silent Brick systeem en een nieuw, vooral voor zeer grote VTL-archieven geoptimaliseerd opslagsysteem.

Uitdagingen

Het Duitse satellietdata-archief bewaart de data van de aardeverkenningssatellieten met een dual-vendor-opzet. De op tape gebaseerde oplossing wordt echter door de fabrikant niet meer verder ontwikkeld. Omdat aan- vullend uit toekomstige missies een aanzienlijke groei van de data te verwachten is, moest een gelijkwaardige vervanging gevonden worden. Nieuwe virtual tape libraries moesten de oplossing voor de transitie vanuit de bestaande archiefmedia zijn omdat zo ook kortere wachttijden bij het aanroepen van de data bereikt worden.

Oplossing

  • 3 Silent Brick systemen op 2 locaties voor uitgezochte data 
  • Vervanging van de Enterprise Tape Drives met een nieuw, voor zeer grote hoeveelheden data ontwikkeld VTL-archief van FAST LTA

Branche

  • Wetenschap / ruimtevaart

Toepassingen

  • Eigen archiefsoftware / HSM

Partner

  • NAVUM GmbH

Schrijf in voor tips en info

Wij schrijven regelmatig blogs over actuele onderwerpen uit de wereld van digitale opslagtechnologie. Meld je hier aan om over nieuwe blogs geïnformeerd te worden.