Digitales Archiv: Überblick¶
Anton übernimmt digitale Unterlagen geprüft, erkennt ihre Formate und hält fest, wie gut sie sich erhalten lassen. Einen Master verändert Anton nur, wo das Archiv es eingerichtet oder veranlasst hat: bei der Übernahme durch eine Format-Regel oder die Verarbeitung beim QR-Upload, danach durch eine Migration (siehe Speicherung). Die Speicherung selbst und ihre Redundanz leistet die Betriebsinfrastruktur; bei Installationen mit angebundenem Langzeitarchiv übernimmt dieses die Bitstream-Sicherung. Diese Seite zeigt, wie sich die Aufgaben verteilen, und verweist auf die Detailseiten. Sie beantwortet ausserdem die Frage, welches Artefakt eine Sicherung ist und welches eine Publikationsansicht.
Aufgabenteilung¶
Das Digitale Archiv besteht aus mehreren Schichten. Anton deckt die fachlichen ab, der Betrieb die Speicherung:
| Aufgabe | Anton | Betrieb | Angebundenes Langzeitarchiv |
|---|---|---|---|
| Prüfsummen bei der Übernahme | prüft jede Datei eines SIP gegen das Paket | ||
| Prüfsumme pro Datei | berechnet beim Upload MD5 und SHA-512 und legt sie ab | ||
| Formaterkennung und Risiko | PRONOM-ID, NARA-Bewertung, Preservation Planning | stellt Siegfried bzw. Fido bereit | |
| Master und Nutzungskopien | bewahrt den Master, verändert ihn nur im Preingest (Format-Regeln, Upload-Verarbeitung) und durch eine Migration mit media:migrate, erzeugt web und thumb |
||
| Integritätsprüfung | bringt media:check, media:snapshot und media:repair mit, protokolliert die Prüfungen |
legt den Rhythmus als Cronjob fest, richtet die Sicherung für media:repair ein |
übernimmt die Fixity der Master |
| Redundante Speicherung | Kopien an mehreren Standorten | Bitstream-Sicherung | |
| Formatentscheide | zeigt Formate mit Handlungsbedarf |
Bei Anton as a Service ist k & r der Betrieb. On Premises ist es die betreibende Institution.
Die Kette¶
Übernahme¶
Beim SIP-Ingest nach eCH-0160 prüft Anton für jede Datei im
Paket die in der metadata.xml deklarierte Prüfsumme nach: Der Hash wird über
die tatsächliche Datei neu berechnet und verglichen. Weicht er ab, schlägt die
Validierung fehl. Der Algorithmus stammt aus dem Paket selbst, ist also nicht auf
MD5 festgelegt. Zusätzlich merkt sich Anton die Prüfsumme des SIP-ZIPs und weist
bereits eingespielte Pakete ab.
Prüfungen bei jeder Übernahme¶
Unabhängig vom Weg, auf dem eine Datei kommt (Hochladen, Import, SIP, agate), prüft Anton sie, bevor sie zum Medium wird:
- Viren: Wo die Virenprüfung eingerichtet ist, wird jede Datei zuerst mit
ClamAV geprüft. Ein Fund wandert in die Quarantäne, der Import bricht ab.
media:virus-scanprüft auch den Bestand, mit den jeweils neuesten Signaturen. Ein Fund dort wird vermerkt und gemeldet, die Datei bleibt liegen. Dateien über 2 GB kann ClamAV nicht als Ganzes prüfen; Anton schickt sie in überlappenden Teilen von 256 MB. Ebenso eine kleinere Datei, bei der ClamAV an seiner Grenze für die geprüfte Datenmenge aufhört: Mitgezählt wird auch, was es in der Datei eingebettet findet. ClamAV sieht dann die Bytes jedes Teils, nicht das Format: Signaturen nach Bytemustern findet es, solche am Dateiende, zum Aufbau des Formats oder über die Prüfsumme der ganzen Datei nicht. Ohne Fund wird die Datei daher als «ohne Befund, in Teilen geprüft» vermerkt, nicht als sauber. - Prüfsummen: Bringt eine Ablieferung Prüfsummen mit, werden sie mit den Dateien verglichen; nach dem Ablegen rechnet Anton die Kopie nach.
- Format: Jede Datei wird mit dem Werkzeug ihres Formats geprüft (PDF,
TIFF, andere Bilder, Ton und Video), Text, Office-Dokumente und Pakete nach
ihrem Aufbau, und Endung, Format und PRONOM-ID werden
verglichen. Bei PDF hält Anton zusätzlich Erhaltungsrisiken fest: nicht
eingebettete Schriften, Verschlüsselung, JavaScript, Verweise auf Programme
oder andere Dateien und Links ins Web. Schriften, die nur in der
unsichtbaren Texterkennung eines Scans vorkommen, sind kein Risiko.
«Ungültig» heisst beschädigt oder nicht lesbar, beim JPEG auch: Bilddaten
fehlen, etwa weil die Datei abgeschnitten ist. Eine solche Datei wird
übernommen und als ungültig vermerkt; auf Wunsch weist Anton sie ab. Was die
Datei nicht beschädigt, gilt als gültig mit Warnung: ein Fehler, über den
das Werkzeug hinweg darstellt (etwa ein fehlerhaftes Farbprofil oder ein
wiederhergestellter Querverweis), ein PDF, das sich als PDF/A ausgibt und
keines ist, und ein JPEG-2000-Bild, an dem nur poppler scheitert, während
MuPDF es darstellt.
media:validate-formatsprüft den Bestand regelmässig gründlicher.
Jede Prüfung steht als Ereignis am Medium, seit Version 0.117.0 mit dem, der
sie ausgelöst hat: die Person, der Befehl mit dem Konto, unter dem er lief
(<konto>@cli:<befehl>), oder der Hintergrundauftrag (job:<klasse>). Wird
ein Medium gelöscht, bleiben seine Ereignisse; der Grabstein im
Bestandsprotokoll trägt dieselbe Medien-Nummer (anton#794). Interne
Benutzer:innen sehen die Ereignisse auf der Medienseite eines Datensatzes: oben
die letzte Prüfung je Art, darunter die ganze Liste. Alle Formatprüfungen des Archivs, Tag für Tag gezählt und nach
Ergebnis filterbar, finden Admins unter Administration → Protokolle →
Formatprüfung.
Format Policy¶
Bevor eine Datei als Medium abgelegt wird, wendet Anton die Format-Regeln an,
die das Archiv eingeschaltet hat. Die erste Regel, tiff_zip, packt
unkomprimierte TIFF und LZW ohne Predictor verlustfrei nach Deflate mit
Predictor 2 um. Vor dem Ersetzen prüft Anton, dass alle Pixel gleich geblieben
sind; die Prüfsummen der gelieferten Datei stehen danach im Ereignis am Medium.
SIPs bleiben unberührt, weil ihre eigenen Prüfsummen die unveränderte
Ablieferung belegen. Die zweite Regel, pdfx_pdfa2b (PDF/X → PDF/A-2b,
PDF), gilt nur für Medien im Bestand und läuft nur über
media:migrate; ihr Schalter wirkt nicht auf
neue Dateien, und agate kennt sie noch nicht.
Welche Regeln gelten, legen Admins unter Admin → Digitale Archivierung → Format Policy fest, einmal für das ganze Archiv. Beim Hochladen und Importieren lässt sich keine Regel abwählen. Die Seite zeigt jede Regel als «Wenn … ausser … dann …»: für welche Formate sie gilt, wann sie eine Datei auslässt, welche Schritte sie ausführt und was mit der gelieferten Datei geschieht; die Befehle mit Werkzeug und Version stehen aufklappbar darunter. Passen mehrere Regeln auf eine Datei, laufen sie in der angezeigten Reihenfolge nacheinander, jede mit dem Ergebnis der vorherigen. Jede Änderung steht mit Benutzer:in und Zeitpunkt im Sicherheitsprotokoll. agate liest dieselben Einstellungen und wendet die Regeln an, bevor es ein SIP abschliesst.
Was die Regeln mit den Dateien eines Tabellen-Imports täten, zeigt die Inspektion vor dem Import. Der Probelauf bestimmt jede verknüpfte Datei, nennt ihre technischen Merkmale und sagt je Regel, ob sie greift oder warum nicht, etwa «ausgenommen bei Kompression Deflate, Predictor 2». Er verändert nichts. Die Grösse nach dem Umpacken rechnet er auf Wunsch je Datei aus.
Speicherung¶
Für jede Mediendatei berechnet Anton beim Upload eine MD5- und eine
SHA-512-Prüfsumme in einem Lesedurchgang und legt beide in der Datenbank ab.
SHA-512 ist der Referenzwert für die Integritätsprüfung, wie ihn OCFL und BagIt
empfehlen; MD5 bleibt für die Anbindung an DIMAG und für das Erkennen doppelter
Importe. Für Medien aus der Zeit vor Version 0.98 rechnet
media:checksum SHA-512 nach — und prüft
dabei jede Datei gegen ihre MD5. web und thumb sind Nutzungskopien: Anton erzeugt sie und kann sie jederzeit neu erzeugen.
Der Master ist nicht in jedem Fall die gelieferte Datei. Massgebend ist die Datei zum Zeitpunkt der Übernahme: Was Anton vorher mit ihr tut, ist Preingest, was danach geschieht, eine Migration. Zum Preingest gehören die Format-Regeln wie tiff_zip, die Verarbeitung beim QR-Upload (HEIC → JPEG, Bilder → PDF, OCR), die das Archiv einschaltet, und das Entpacken von Archivdateien. Ihr Ergebnis ist die übernommene Datei und damit der Master. Die gelieferte Datei bleibt danach nur, wo das Archiv es festlegt: beim QR-Upload mit «Gelieferte Datei behalten» (voreingestellt aus) als behaltene Fassung; die Bilder von «Bilder → PDF» bleiben immer, die gelieferte Datei von tiff_zip nie. Bei HEIC → JPEG, OCR und tiff_zip hält ein Ereignis am Medium die Umwandlung fest, mit Werkzeug, Version und den Prüfsummen der gelieferten Datei, auch wenn sie nicht bleibt. Einen abgelegten Master verändert danach nur media:migrate, mit Prüfung und Ereignis; media:repair stellt bloss den geprüften Inhalt wieder her.
Behaltene Fassungen¶
Neben manchen Mastern liegt eine behaltene Fassung im Ordner original/ des Mediums: nach einer Migration mit media:migrate die übernommene Datei (ausser mit --discard-original, das nur eine Regel wie tiff_zip erlaubt), nach dem Preingest die gelieferte Datei, wo das Archiv sie behält: beim QR-Upload mit «Gelieferte Datei behalten» und die Bilder von «Bilder → PDF». Seit Version 0.105 führt Anton jede solche Datei als
Fassung des Mediums: mit eigener MD5 und SHA-512, Format (PRONOM) und einem
Ereignis, das festhält, woher es kommt. Listen, Galerie, Download und Export zeigen die aktuelle Fassung. Konten mit der
Befugnis Digitale Archivierung und Superuser können eine behaltene Fassung auf der
Medienseite des Datensatzes herunterladen; das Bestandsprotokoll hält es fest.
Behaltene Fassungen aus der Zeit davor trägt
media:register-originals nach.
Ihre Prüfsumme ist dann die vom Tag der Erfassung, und das Ereignis hält das
fest: Ob die Datei seit dem Upload unverändert ist, lässt sich nicht mehr
belegen.
Bei Mandanten mit DIMAG können die behaltenen Fassungen lokal bleiben oder wie die Master ins Langzeitarchiv gehen; das legt der Betrieb je Installation fest (siehe Inge und Dimag).
Formaterkennung und Risiko¶
Beim Upload identifiziert Anton das Format über Siegfried bzw. Fido und
hält die PRONOM-ID fest; daraus leitet es die Risikobewertung nach dem
NARA Digital Preservation Framework ab. Für Altbestände lässt sich das mit
media:identify nachtragen. Ausgewertet wird das im
Preservation Planning.
Passt keine PRONOM-Signatur, hält Anton das Ergebnis von Siegfried als UNKNOWN fest, etwa bei einem JPEG mit Nullbytes hinter dem Endmarker. NARA bewertet ein unbekanntes Format mit «Moderate» und der Handlung «Identify». Ein solches Medium gilt als identifiziert und erscheint im Preservation Planning als eigene Zeile UNKNOWN; «nicht identifiziert» heisst dort, dass die Erkennung nie gelaufen ist. Erkennt ein späterer Lauf mit neueren Signaturen das Format, ersetzt er UNKNOWN. Eine bekannte PRONOM-ID überschreibt ein Lauf ohne Treffer nicht (anton#849).
Das Veralten der Formate beobachtet
media:watch-formats (anton#675):
Lädt Anton eine neue NARA-Tabelle (alle 28 Tage), bewertet der Befehl jedes
Format des Bestands neu. Ändert sich eine Bewertung, erhält jedes betroffene
Medium ein Ereignis «Risikobewertung» mit dem alten und dem neuen Wert. Die
Formatnamen folgen PRONOM in der Fassung, mit der Siegfried erkennt.
Preservation Planning zeigt, wann zuletzt bewertet wurde und womit; der
Monatsbericht nennt gestiegene Risiken, neue Formate, Formate
mit Handlungsbedarf und die nicht erkannten Medien. Er geht auch an die Ansprechpersonen für digitale Archivierung.
Siegfried oder Fido auf dem Server
Die Erkennung nutzt Siegfried oder Fido, die auf dem Server installiert
sind. Fehlt das Programm, gelingt der Upload trotzdem, nur bleibt die
Erkennung leer. anton:doctor meldet ein fehlendes sf darum
als Fehler. Der Reiter «Nicht identifizierte Medien» zeigt, wie vollständig
die Erkennung im Bestand ist.
Formatentscheide¶
Anton migriert bei Bedarf, nicht vorsorglich. Eine Datei bleibt im Format, in
dem sie übernommen wurde, solange sie sich mit quelloffenen Werkzeugen richtig
darstellen oder abspielen lässt und die Nutzungskopie ohne Fehler entsteht.
Anlass für eine Migration ist ein Fehlschlag: bei der wiederkehrenden Prüfung,
ob sich die Datei darstellen oder dekodieren lässt
(media:validate-formats), oder
beim Erstellen der Nutzungskopie. Ob und wohin migriert wird, entscheidet das
Archiv. media:migrate kennt zwei Regeln: tiff_zip packt TIFF verlustfrei um, im selben Format; pdfx_pdfa2b macht seit Version 0.117.0 aus PDF/X ein PDF/A-2b, ohne den Inhalt neu zu schreiben (PDF, anton#565). Eine Migration, die die Endung ändert, gibt es noch nicht.
«Richtig darstellen» prüft die Formatprüfung bei PDF über die Erhaltungsrisiken: Ein PDF ohne eingebettete Schriften etwa erscheint mit Ersatzschriften und sieht anders aus, ohne dass es jemand merkt.
Normalisiert wird im Preingest nach den Format Policy und im Bestand durch eine Migration mit media:migrate, beides mit Prüfung. Bei einer Migration bleibt die übernommene Datei als behaltene Fassung, bitgenau und mit Prüfsumme. Verwerfen darf Anton sie nur, wo die Regel es erlaubt: tiff_zip prüft jedes Pixel, verwirft die gelieferte Datei und hält ihre Prüfsummen im Ereignis fest, im Bestand mit media:migrate --discard-original. Am besten wird schon vor der Übernahme umgewandelt, bei der Ablieferstelle; dann ist die umgewandelte Datei die Ablieferung. Grundlage für Entscheide ist das Preservation Planning: Es zeigt, welche Formate im Bestand liegen, welches Risiko NARA ihnen zuweist und welche Handlung NARA empfiehlt.
Welche Formate bevorzugt und akzeptiert sind und welche Eigenschaften erhalten bleiben müssen, steht je Formatkategorie auf einer eigenen Seite: für Bilder, PDF, Text, Audio und Video Tabellen und Präsentationen sowie übrige Formate, Container und XML.
Abgabe¶
Siehe Sicherung oder Publikation? weiter unten.
Integrität prüfen¶
Zwei Befehle prüfen den Bestand gegen die gespeicherten Prüfsummen:
| Befehl | Was er tut |
|---|---|
media:check --levels=4 |
Liest jede Datei neu, berechnet die Prüfsumme frisch (SHA-512, wo vorhanden, sonst MD5) und vergleicht sie mit der Datenbank. Mit --log-integrity-check wird jede Prüfung als Ereignis protokolliert — so entsteht eine nachweisbare Historie. Eine fehlende Datei ist ein Befund, die Prüfung läuft weiter. |
media:snapshot --oldest=N --git |
Schreibt die Referenzwerte aller Medien in Listen (SHA-512 und MD5) und committet sie in ein lokales Git-Repository — nachvollziehbar, wann sich ein Referenzwert geändert hat. Prüft im selben Durchgang die N am längsten nicht geprüften Dateien (oder mit --verify alle) und protokolliert jede Prüfung. |
Den Rhythmus legt der Betrieb fest
Wie oft die Prüfung läuft, bestimmt ein Cronjob pro Installation. So lässt sich der Rhythmus der Grösse des Bestands anpassen: Ein vollständiger Durchlauf liest jede Datei, und bei mehreren Terabyte will das geplant sein.
Bei Anton as a Service richtet k & r die Prüfung ein (Stand September 2026 für die grossen Archive). On Premises richtet die betreibende Institution den Auftrag selbst ein; die Befehle stehen dafür bereit.
Beide Befehle prüfen auch die lokalen behaltenen Fassungen, je mit eigenem Pfad in den Listen. Eine beschädigte behaltene Fassung macht das Medium selbst nicht zum Befund.
Davon zu unterscheiden ist anton:doctor: Es prüft die
Konsistenz der Datenbank — Hierarchie, Signaturen, abgeleitete Felder — und
ob die Dateien vorhanden sind. Die Prüfsummen vergleichen die beiden Befehle oben.
Wenn die Prüfung anschlägt¶
Weicht eine Datei von ihrer Prüfsumme ab, holt
media:repair sie aus der lokalen Sicherung
zurück: Es geht die Stände vom neuesten zum ältesten durch (täglich, monatlich,
jährlich) und nimmt den ersten, dessen Prüfsumme mit dem gespeicherten
Referenzwert übereinstimmt. Die beschädigte Fassung wird nicht gelöscht, sondern
in eine Quarantäne kopiert; jeder Vorgang steht als Ereignis in der Historie der
Datei.
Anton ersetzt eine Datei nur durch eine, deren Inhalt nachweislich dem Original
entspricht. Und die Anwendung liest die Sicherung nur, über eine schreibgeschützte
Einhängung; ist die Sicherung beschreibbar, verweigert media:repair die
Reparatur. Bei vielen Abweichungen
auf einmal repariert es nichts und schlägt Alarm, denn dann liegt die Ursache
anderswo (Platte, Einhängung, Schadsoftware).
Findet sich lokal kein passender Stand — etwa weil die Datei jünger ist als die
Sicherung —, holen wir sie bei Anton as a Service von Hand von einem der
externen Backupserver zurück. Die Meldung von media:repair nennt dafür alles
Nötige. Mandanten mit DIMAG sind ausgenommen: Dort liegt der Master im
Langzeitarchiv.
Eine lokale behaltene Fassung repariert media:repair
auf dieselbe Weise; die Schwelle für zu viele Abweichungen zählt Master und
behaltene Fassungen zusammen.
Einrichtung durch den Betrieb
media:repair braucht eine lokale Sicherung, welche die Mediendateien
enthält, für die Anwendung nur lesend eingehängt ist und in der Konfiguration steht
(siehe Installation).
Wo das nicht eingerichtet ist, meldet der Befehl das und tut nichts.
Redundante Speicherung¶
Die redundante Speicherung ist Sache der Infrastruktur: Anton schreibt in einen lokalen Speicher und optional in einen Cloud-Speicher, die Kopien darunter legt der Betrieb an. Bei Anton as a Service liegen die Daten in vier Kopien an drei Standorten, zwei davon in Zürich; on Premises verantwortet das die betreibende Institution.
Dauerhafte Adressen¶
Datensätze, Medien, Akteur:innen, Orte und Schlagworte tragen eine UUID, die sich bei einem Umzug oder einer Zusammenlegung nicht ändert, anders als die Nummer in der Adresse einer Seite. Die Adresse https://<archiv>/id/<uuid> führt auf die aktuelle Seite: eines Datensatzes, einer Normdaten-Seite, bei einem Medium auf seinen Datensatz (anton#784). Sichtbar ist dabei nur, was die Seite selbst zeigen darf; ein gesperrter Datensatz antwortet wie ein unbekannter mit «nicht gefunden».
Die Exporte und die API nennen einen Datensatz bei dieser Adresse (Export-Matrix). Das Feld «Permalink» in einer Maske zeigt nach Vorgabe die Adresse der Seite mit der Nummer (/objects/143); die Einstellung permalink stellt es auf die dauerhafte Adresse (uuid) oder auf beide (both) um (anton#798). Bei Akteur:innen, Orten und Schlagworten steht es in der Vorgabe; bei Datensätzen lässt es sich in der Maske hinzufügen.
Sicherung oder Publikation?¶
Die wichtigste Unterscheidung, und die am leichtesten zu verwechselnde:
| Artefakt | Zweck |
|---|---|
Nativer Export (anton:export-native) |
Sicherung. Verlustfrei und wieder einlesbar: Metadaten in allen Sprachen, Ereignisse, Textfelder — auch private —, Normdaten-Bezüge über UUID und die Master-Medien. |
| SQL-Dump | Sicherung. Das einzige Artefakt mit Benutzern, Einstellungen, Formularen und der NARA-Bewertung der Dateien (nur der aktuelle Wert, keine Historie). Die Ereignisse am Medium, darunter seit Version 0.107 jede Formaterkennung, stehen auch im PREMIS von DIP, OCFL und nativem Export. Enthält keine Mediendateien. |
| DIP (BagIt) und OCFL | Abgabepakete. Medien und Metadaten gebündelt, mit Prüfsummen im Manifest. |
| RDF/CIDOC, EAD, TEI, Memobase | Publikationsansichten. Gefiltert und verlustbehaftet — aus ihnen lässt sich Anton nicht wiederherstellen. |
A+ Bundle mit --include-protected --include-originals |
Migrationspaket. Graph inklusive gesperrter Daten plus Originaldateien — für den Weg in ein anderes System. Kein Restore-Werkzeug nach Anton, und wegen der enthaltenen Personendaten nicht öffentlich zu hosten. |
Ein RDF- oder EAD-Export ist kein Backup
Diese Formate sind für Recherche und Austausch gebaut. Ihnen fehlen unter anderem die UUIDs und die Rohwerte; im Standardfall sind private Inhalte herausgefiltert. Für eine Sicherung braucht es den nativen Export und den SQL-Dump.
Das gilt auch dann, wenn mit --include-protected --include-originals
exportiert wird: dieses Paket ist als Migrationsweg hinaus gedacht. Ein
Rückweg wäre mit Aufwand konstruierbar, ein Werkzeug dafür gibt es nicht.
Die Provenienz einer Datei (Formaterkennung, Prüfungen, Formatregeln, Migrationen, Übernahme) führt Anton in der Datenbank. DIP, OCFL und nativer Export geben sie zusätzlich als PREMIS 3 aus, eine Datei je Datensatz mit Medien; ein empfangendes Langzeitarchiv übernimmt so die Vorgeschichte jeder Datei ohne Antons Datenbank. Eine Migration erscheint dort als migration mit der Person, die sie ausgelöst hat, und eine ersetzte, nicht behaltene Datei mit ihren Prüfsummen als Quelle des Mediums. Nicht darin steht die NARA-Bewertung; METS gibt es nicht.
Welche Daten jedes Format im Einzelnen mitnimmt, welche nur im SQL-Dump stehen und wer welches Artefakt auslösen kann, zeigt die Export-Matrix. Kurz: Der SQL-Dump und die Standard-Exporte gehen über die Oberfläche, der native Round-Trip und das Migrationspaket nur über die CLI.
Für die statische Publikation eines Bestandes als eigenständige Website gibt es ein eigenes Bundle.
Mit angebundenem Langzeitarchiv¶
Bei Installationen mit DIMAG-Anbindung übergibt Anton jede Mediendatei beim Upload über die Middleware Inge an DIMAG und führt Buch, ob die Übergabe verifiziert ist — siehe Upload-Status. Danach liegt die Bitstream-Sicherung des Masters bei DIMAG.
Die Fixity liegt dann bei DIMAG
Auf diesen Installationen prüft das Langzeitarchiv die Master. media:check
überspringt sie deshalb mit dem Hinweis, dass die Dateien in DIMAG liegen.
Auf Wunsch löscht Anton nach verifizierter Übergabe die lokale Kopie.