Return to file-format.tex CVS log

Up to [Repository] / storage / names

reworked to hopefully match the latest expectations (as of today)

\documentclass[a4paper]{article}

\usepackage{ngerman}

\usepackage[latin1]{inputenc}
\usepackage[T1]{fontenc}
\usepackage{ae}
%\usepackage{times}
%\usepackage{courier}

% create in-text links in black (with PDF)
\usepackage[colorlinks=true,linkcolor=black]{hyperref}
% Format URLs nicely (without PDF)
%\usepackage{url}
% Grafik
\usepackage{graphicx}
% Verzeichnis mit Abbildungen
\graphicspath{{images/}}

\title{Ablage von Massendaten im Archiv- und Backupsystem}

\author{Dirk Wintergrün, Robert Casties}

\date{V0.10.1 of \today}

\begin{document}

\maketitle

\begin{abstract}
  In diesem Dokument wird die Ablage von Massendaten auf dem
  zentralen Archiv- und Ablagesystem des MPIWG beschrieben
\end{abstract}

\tableofcontents


\section{Datentypen für die dieses Dokument gilt}
\label{sec:datentypen-fur-die}


Die in diesem Dokument definierten Regeln gelten
für\footnote{Empfehlungen zu Standards für Datenformate fehlen noch.}

\begin{description}
\item[Archivdaten] die innerhalb der Digitalisierungsprojekte des
  Instituts anfallen und als Rohdaten oder Produktionsdaten in
  möglichst hoher Qualität ohne ständigen Zugriff langfristig
  gesichert werden sollen (Pfad: \url{archive/data})
  
\item[Langfristige Präsentationsdaten] die über das Internet verfügbar
  gemacht werden sollen und deren URL bzw. URI langfristig stabil
  gehalten werden sollen (Pfad: \url{online/permanent})
  
  
\item[Kurzfristige Präsentationsdaten] zu experimentellen Zwecken, die
  kurzfristig und nur für begrenzte Zeit online verfügbar sein sollen
  (Pfad: \url{online/experimental})
  
\item[Mirror-Daten] größeren Umfangs, die am Institut im Rahmen von
  Kooperationsprojekten gehalten werden und auf die ständiger Zugriff
  z.B. zum Zweck der Synchronisation notwendig ist.(Pfad:
  \url{mirrors})
\end{description}


\section{Zugang zum Server}
\label{sec:zugang-zum-server}

Die Ablage aller genannter Dokumente erfolgt auf dem Fileserver
\texttt{foxridge}, der physisch am FHI steht.

\begin{itemize}
\item Zugang per FTP, SCP, SFTP über:
  \url{foxridge.mpiwg-berlin.mpg.de} \\
  Zugang zu den Daten in den Verzeichnissen
  \url{/mpiwg/archive/data}, \url{/mpiwg/online/permanent},
  \url{/mpiwg/online/experimental} und \url{/mpiwg/mirrors}
  
\item Zugang per Appletalk (AFP) über: Auswahl des Servers
  \texttt{foxridge} in der Zone \texttt{Zentrale Fileserver} \\
  Zugang zu den Daten über die Freigaben \url{archive\_data},
  \url{online\_permanent}, \url{online\_experimental} und
  \url{mirrors}
\end{itemize}


\section{Benutzerkennung}
\label{sec:benutzerkennung}

Benutzerkennungen und Passworte für die Ablage der Massendaten werden
projektspezifisch vergeben.\footnote{Eine Regelung für die Vergabe der
  Zugriffsrechte fehlt noch.}


\section{Erlaubte Zeichen in Datei- und Ordnernamen}
\label{sec:erla-zeich-datei}

Erlaubte Zeichen in Datei- und Ordnernamen sind Kleinbuchstaben (a-z),
Großbuchstaben (A-Z), Ziffern (0-9), Bindestrich ("`-"'), Unterstrich
("`\_"') und Punkt ("`."'). Andere Zeichen und Leerzeichen sind nicht
zulässig. Es wird empfohlen für Datei- und Ordnernamen ausschliesslich
Kleinschreibung zu verwenden.

Für die Umsezung von Dateinamen, die anderen Zeichen enthalten wird
empfohlen alle Leerzeichen durch Bindestriche ("`-"') und andere
nichtzulässige Zeichen durch Unterstriche ("`\_"') zu ersetzen.


\section{Ablage von Archivdaten}
\label{sec:ablage-von-arch}

Archivdaten werden nur temporär auf der Festplatte des Servers
gehalten. Nach der Archivierung auf Magnetbänder werden sie von der
Festplatte gelöscht. Die Metadaten bleiben auch nach dem Löschen der
Daten auf der Festplatte. Für Archivdaten ist auf Foxridge der Pfad

\url{/mpiwg/archive/data} bzw. \url{archive_data}

\noindent vorgesehen. 

Die Ablage von Archivdaten erfolgt abhängig davon ob es sich um 
\emph{Rohdaten} oder \emph{Produktionsdaten} handelt.


\subsection{Ablage von Rohdaten im Archiv}
\label{sec:ablage-von-rohdaten}

Als Rohdaten gelten alle Daten, die aus externen Quellen eingekauft
wurden oder am Institut erzeugt werden und am Anfang eines workflows stehen.

Rohdaten können entweder über ein Web-Frontend oder direkt im
Filesystem des Servers abgelegt werden. Bei der Ablage über das
Web-Frontend wird ein Metadaten-File automatisch erzeugt. Bei der
Ablage "`von Hand"' auf dem Server kann ein Metadaten-File
nachträglich mit Hilfe eines Web-Frontends erzeugt werden.

Die wichtigste Information über die Rohdaten ist ihre Quelle, die in
einem \texttt{acquisition} Metadaten-Element beschrieben wird.
Außerdem müssen, je nach Medientyp verschiedene technische Angaben
über die abgelegten Daten erfolgen.

Weitere inhaltliche Metadaten, wie eine bibliographische Bestimmung
erhalten zunächst nur den Metadaten-Status "`vorläufig"'
(\texttt{wf-status} \texttt{preliminary}).


\subsubsection{Erste Ebene: Provider}
\label{sec:ebene-provider}

Die Rohdaten werden im Filesystem des Servers in Ordnern entsprechend
ihrer Quelle, ihres \emph{Providers} abgelegt. Bei externen
Lieferungen ist der Lieferant direkt als Provider angesehen
werden. Das gleiche gilt z.B. für Arbeiten der Digitalisierungsgruppe der
Bibliothek. Bei Arbeiten, die im Rahmen von Projekten von einzelnen
Mitarbeitern im Haus erstellt werden, liegt es in der Verantwortung
der Projekte einen Provider-Namen zu benennen. 

Zur Vereinheitlichung der Provider-Bezeichnungen wird ein zentrales
Verzeichnis mit Provider-Namen und IDs erstellt.


\subsubsection{Zweite Ebene: Dokumente}
\label{sec:ebene-dokumente}

Unterhalb der Provider-Ebene werden Dokumente nach ihrer ID abgelegt.
Zu diesem Zweck erhalten alle Dokumente eine \texttt{archive-id}, eine
eindeutige achtstellige Zeichenfolge, vom Archiv"=ID"=Server

\url{http://content.mpiwg-berlin.mpg.de/archive/ids}. 

\noindent Wenn die Daten direkt im Filesystem abgelegt werden muss vor der
Ablage im Webfrontend des ID-Servers eine Archiv-ID für das Dokument
reserviert werden.

\begin{figure}[htbp]
  \centering
  \includegraphics[width=0.6\textwidth]{archive-dirs}
  \caption{Verzeichnisstruktur für den Rohdaten-Archivbereich}
  \label{fig:dir-arch-raw}
\end{figure}

Die Rohdaten werden in einzelne Verzeichnisse gelegt, die jeweils
einzelnen Dokumenten entsprechen. Als Verzeichnisname wird die
\texttt{archive-id} verwendet. Je nach Art der Daten sollten
Unterordner nach den Empfehlungen in
Abschnitt~\ref{sec:dritte-eben-unter} angelegt werden. Für die
Dateinamen gelten ebenfalls die in
Abschnitt~\ref{sec:vierte-eben-date} angegebenen Regeln.

Einen schematischen Überblick über die Verzeichnisstruktur zeigt
Abbildung~\ref{fig:dir-arch-raw}.



\subsection{Ablage von Produktdaten im Archiv}
\label{sec:ablage-von-produkt}

\subsubsection{Erste Ebene: Projekte}
\label{sec:erste-eben-proj}

Für jedes Projekt, das als Datenproduzent Archivdaten ablegen will,
wird ein Ordner mit dem Namen des Projektes angelegt:

\url{archive/data/PROJEKTNAME}

\noindent Bsp: das Humboldtprojekt

\url{archive/data/humboldt}

\noindent Innerhalb des eigenen Projektordners kann das Projekt, wenn nötig,
weitere Unterordner zur Untergliederung der Dokumente anlegen.


\subsubsection{Zweite Ebene: Dokumente}
\label{sec:zweite-eben-dokum}

Für jedes abzulegende Dokument wird unterhalb des Projektordners ein
weiterer Ordner angelegt. Die Benennung dieser Ordner ist Teil des
Workflows des jeweiligen Projekts. Möglich die Verwendung
der \texttt{archive-id} als Ordnername analog zur Ablage der Rohdaten
(siehe Abschnitt~\ref{sec:ebene-dokumente}) aber auch andere Schemas.

Jedes zu archivierende Dokument muss eine \texttt{archive-id}
haben. Bevor ein neuer Ordner für ein neues Dokument angelegt wird,
sollte vom Archive-ID-Server eine neue \texttt{archive-id} reserviert
werden.


\subsubsection{Dritte Ebene: Unterordner}
\label{sec:dritte-eben-unter}

Innerhalb des Dokumentenordners werden weitere Unterordner für den
jeweiligen Datentyp angelegt:

\url{TYPE}

\noindent oder

\url{TYPE-sernr}

\begin{description}
\item[TYPE] sollte den Inhalt beschreiben z.B \url{img} oder
  \url{pageimg} für Scans einzelner Seiten oder \url{ocr} für
  OCR-Texte oder \url{meta} für einzelne Metadaten-Dateien zu
  Dateien in den anderen Ordnern.

\item[sernr] eine Seriennummer falls mehrere
  Imagesätze zu einem Dokument gehören
\end{description}

\noindent Außerdem muss in jedem Dokumentenordner eine Datei

\url{index.meta}

\noindent liegen, die Metadaten zum Ordner selbst enthält. Das Format dieser
Metadaten"=Datei ist im Dokument "`A simple metadata format for
resource
bundles"'\footnote{\url{http://pythia.mpiwg-berlin.mpg.de/projects/storagesystem/metadaten.html}}
beschrieben.


\subsubsection{Vierte Ebene: Dateien in den Ordnern}
\label{sec:vierte-eben-date}

Für Dateinamen gilt als Mindestanforderung, dass der Dateiname nur aus
zulässigen Zeichen besteht und die Dateiendung den Dateityp anzeigt.
Die alphabetische Ordnung der Namen muss der Reihenfolge der Daten
entsprechen. Nummerierte Dateien sollten daher Namen mit führenden
Nullen erhalten, z.B. \url{00001.jpg}. Empfohlen wird folgende
Benennung:

\url{imagenummer.SUFFIX}

\noindent Imagenummer ist eine fünfstellige Zahl. Das Suffix muss den
Dateityp angeben. Eine (nicht erschöpfende) Liste von Dateitypen zeigt
Tabelle~\ref{tab:benennung-dateien}.

\begin{table}[htbp]
  \centering
  \begin{tabular}{ll}

    suffix & Dateityp\\ \hline

    \texttt{jpg}, \texttt{jpeg}  & JPEG-Bilddateien\\
    
    \texttt{tif}, \texttt{tiff} & TIFF-Bilddateien \\
    
    \texttt{png} & PNG-Bilddateien
  \end{tabular}
  \caption{Dateiendungen}
  \label{tab:benennung-dateien}  
\end{table}


\section{Ablage der Onlinedaten}
\label{sec:ablage-der-onlin}

Für Daten die für die direkte Präsentation im Netz vorgesehen sind,
werden auf foxridge zwei Pfade angeboten:

\url{online/experimental}

\noindent und

\url{online/permanent}

\noindent Für Dokumente, die nur temporär präsentiert werden sollen,
ist \url{online/experimental} vorgesehen. Pfade innerhalb dieses
Bereiches können verändert und gelöscht werden.

Für Dokumente, die auf längere Zeit im Netz bleiben sollen, ist
\url{online/permanent} vorgesehen. Pfade in diesem Bereich dürfen
nicht geändert oder gelöscht werden, Dokumente dürfen nicht verschoben
oder umbenannt werden.

Die interne Struktur der Projekt- und Dokumentordner in
\url{online/permanent} entspricht der in
Abschnitt~\ref{sec:ablage-von-arch} dargestellten Struktur von
\url{archive/data}.



\section{Workflow: Scannen durch die Digitalisierungsgruppe}
\label{sec:workflow-fur-die}


Größere Mengen von Büchern und Manuskripten werden von der
Digitalisierungsgruppe der Bibliothek in hoher Qualität gescannt.
Diese Digitalisierungen erfolgen im Auftrag von Projektem, einzelnen
Forschern oder auf eigene Initiative der Bibliothek. Die Digitalisate
werden zunächst in drei verschiedenen Formen erzeugt.

\subsection{Typen von Bilddaten}
\label{sec:daten-typen}

\begin{itemize}
\item Als \emph{Roh-Image} in hoher Auflösung direkt aus dem Scanner,
  ohne weitere Nachbearbeitung\footnote{Die Digitalisierungsgruppe
    dokumentieren dazu welche Arbeits- und Bearbeitungsschritte bei
    welchem Gerät als integraler Teil des Scanvorgangs betrachtet
    werden.}. Diese Dateien sind nicht für die weitere Nutzung durch
  Andere gedacht und sollen nur archiviert werden.
  
\item Als \emph{User-Image} in hoher Auflösung mit Nachbearbeitung wie
  Farbkorrektur und Schärfung. Diese Dateien sind für die weitere
  Nutzung durch die Projekte gedacht und sollen ebenfalls archiviert
  werden.

\item Als \emph{Online-Image} in reduzierter Auflösung für die
  Online-Präsentation. Diese Dateien können ebenfalls durch andere
  Projekte genutzt werden und müssen online zur Verfügung stehen.
\end{itemize}

Die Scan-Arbeiten und die Erzeugung der Roh- und User-Images werden
von der Digitalisierungsgruppe selbständig durchgeführt. 


\subsection{Ablage und Übergabe der Rohdaten}
\label{sec:ablage-und-ubergabe}

\begin{enumerate}
\item Die Digigruppe erstellt Roh- und User-Images auf lokalen Platten
  oder Bereichen für Bewegungsdaten.
  
\item Die Digigruppe kopiert Roh-Images und User-Images in einen
  Dokumenten-Ordner mit den notwendigen Metadaten und einer neuen
  Archiv-ID nach den Regeln in Abschnitt~\ref{sec:ebene-dokumente} im
  Bereich \url{archive/data/library}.  Roh-Images werden in einem
  Unterordner \url{raw} abgelegt und User-Images in \url{pageimg}.
  
\item Die Digigruppe benachrichtigt den Auftraggeber (wenn im Auftrag)
  über den Ablageort der Daten.\footnote{Idealerweise würden die Roh-Images
    bereits archiviert und von der Platte gelöscht während die User-Daten erhalten
    bleiben.}
  
\item Der Auftraggeber verwendet die User-Images. Veränderte Formen
  der Images erstellt und archiviert der Auftraggeber in seiner
  eigenen Projekt"=Hierarchie.
  
\item Der Auftraggeber veranlasst die vollständige Migration (Löschung
  von der Festplatte) der von der Digigruppe erstellten Daten sobald
  sie nicht mehr direkt verwendet werden.
\end{enumerate}



\subsection{Ablage der Online-Images}
\label{sec:ablage-der-online}

Die Erstellung und Ablage der Online"=Images erfolgt je nach Absprache
mit dem Projekt

\begin{itemize}
\item als fertige Images in der Online"=Hierarchie der Bibliothek, wenn
  es ein Auftrag durch ein Projekt ohne eigene Online-Präsenz ist
  
\item als fertige Images im Archivbereich bei den User-Images in einem
  Ordner \url{jpg} (o.ä.) zur Nutzung durch das Projekt in seinem
  Online-Bereich

\item für Projekte, die selbst weiter verarbeitete Online-Images zur
  Verfügung stellen werden keine Online-Images erzeugt.
\end{itemize}



\section{Erfassung der Metadaten für Archivdaten}
\label{sec:use-case-workflow}


\subsection{Abfrage der Metadaten}
\label{sec:abfr-der-metad}

Den Entscheidungsbaum der Metadaten-Abfrage zeigt
Abbildung~\ref{fig:arch-meta-abfrage}.

\begin{figure}[htbp]
  \centering
  \includegraphics[width=\textwidth]{meta-decision}
  \caption{Entscheidungsbaum der Metadaten-Abfrage für Archivdaten}
  \label{fig:arch-meta-abfrage}
\end{figure}


\subsubsection{Dokumentenstatus: Rohdaten}
\label{sec:dokum-rohd}

Als Rohdaten gelten alle Daten, die aus externen Quellen eingekauft
wurden oder am Institut erzeugt werden und am Anfang eines möglichen
workflows stehen.

Zu Rohdaten müssen weitere Informationen für einen
\texttt{acquisition} Block in den Metadaten eingegeben werden:

\begin{description}
\item[acquisition] the acquisition source of this resource -- required
  \begin{description}
  \item[provider] where this resource came from --required
    \begin{description}
    \item[name] free-text name of the provider (institution or
      individual)

    \item[address] address of the provider

    \item[contact] contact person at the provider (i.e. name and email)

    \item[url] URL related to the provider
    \end{description}

  \item[date] date of acquisition -- required

  \item[description] free-text description of the acquisition source or
    additional information

  \item[provider-id] id of the provider (internally used) -- deduced
  \end{description}
\end{description}


\subsubsection{Dokumentenstatus: Verarbeitete Daten}
\label{sec:dokum-verarb-daten}

Wenn die verarbeiteten Daten aus bereits abgelegten Rohdaten erzeugt
wurden, dann sollte ein Hinweis auf das Rohdaten-Verzeichnis im Tag
\texttt{derived-from} angebracht werden.

\begin{description}
\item[derived-from] Container for the description of the original
  resource if this resource is a modified version of another resource
  -- required for processed data.

  \begin{description}
  \item[archive-id] The ID of the original resource
    -- required.

  \item[archive-path] The full path to the original resource
    -- deduced.

  \item[description] An informal textual description of the relation
  of this resource to the original resource -- optional.
  \end{description}
\end{description}


\subsubsection{Medientyp: Video}
\label{sec:medientyp-video}

Filme haben den Medientyp \texttt{video}. Sie können zusätzlich mit
Metadaten in einem \texttt{film-acquisition} Metadaten-ELement
beschrieben werden.

\begin{description}
\item[film-acquisition] description of a (documentary) film --
  required for documentary film
  \begin{description}
  \item[recording] specification of the recording process
    \begin{description}
    \item[author] the person or persons doing the recording

    \item[date] the date or time span when the film was recorded

    \item[location] the place where the film was recorded

    \item[device] recording device used (e.g. ``Sony CP-DV8 Camcorder'')

    \item[format] format of the recorded film -- required (e.g. ``DV 720x524 25fps
    interlaced'')
    \end{description}
 
  \item[description] free-form description of the recording and the
    content of the film
  \end{description}
\end{description}


\subsubsection{Medientyp: Audio}
\label{sec:medientyp-audio}

Für den Medientyp \texttt{audio} exisitieren noch keine
Metadaten-Vorschläge.



\subsubsection{Medientyp: Image}
\label{sec:medientyp-image}

Der Medientyp \texttt{image} ist für Einzelbilder und Gruppen von
Bildern gedacht, die kein Buch o.ä. darstellen.

Für die Beschreibung der Erfassung und das Format der digitalisierten
Bilder gibt es die Metadaten-Elemente \texttt{image-acquisition} und
\texttt{img}.

\begin{description}
\item[image-acquisition] description of the image production process
  -- required
  \begin{description}
  \item[device] acquisition device (e.g. ``flatbed scanner'')

  \item[image-type] type and color-depth of the image -- required (e.g. ``RGB 24
    bit'')

  \item[production-comment] additional textual information about the
    production process
  \end{description}
\end{description}

\begin{description}
\item[img] digital image information.

  \begin{description}
  \item[original-size-x] The width of the original
    image -- required. \\
    The unit of measure can be contained as parameter \texttt{unit},
    the default is meter ``m''. The width to be considered is the
    total width of the scanned area.
    
  \item[original-size-y] The height of the original image -- required.
    
  \item[original-pixel-x] The width of the hi-res scan in pixels -- deduced.
    
  \item[original-pixel-y] The height of the hi-res scan in pixels -- deduced.
  \end{description}
\end{description}

Für die Inhaltliche Erfassung von Bildern gibt es bisher keinen
Metadaten-Vorschlag.


\subsubsection{Medientyp: Text}
\label{sec:medientyp-text}

Für Volltexte, d.h. maschinenlesbaren Text in verschiedenen Formaten
ist der Medientyp \texttt{text} gedacht.

Die inhaltliche Erfassung erfolgt über das Metadaten-Element
\texttt{bib} mit verschiedenen Untertypen, das sich an der
Projektbibliographie des MPIWG orientiert.



\subsubsection{Medientyp: Scanned Text}
\label{sec:medi-scann-text}

Zum Medientyp \texttt{scanned-text} gehören alle gescannten Bilder von
Texten, die als Text behandelt werden.

Die Medienerfassung orientiert sich am Medientyp \texttt{image} mit
den Elementen \texttt{image-acquisition} und \texttt{img}.

Die inhaltliche Erfassung orientiert sich am Medientyp \texttt{text}
mit dem \texttt{bib} Element.


\subsubsection{Medientyp: other}
\label{sec:medientyp-other}

Die Vergabe und Behandlung von Medientypen sollte flexibel und
erweiterbar sein.


\end{document}



%%% Local Variables: 
%%% mode: latex
%%% TeX-master: t
%%% End: