Return to file-format.tex CVS log

Up to [Repository] / storage / names

*** empty log message ***

\documentclass[a4paper]{article}

\usepackage{ngerman}

\usepackage[latin1]{inputenc}
\usepackage[T1]{fontenc}
\usepackage{ae}
%\usepackage{times}
%\usepackage{courier}

% create in-text links in black (with PDF)
%\usepackage[colorlinks=true,linkcolor=black]{hyperref}
% Format URLs nicely (without PDF)
\usepackage{url}

\title{Ablage von Massendaten im Archiv- und Backupsystem}

\author{Dirk Wintergrün, Robert Casties}

\date{V0.9.4 of \today}

\begin{document}

\maketitle

\begin{abstract}
  In diesem Dokument werden die Ablage von Massendaten auf dem
  zentralen Archiv- und Filesystem des MPIWG beschrieben
\end{abstract}

\tableofcontents


\section{Datentypen für die dieses Dokument gilt}
\label{sec:datentypen-fur-die}


Die in diesem Dokument definierten Regeln gelten
für\footnote{Empfehlungen zu Standards für Datenformate fehlen noch.}

\begin{description}
\item[Archivdaten] die innerhalb der Digitalisierungsprojekte des
  Instituts anfallen und als Rohdaten in möglichst hoher Qualität ohne
  ständigen Zugriff langfristig gesichert werden sollen (Pfad:
  \url{archive/data})
  
\item[Langfristige Präsentationsdaten] die über das Internet verfügbar
  gemacht werden sollen und deren URL bzw. URI langfristig stabil
  gehalten werden sollen (Pfad: \url{online/permanent})
  

\item[Kurzfristige Präsentationsdaten] zu experimentellen Zwecken, die kurzfristig
  online verfügbar sein sollen (Pfad: \url{online/experimental})
  
\item[Mirror-Daten] größeren Umfangs, die am Institut im Rahmen von
  Kooperationsprojekten gehalten werden und auf die ständiger Zugriff
  z.B. zum Zweck der Synchronisation notwendig ist.(Pfad:
  \url{mirrors})
\end{description}


\section{Zugang zum Server}
\label{sec:zugang-zum-server}

Die Ablage aller genannter Dokumente erfolgt auf dem Fileserver
\texttt{foxridge}, der physisch am FHI steht.

\begin{itemize}
\item Zugang per FTP, SCP, SFTP über:
  \url{foxridge.mpiwg-berlin.mpg.de} \\
  Zugang zu den Daten in den Verzeichnissen
  \url{/mpiwg/archive/data}, \url{/mpiwg/online/permanent},
  \url{/mpiwg/online/experimental} und \url{/mpiwg/mirrors}
  
\item Zugang per Appletalk (AFP) über: Auswahl des Servers
  \texttt{foxridge} in der Zone \texttt{Zentrale Fileserver} \\
  Zugang zu den Daten über die Freigaben \url{archive\_data},
  \url{online\_permanent}, \url{online\_experimental} und
  \url{mirrors}
\end{itemize}


\section{Benutzerkennung}
\label{sec:benutzerkennung}

Benutzerkennungen und Passworte für die Ablage der Massendaten werden
projektspezifisch vergeben.\footnote{Eine Regelung für die Vergabe der
  Zugriffsrechte fehlt noch.}


\section{Erlaubte Zeichen in Datei- und Ordnernamen}
\label{sec:erla-zeich-datei}

Erlaubte Zeichen in Datei- und Ordnernamen sind a-z, A-Z, 0-9, "`-"',
"`\_"', "`."'. Andere Zeichen und Leerzeichen sind zu vermeiden. Es
wird empfohlen für Datei- und Ordnernamen ausschliesslich
Kleinschreibung zu verwenden.


\section{Ablage von Archivdaten}
\label{sec:ablage-von-arch}

Archivdaten werden nur temporär auf der Festplatte des Servers
gehalten. Nach der Archivierung auf Magnetbänder werden sie von der
Festplatte gelöscht. Für Archivdaten ist auf Foxridge der Pfad

\url{/mpiwg/archive/data} bzw \url{archive_data}

\noindent vorgesehen. 


\subsection{Erste Ebene: Projekte}
\label{sec:erste-eben-proj}

Für jedes Projekt, das Archivdaten ablegen will, wird ein Ordner mit
dem Namen des Projektes angelegt:

\url{archive/data/PROJEKTNAME}

\noindent Bsp: das Humboldtprojekt

\url{archive/data/humboldt}

\noindent Innerhalb des eigenen Projektordners kann das Projekt, wenn nötig,
weitere Unterordner zur Untergliederung der Dokumente anlegen.


\subsection{Zweite Ebene: Dokumente (gescannte Artikel, Manuskripte,
  Bücher)}
\label{sec:zweite-eben-dokum}

Für jedes abzulegende Dokument wird unterhalb des Projektordners ein
weiterer Ordner angelegt. Für Dokumente, die aus gescannten Bilddaten
bestehen, wird folgende Bennenung
vorgeschlagen:\footnote{Großgeschriebe Ausdrücke sind jeweils
  obligatorisch.}

\url{AUTHOR_TITLE_sernr_lang_year}

\noindent Also z.B.

\url{humbo_endec_01_de_1803}

\noindent Siehe dazu Tabelle~\ref{tab:benennung}.

\begin{table}[htbp]
\center
\begin{tabular}{lp{0.6\textwidth}l}
Feld & Erklärung & Beispiel\\ \hline

\texttt{AUTHOR} & Autor, Vorschlag 5 stellig (falls nicht vorhanden "`anon."') & \texttt{humbo}\\

\texttt{TITLE} & Abkürzung des Titels, Vorschlag 5 stellig & \texttt{endec}\\

\texttt{sernr} & Seriennummer, falls AUTHOR und TITLE nicht eindeutig,
beginnend mit 01, zweistellig & 01\\

\texttt{lang} & Sprache in der zweistelligen ISO-Kodierung\footnotemark & \texttt{de}\\

\texttt{year} & Erscheinungsjahr, vierstellig & 1803
\end{tabular}
\caption{Benennung Ordner}
\label{tab:benennung}
\end{table}
\footnotetext{\url{http://www.loc.gov/standards/iso639-2/englangn.html}}



\subsection{Dritte Ebene: Unterordner (Images, Texte, Metadaten)}
\label{sec:dritte-eben-unter}

Innerhalb des Dokumentenordners werden weitere Unterordner für den
jeweiligen Datentyp angelegt:

\url{TYPE}

\noindent oder

\url{id-sernr-TYPE}

\begin{description}
\item[id] eine eindeutige ID des Dokumentes (dreistellig), die
  innerhalb des Projektes vergeben wird

\item[sernr] eine Seriennummer falls mehrere
Imagesätze zu einem Dokument gehören

\item[TYPE] sollte den Inhalt beschreiben z.B \url{img} oder
  \url{pageimg} bei Scans einzelner Seiten oder \url{ocr} für
  OCR-Texte oder \url{meta} für einzelne Metadaten-Dateien zu den
  Dateien in den anderen Ordnern.
\end{description}

\noindent Ausserdem liegt in jedem Dokumentenordner eine Datei:

\url{index.meta}

\noindent die Metadaten zum Ordner selbst enthält. Das Format dieser
Metadaten"=Datei ist im Dokument "`A simple metadata format for
resource bundles"'\footnote{\url{http://pythia/projects/storagesystem/metadaten.html}} beschrieben.


\subsection{Vierte Ebene: Dateien in den Ordnern}
\label{sec:vierte-eben-date}

Für Dateinamen gilt als Midestanforderung, dass die Dateiendung den
Dateityp anzeigt und die alphabetische Ordnung der Namen der
Reihenfolge der Daten entspricht. Nummerierte Dateien sollten daher
Namen mit führenden Nullen erhalten, z.B.  \url{00001.jpg}. Empfohlen
wird folgende Bennung:

\url{id-sernr-imagenumber.SUFFIX}

\noindent wobei \texttt{id} und \texttt{sernr} mit den entsprechenden Angaben des
Ordners übereinstimmen. Imagenummer ist eine vierstellige Zahl. Das
Suffix muss den Dateityp angeben. Eine (nicht erschöpfende) Liste von
Dateitypen zeigt Tabelle~\ref{tab:benennung-dateien}.

\begin{table}[htbp]
  \centering
  \begin{tabular}{ll}

    suffix & Dateityp\\ \hline

    \texttt{jpg} & JPEG-Bilddateien\\
    
    \texttt{tif} & TIFF-Bilddateien \\
    
    \texttt{png} & PNG-Bilddateien
  \end{tabular}
  \caption{Dateiendungen}
  \label{tab:benennung-dateien}  
\end{table}


\section{Ablage der Onlinedaten}
\label{sec:ablage-der-onlin}

Für Daten die für die direkte Präsentation im Netz vorgesehen sind,
werden auf foxridge zwei Pfade angeboten:

\url{online/experimental}

\noindent und

\url{online/permanent}

\noindent Für Dokumente, die nur temporär präsentiert werden sollen,
ist \url{online/eperimental} vorgesehen. Pfade innerhalb dieses
Bereiches können verändert und gelöscht werden.

Für Dokumente, die auf längere Zeit im Netz bleiben sollen, ist
\url{online/permanent} vorgesehen. Pfade in diesem Bereich dürfen
nicht geändert oder gelöscht werden, Dokumente dürfen nicht verschoben
oder umbenannt werden.

Die interne Struktur der Projekt- und Dokumentordner in
\url{online/permanent} entspricht der in
Abschnitt~\ref{sec:ablage-von-arch} dargestellten Struktur von
\url{archive/data}.



\section{Workflow für die Übergabe von gescannten Texten}
\label{sec:workflow-fur-die}

Größere Mengen von Büchern und Manuskripten werden von der
Digitalisierungsgruppe der Bibliothek in hoher Qualität gescannt.
Diese Digitalisierungen erfolgen im Auftrag von Projektem, einzelnen
Forschern oder auf eigene Initiative der Bibliothek. Die Digitalisate
werden zunächst in drei verschiedenen Formen erzeugt:

\begin{itemize}
\item Als \emph{Roh-Image} in hoher Auflösung direkt aus dem Scanner,
  ohne weitere Nachbearbeitung. Diese Dateien sind nicht für die
  weitere Nutzung durch Andere gedacht und sollen nur archiviert
  werden.
  
\item Als \emph{User-Image} in hoher Auflösung mit Nachbearbeitung wie
  Farbkorrektur und Schärfung. Diese Dateien sind für die weitere
  Nutzung durch die Projekte gedacht und sollen ebenfalls archiviert
  werden.

\item Als \emph{Online-Image} in reduzierter Auflösung für die
  Online-Präsentation. Diese Dateien können ebenfalls durch andere
  Projekte genutzt werden und müssen online zur Verfügung stehen.
\end{itemize}

Die Scan-Arbeiten und die Erzeugung der Roh- und User-Images werden
von der Digigruppe selbständig durchgeführt. Für den Workflow der
Übergabe der Bilddaten an die Projekte ergeben sich verschiedene
Anforderungen:

\begin{itemize}
\item Der Ort der Übergabe der Daten muss klar sein. Wohin werden die
  Dateien kopiert, wie werden Verzeichnisse und Dateien benannt?

\item Die Daten müssen archiviert werden.

\item Online-Versionen der Daten sollten möglichst schnell zur Verfügung
  stehen und über einen allgemeinen Katalog gefunden werden können.
  
\item Daten sollten nach Möglichkeit nicht kopiert und doppelt
  abgelegt werden.
\end{itemize}

Der Workflow der Ablage der Daten ist abhängig davon ob die Scans im
Auftrag eines etablierten Projektes durchgeführt wurden. In diesem
Fall werden die Roh- und User"=Images von der Digigruppe in
entsprechenden Unterordnern der jeweiligen Projektordner abgelegt
(Abschnitt~\ref{sec:ablage-bei-den}). Wenn die Scans im Auftrag
einzelner Wissenschaftler oder auf Initiative der Bibliothek erstellt
wurden, werden sie in der \url{library} Hierarchie abgelegt
(Abschnitt~\ref{sec:ablage-libr-proj})


\subsection{Ablage in "`library"' Projekt}
\label{sec:ablage-libr-proj}

\begin{enumerate}
\item Die Digigruppe erstellt Roh- und User-Images auf lokalen Platten
  oder Bereichen für Bewegungsdaten.
  
\item Die Digigruppe kopiert Roh-Images und User-Images in einen
  Dokumenten-Ordner nach der Namenskonvention
  (\url{AUTHOR_TITLE_SERNR_lang_year}) im Bereich
  \url{archive/data/library}.  Roh-Images werden in einem
  Unterordner \url{raw} abgelegt und User-Images in \url{img}.
  
\item Die Digigruppe startet eine Prä-Migration der Daten (Roh- und
  User"=images) ins Bandarchiv. Die Daten werden auf Band kopiert aber
  (nach Maßgabe des verfügbaren Speicherplatzes) noch nicht von der
  Festplatte gelöscht.\footnote{Idealerweise würden die Roh-Images
    bereits von der Platte gelöscht während die User-Daten erhalten
    bleiben.}

\item Die Digigruppe benachrichtigt den Auftraggeber (wenn im Auftrag)
  über den Ablageort der Daten.
  
\item Der Auftraggeber verwendet die User-Images. Veränderte Formen
  der Images erstellt und archiviert der Auftraggeber in seiner
  eigenen Projekt"=Hierarchie.
  
\item Der Auftraggeber veranlasst die vollständige Migration (Löschung
  von der Festplatte) der von der Digigruppe erstellten Daten sobald
  sie nicht mehr direkt verwendet werden.
\end{enumerate}


\subsection{Ablage bei den Projekten}
\label{sec:ablage-bei-den}

\begin{enumerate}
\item Die Digigruppe erstellt Roh- und User-Images auf lokalen Platten
  oder Bereichen für Bewegungsdaten.
  
\item Die Digigruppe kopiert Roh-Images und User-Images in einen
  Dokumenten"=Ordner nach der Namenskonvention
  (Abschnitt~\ref{sec:zweite-eben-dokum}), der sich in einem mit dem
  Projekt abgesprochenen Bereich des Projektes befindet, z.B.
  \url{archive/data/PROJEKT/literature}. Roh"=Images werden in einem
  Unterordner \url{raw} abgelegt und User-Images in \url{img}.

\item Die Digigruppe benachrichtigt das entsprechende Projekt über den
  Aufenthaltsort der Daten.

\item Das Projekt verwendet die User-Images und archiviert
  weiter verarbeitete Formen in seiner eigenen Projekt-Hierarchie.
  
\item Das Projekt veranlasst die vollständige Archivierung und
  Migration der Daten sobald sie nicht mehr direkt verwendet werden.
\end{enumerate}


\subsection{Ablage der Online-Images}
\label{sec:ablage-der-online}

Die Erstellung und Ablage der Online"=Images erfolgt je nach Absprache
mit dem Projekt

\begin{itemize}
\item als fertige Images in der Online"=Hierarchie der Bibliothek, wenn
  es ein Auftrag durch ein Projekt ohne eigene Online-Präsenz ist
  
\item als fertige Images im Archivbereich bei den User-Images in einem
  Ordner \url{jpg} zur Nutzung durch das Projekt in seinem
  Online-Bereich

\item für Projekte, die selbst weiter verarbeitete Online-Images zur
  Verfügung stellen werden keine Online-Images erzeugt.
\end{itemize}




\end{document}



%%% Local Variables: 
%%% mode: latex
%%% TeX-master: t
%%% End: