| | 8 | Bisher sind 19 schema-konforme Texte bei ECHO, siehe |
| | 9 | [http://mpdl-proto.mpiwg-berlin.mpg.de/mpdl/attribute-query-result.xql?docbase=echo&query-type=browse&order-by=author&pn=1 mpdl-proto] und |
| | 10 | [http://echotest.mpiwg-berlin.mpg.de/content/historymechanics/Echo echotest]. |
| | 11 | Bis auf |
| | 12 | [http://mpdl-proto.mpiwg-berlin.mpg.de/mpdl/page-query-result.xql?document=/echo/la/Alvarus_1509.xml Alvarus], |
| | 13 | [http://mpdl-proto.mpiwg-berlin.mpg.de/mpdl/page-query-result.xql?document=/echo/la/Benedetti_1585.xml Benedetti 1585] und |
| | 14 | [http://mpdl-proto.mpiwg-berlin.mpg.de/mpdl/page-query-result.xql?document=/echo/zh/SongYingxing_1637.xml Song Yingxing] |
| | 15 | sind alle Texte mit den hier beschriebenen Workflow-Skripten erzeugt worden. |
| | 16 | |
| 25 | | Beachte: In diesem Arbeitsschritt sind die Skripte vermutlich keine Text-Filter, denn man arbeitet hier noch gar nicht mit einem Text-Editor. |
| | 30 | In diesem Schritt werden alle Vorbereitungen getroffen, um mit dem raw text arbeiten zu können. Insbesondere werden Verzeichnisse angelegt und Dateien kopiert. |
| | 31 | |
| | 32 | * Im Gegensatz zu den weiteren Schritten sind die Skripte keine Text-Filter, denn man arbeitet hier noch gar nicht mit einem Text-Editor. |
| | 33 | * Wenn wir einen transkribierten Text aus China erhalten, muss zuerst geprüft werden, ob die Datei tatsächlich, wie in den DESpecs verlangt, reiner Text in [http://de.wikipedia.org/wiki/UTF-8 UTF-8] ist. Insbesondere akzeptieren wir keine doc-Dateien. |
| | 34 | * Es ist noch nicht ganz klar, wo neue Dateien in Zukunft abgelegt werden: Kommen sie wie bisher zuerst nach [http://pythia.mpiwg-berlin.mpg.de/department1/mpdl/raw-texts Pythia] oder gleich in das [source:trunk/texts wiki-repository]? Ich gehe vorläufig davon aus, dass Texte zuerst nach Pythia kommen. Die Namenskonvention auf Pythia ist bisher Workorder_Autor_Jahr. |
| | 35 | |
| 29 | | Es ist noch nicht ganz klar, wie neue Dateien in Zukunft verarbeitet werden: Kommen sie wie bisher zuerst nach [http://pythia.mpiwg-berlin.mpg.de/department1/mpdl/raw-texts Pythia] oder gleich in das wiki-repository? Jedenfalls muss geprüft werden, ob die Datei tatsächlich, wie in den DESpecs verlangt, reiner Text in utf-8 ist. Insbesondere akzeptieren wir keine doc-Dateien. |
| 30 | | |
| 31 | | im [source:trunk/texts Texte-Verzeichnis] im repository: |
| 32 | | |
| 33 | | * Verzeichnisse anlegen (allerdings nerven die raw/xml-Verzeichnisse in der Praxis) |
| | 39 | Das Skript [source:trunk/schema/scripts/workflow/Filter_1_01_import_text.pl Filter_1_01_import_text] legt die Verzeichnisse im repository an und kopiert den Text von Pythia in das repository. |
| | 40 | |
| | 41 | * Im [source:trunk/texts Texte-Verzeichnis] Unterverzeichnisse anlegen (allerdings nerven die raw/xml-Verzeichnisse in der Praxis) |
| 43 | | Klaus: Voraussetzung: der Identifier steht im Dateinamen, dann kann bis zur Synchronisation der pb vieles automatisch laufen (⟶ das Skript wird nicht mit legacy-Verzeichnissen funktionieren) |
| 44 | | |
| 45 | | 1. Metadaten: Können vollständig aus der index.meta gewonnen werden, in dem entsprechenden Verzeichnis. Da sollte auch die GND eingefügt werden (siehe mein Hashtable, vielleicht sollte man noch eine interaktive Abfrage einbauen, in der der Benutzer noch zu {{{http://d-nb.info/gnd/$GND}}} surfen kann, ob das auch der richtige Typ ist.). |
| 46 | | 1. pageimg: Gleichzeitig könnte auch der Inhalt des pageimg-Verzeichnisses (also die Auflistung der Dateien) in den Text geschrieben werden. |
| 47 | | 1. texttool: Vielleicht sollte man nicht nur aus der index.meta lesen, sondern auch das erforderliche reinschreiben. Sicherheitskopie anlegen. Datei neu formatieren. |
| 48 | | |
| 49 | | Metadaten: werden erstmal wörtlich übernommen und in den raw text geschrieben. Erst später wird das Format angepasst. Übernommen werden (jeweils in <resource>/<meta>): |
| 50 | | |
| | 50 | Das Skript [source:trunk/schema/scripts/workflow/Filter_1_02_import_metadata.pl Filter_1_01_import_metadata] kommuniziert mit Foxridge. Das Skript setzt voraus, dass der Identifier im Dateinamen steht. (Das Skript wird daher nicht mit legacy-Verzeichnissen funktionieren.) |
| | 51 | |
| | 52 | Erstelle eine lokale Kopie der entsprechenden index.meta-Datei: |
| | 53 | {{{ |
| | 54 | http://content.mpiwg-berlin.mpg.de/mpiwg/online/permanent/archimedes_repository/large/catan_belli_502_la_1600/index.meta |
| | 55 | http://content.mpiwg-berlin.mpg.de/mpiwg/online/permanent/library/2UZM8E2N/index.meta |
| | 56 | }}} |
| | 57 | (funktioniert nur mit einer internen IP-Adresse) |
| | 58 | |
| | 59 | Extrahiere daraus die Metadaten und schreibe sie in den {{{metadata}}}-Block in den raw text. Die Metadaten werden wörtlich übernommen, das Format wird erst in Schritt [#a2.01Metadaten 2.01] angepasst. Übernommen werden (jeweils in <resource>/<meta>): |
| 63 | | |
| 64 | | (Lokale Kopie von index.meta? Besser xslt statt Perl?) |
| 65 | | |
| 66 | | Vielleicht zwei Schritte, weil ich mich dabei wohler fühle: |
| 67 | | |
| 68 | | 1. reines Abholen der Datei z.B. |
| 69 | | {{{ |
| 70 | | http://content.mpiwg-berlin.mpg.de/mpiwg/online/permanent/archimedes_repository/large/catan_belli_502_la_1600/index.meta |
| 71 | | http://content.mpiwg-berlin.mpg.de/mpiwg/online/permanent/library/2UZM8E2N/index.meta |
| 72 | | }}} |
| 73 | | (funktioniert nur mit einer internen IP-Adresse) |
| 74 | | |
| 75 | | 2. Umbenennen der alten index.meta (eventuell wird eine ältere Sicherheitskopie ohne Nachfrage überschrieben), Schreiben der neuen. |
| 76 | | |
| 77 | | (Die Trennung von Vorbereitung und raw text bearbeiten kann man eventuell nicht klar aufrechterhalten, weil es wohl nur ein Skript gibt, das mit dem Server kommuniziert und dort gleichzeitig <texttool> einträgt, Metadaten abgreift, die pageimg importiert. Andererseits können das genausogut drei getrennte Skripte sein. Dann kommuniziert man halt dreimal mit dem Server. Oder einfacher: ein Skript holt sich eine lokale Kopie von index.meta und legt eine getrennte Datei der pageimg an, und die nächsten Skripte müssen dann gar nicht mehr auf dem Server anfragen.) |
| | 73 | |
| | 74 | Das Skript meldet sich nicht bei Foxridge an. Die Änderungen in index.meta werden daher nur in der lokalen Kopie gemacht. Es fehlt also: |
| | 75 | * Sicherheitskopie von index.meta anlegen (auch lokal?): Umbenennen von index.meta in index.meta.old, eine ältere Sicherheitskopie mit demselben Namen wird ohne Nachfrage überschrieben. |
| | 76 | * Schreibe die neue index.meta |
| | 77 | |
| | 78 | (Die Trennung der Schritte „Vorbereitung“ und „raw text bearbeiten“ wird nicht vollkommen eingehalten, denn dieses Skript schreibt bereits Daten in den raw text.) |
