Regularisierung und Normalisierung, I: 1 2 3, II: 4 5 6 7

3. Wo werden die Normalisierungsregeln angewendet?

Wortformenliste

Die Normalisierungsregeln greifen massiv in die Textgestalt ein. Beispiele:

• divisa wird zu diuisa, volumine wird zu uolumine; Malcolm begündet, warum diese Normalisierung praktisch nie dazu führt, dass sich fälschlicherweise das Lemma ändert: /u/ and /v/ are rarely phonemic in Latin, as in
  • alui 's/he nourished' vs. alvi 'of a belly',
  • volui 's/he wished' or 'it rolled' vs. volvi 'to be rolled',
  • (in)seruit 's/he joined together' vs. (in)servit 's/he serves'.
• Käse und KÄSE werden bei zu Kaese
• 凡​古​今​一​言​之嘉、寸​長​可​取，必​勤​勤​懇​懇​而​契​合​焉。 wird zu
  凡​古​今​一​言​之嘉,寸​長​可​取，必​勤​勤​懇​懇​而​契​合​焉.
• πλῆθος wird zu πλῆθοσ

Die Normalisierungsregeln sind also nicht für die Textanzeige gedacht. Stattdessen geht es bei der Normalisierung darum, orthographische Varianten von Wortformen zu standardisieren. Das Ziel ist, eine Wortformenliste anzulegen, in der verschiedenen Schreibweisen zur selben normalisierten Form führen, aber verschiedene Wortformen zu verschiedenen Zeichenfolgen normalisiert werden. Es wird dabei keine reale Wortform angestrebt, sondern eine Pseudo-Form wie uolumine, Kaese oder πλῆθοσ. Wären echte Wortformen beabsichtigt, so wäre unklar, warum Malcolm zum Beispiel die u/v-Regeln nicht einfach vom Italienischen ins Lateinische übernommen hat.

Im Backend werden die Normalisierungsregeln aus Arboreal dann für die Textanzeige verwendet. Dieser Irrtum ist wohl durch die verwirrende Nomenklatur entstanden: "orthographic normalization" bedeutet in Arboreal etwas anderes als in unserem Anzeigesystem. Das ist wohl auch der Grund für die Normalisierungsprobleme, die in den Tickets ​#32 für Chinesisch, ​#50 für Deutsch und möglicherweise ​#64 für Griechisch beschrieben sind.

Wofür werden die Regeln in Arboreal tatsächlich verwendet? Gibt es Dokumentation von Malcolm zu diesem Thema?

• Eigenbedarf von Arboreal zur Index-Erstellung (term list, etc.)
• Pollux / Donatus ?
• Änderungen im XML, damit Skripte wie <s> funktionieren ??

Pollux/Donatus

Ein Kommentar in ArborApplication.java legt nahe, dass die Normalisierung für Donatus verwendet wird: "Produces an XML document where individual words are normalized, enumerated in their containers, and sorted by language. This format is used by the Donatus system and is intended to make possible lexico-statistical analysis."

Ich vermute aber, dass zumindest die Regeln für Unicode-Griechisch nicht für Donatus/Pollux verwendet werden, denn in Arboreal funktioniert bei griechischem Text die Verbindung zum Wörterbuch nur, wenn der Text in Betacode ist.

• Falls doch, wo findet die Normalisierung statt? Konkret: Wo wird ὰ (1F70) zu ά (1F71), zum Beispiel ἀλλὰ zu ἀλλά, und das ganze eventuell noch zu Betacode? Offenbar nicht in den von mir untersuchten Klassen. BetaCode.java: ὰ wird zu A\\ (also wohl eigentlich A\), ά wird zu "A/". Es könnte irgendwo einfach jedes \ zu / werden, aber ich habe eine solche Stelle (noch) nicht gefunden.
• Falls nicht: Wie kommuniziert Arboreal mit Donatus/Pollux?

Im Backend: Im Text steht πλῆθος und ἀλλὰ. Gefunden wird

• ​πλῆθοσ, aber nicht ​πλῆθος, ​πληθος, ​πληθοσ
• ​ἀλλά, aber nicht ​ἀλλὰ. Ich weiß nicht, wo ἀλλὰ zu ἀλλά wird.

Weitere Fragen

• Inwieweit sind die Regeln veraltet oder noch aktuell? Welche Notwendigkeiten gab es? Insbesondere: Inwieweit gab es Kodierungsprobleme?
• Sollen die Arboreal-Regeln noch für einen Wort-Index verwendet werden, oder hat sich das mit eXist und Lucene erledigt?