[[PageOutline(1-4,,pullout)]] [wiki:normalization Regularisierung und Normalisierung], I: [wiki:normalization/1 1] [wiki:normalization/2 2] [wiki:normalization/3 3], II: [wiki:normalization/4 4] [wiki:normalization/5 5] [wiki:normalization/6 6] [wiki:normalization/7 7] = 3. Wo werden die Normalisierungsregeln angewendet? = == Wortformenliste == Die Normalisierungsregeln greifen massiv in die Textgestalt ein. Beispiele: * divisa wird zu diuisa, volumine wird zu uolumine; Malcolm begündet, warum diese Normalisierung praktisch nie dazu führt, dass sich fälschlicherweise das Lemma ändert: /u/ and /v/ are rarely phonemic in Latin, as in * alui 's/he nourished' vs. alvi 'of a belly', * volui 's/he wished' or 'it rolled' vs. volvi 'to be rolled', * (in)seruit 's/he joined together' vs. (in)servit 's/he serves'. * Käse und KÄSE werden bei zu Kaese * 凡​古​今​一​言​之嘉、寸​長​可​取，必​勤​勤​懇​懇​而​契​合​焉。 wird zu [[BR]] 凡​古​今​一​言​之嘉,寸​長​可​取，必​勤​勤​懇​懇​而​契​合​焉. * πλῆθος wird zu πλῆθοσ Die Normalisierungsregeln sind also nicht für die Textanzeige gedacht. Stattdessen geht es bei der Normalisierung darum, orthographische Varianten von Wortformen zu standardisieren. Das Ziel ist, eine Wortformenliste anzulegen, in der verschiedenen Schreibweisen zur selben normalisierten Form führen, aber verschiedene Wortformen zu verschiedenen Zeichenfolgen normalisiert werden. Es wird dabei keine reale Wortform angestrebt, sondern eine Pseudo-Form wie uolumine, Kaese oder πλῆθοσ. Wären echte Wortformen beabsichtigt, so wäre unklar, warum Malcolm zum Beispiel die u/v-Regeln nicht einfach vom Italienischen ins Lateinische übernommen hat. Im Backend werden die Normalisierungsregeln aus Arboreal dann für die Textanzeige verwendet. Dieser Irrtum ist wohl durch die verwirrende Nomenklatur entstanden: "orthographic normalization" bedeutet in Arboreal etwas anderes als in unserem Anzeigesystem. Das ist wohl auch der Grund für die Normalisierungsprobleme, die in den Tickets [https://it-dev.mpiwg-berlin.mpg.de/tracs/mpdl-project-software/ticket/32 #32] für Chinesisch, [https://it-dev.mpiwg-berlin.mpg.de/tracs/mpdl-project-software/ticket/50 #50] für Deutsch und möglicherweise [https://it-dev.mpiwg-berlin.mpg.de/tracs/mpdl-project-software/ticket/64 #64] für Griechisch beschrieben sind. Wofür werden die Regeln in Arboreal tatsächlich verwendet? Gibt es Dokumentation von Malcolm zu diesem Thema? * Eigenbedarf von Arboreal zur Index-Erstellung (term list, etc.) * Pollux / Donatus ? * Änderungen im XML, damit Skripte wie funktionieren ?? == !Pollux/Donatus == Ein Kommentar in !ArborApplication.java legt nahe, dass die Normalisierung für Donatus verwendet wird: "Produces an XML document where individual words are normalized, enumerated in their containers, and sorted by language. This format is used by the Donatus system and is intended to make possible lexico-statistical analysis." Ich vermute aber, dass zumindest die Regeln für Unicode-Griechisch nicht für !Donatus/Pollux verwendet werden, denn in Arboreal funktioniert bei griechischem Text die Verbindung zum Wörterbuch nur, wenn der Text in Betacode ist. * Falls doch, wo findet die Normalisierung statt? Konkret: Wo wird ὰ (1F70) zu ά (1F71), zum Beispiel ἀλλὰ zu ἀλλά, und das ganze eventuell noch zu Betacode? Offenbar nicht in den von mir untersuchten Klassen. !BetaCode.java: ὰ wird zu `A\\` (also wohl eigentlich `A\`), ά wird zu "A/". Es könnte irgendwo einfach jedes `\` zu `/` werden, aber ich habe eine solche Stelle (noch) nicht gefunden. * Falls nicht: Wie kommuniziert Arboreal mit !Donatus/Pollux? Im Backend: Im Text steht πλῆθος und ἀλλὰ. Gefunden wird * [http://mpdl-proto.mpiwg-berlin.mpg.de/mpdl/lt/lex.xql?language=grc&query=πλῆθοσ πλῆθοσ], aber nicht [http://mpdl-proto.mpiwg-berlin.mpg.de/mpdl/lt/lex.xql?language=grc&query=πλῆθος πλῆθος], [http://mpdl-proto.mpiwg-berlin.mpg.de/mpdl/lt/lex.xql?language=grc&query=πληθος πληθος], [http://mpdl-proto.mpiwg-berlin.mpg.de/mpdl/lt/lex.xql?language=grc&query=πληθοσ πληθοσ] * [http://mpdl-proto.mpiwg-berlin.mpg.de/mpdl/lt/lex.xql?language=grc&query=ἀλλά ἀλλά], aber nicht [http://mpdl-proto.mpiwg-berlin.mpg.de/mpdl/lt/lex.xql?language=grc&query=ἀλλὰ ἀλλὰ]. Ich weiß nicht, wo ἀλλὰ zu ἀλλά wird. == Weitere Fragen == * Inwieweit sind die Regeln veraltet oder noch aktuell? Welche Notwendigkeiten gab es? Insbesondere: Inwieweit gab es Kodierungsprobleme? * Sollen die Arboreal-Regeln noch für einen Wort-Index verwendet werden, oder hat sich das mit eXist und Lucene erledigt?