Changes between Version 46 and Version 47 of normalization/6


Ignore:
Timestamp:
Dec 21, 2010, 2:12:57 PM (13 years ago)
Author:
Wolfgang Schmidle
Comment:

--

Legend:

Unmodified
Added
Removed
Modified
  • normalization/6

    v46 v47  
    151151 * Ich gehe davon aus, dass die Wahl der Sprachschicht sich sowohl auf die Textanzeige als auch auf die Wörterbuch-Normalisierung bezieht.
    152152 
     153 === Normalisierung und Suche ===
     154 
     155Die Suche sollte per default zu intuitiv nachvollziehbaren Ergebnissen kommen. Wir können uns noch überlegen, welche Suchoptionen wir anbieten wollen, aber zuerst muss das default-Verhalten stimmen.
     156 
     157Minimal-Anforderungen:
     158 1. Ein Suchwort soll sich immer selbst finden, auch in Originalschreibweise. Konkret soll man ein Wort aus dem Text herauskopieren können, und die Suche findet es dann wieder. Beispiel: Wenn man Œuvre eintippt, soll zumindest jedes Œuvre im Text gefunden werden. Das ist schwieriger als es klingt, siehe Ticket [https://it-dev.mpiwg-berlin.mpg.de/tracs/mpdl-project-software/ticket/58 #58] mit der Form "eiuſdẽ".
     159 1. Die normalisierte Form soll alle Formen finden, die zu dieser Form normalisiert werden. Beispiel: oeuvre sollte œuvre finden, und eiusdem sollte eiuſdẽ finden (falls es zu eiuſdem regularisiert wurde und daher zu eiusdem normalisiert wird).
     160 1. Die Suche sollte als default nicht zwischen Groß- und Kleinbuchstaben unterscheiden, d.h. das Suchwörter Œuvre und œuvre sollten dieselben Ergebnisse liefern.
     161
     162eXist und Lucene haben meines Wissens immer noch ein Problem mit mehreren Indexen zu demselben Dokument. Deshalb gehe ich davon aus, dass zu jedem Wort die normalisierte Schreibweise indexiert wird. Beispiel: Original eiuſdẽ wird zu eiuſdem regularisiert und die regularisierte Form wird zu eiusdem normalisiert, daher wird eiuſdẽ als eiusdem indexiert.
     163
     164Zu Punkt 1: Ein Wort findet sich selbst, wenn man das Suchwort nach den gleichen Regeln normalisiert wie die Wörter im Text. Wahrscheinlich möchte man bei der Indexierung noch die sprachimmantente Normalisierung dazunehmen, so dass das Suchwort ἀλλά auch ἀλλὰ findet. Punkt 2 sollte dann auch kein Problem sein.
     165
     166Zu Punkt 3: Bei den Regeln für Latein (siehe unten) versuche ich, nur die Normalisierungen aufzuzählen, die im Benedetti tatsächlich benötigt werden. Insbesondere wird zum Beispiel œ normalisiert und Œ nicht, weil es im Benedetti nicht vorkommt. Wenn die Suche nach Œuvre und œuvre dasselbe Ergebnis liefern soll, muss Œuvre also zuerst in Kleinbuchstaben umgewandelt und danach nicht normalisiert werden. (Wenn man bei der Normalisierung doch nicht zwischen Groß- und Kleinbuchstaben unterscheidet, kann man auch erst normalisieren und dann in Kleinbuchstaben umwandeln.)
     167
     168Die Suche nach "benedicti" soll aber auch das Wort BENEDICTI auf der Titelseite finden. Das heißt, für den Index muss dieses Wort auch in Kleinbuchstaben umgewandelt werden. Und zwar wieder: entweder zuerst umwandeln und dann normalisieren, oder die Regeln müssen auch für Großbuchstaben gelten. Im Sinne der Modularität wäre es sinnvoller, dass man erst bis zur sprachimmanenten Form kommt und dann in Kleinbuchstaben umwandelt. Oder das Umwandeln in Kleinbuchstaben ist automatisch Teil der sprachimmanenten Normalisierung (jedenfalls nicht Teil der Normalisierung für die Textanzeige); aber dann kommt es für Wörter wie Œuvre oder ŒUVRE zu spät. Das (fiktive) ŒUVRE muss für die Textanzeige zu OEUVRE normalisiert werden, und dann muss es in Kleinbuchstaben umgewandelt werden. Da es andersrum nicht geht, braucht man wohl doch eine Regel für Œ. (Das würde auch das technische Problem der Kleinbuchstaben in <emph style="sc"> lösen, die in Wirklichkeit small caps sind und im Sinne der Regeln als Großbuchstaben behandelt werden müssten.)
     169
     170Also folgender Vorschlag:
     171 1. in der sprachimmanenten Normalisierung werden die Wörter immer in Kleinbuchstaben umgewandelt.
     172 1. Index und Suche mit der sprachimmanenten Normalisierung.
     173
     174Verwenden wir irgendwelche Wörterbücher, die mit vollständiger Kleinschreibung ein Problem hätten?
     175
     176Vorläufig werden in der neuen Normalisierung für Latein nur die wirklich notwendigen Regeln verwendet, um zu sehen, ob das vielleicht schon ausreicht, und um keine Fehler zu übertünchen. Und beispielsweise sollte aus der Regel "J wird zu I" eigentlich nicht "j wird zu i" folgen, weil j wie in major fast immer falsch ist. Aber siehe unten: Vielleicht muss <reg> dann aufpassen, dass alle j korrigiert sind, und die Normalisierung macht aus major maior, egal ob es ein Transkriptionsfehler ist oder nicht.
     177 
    153178=== Standard-Normalisierungen in allen Sprachen ===
    154179
     
    220245  * 8x í : einzelne Wörter, z.B. commutatíuæ: Transkriptionsfehler bei schlechtem Druck
    221246  * ó 2x
    222   * ù 11x, davon 2x cú wohl für Tilde, z.B. ſecundú ist Tilde
     247  * ú 11x, davon 2x cú wohl für Tilde, z.B. ſecundú ist Tilde
    223248 * Makron kommt nicht vor.
    224249 * Breve kommt nicht vor.
     
    232257Œ und Ę kommen im Gegensatz zu Æ nicht vor, also keine Regel. (Alternative wäre: eine Regel, die im Benedetti nie angewendet wird.)
    233258
    234 Großes J kommt 4x vor: JACOBO und JLLVST. jeweils kursiv, JD unklares drop cap, Jupiter Transkriptionsfehler durch schlechten Druck. Also keine Regel für IJ. Kleine j ohne i sind Transkriptionsfehler. (Es gibt aber 1x DIj: Regel dafür? Oder regularisieren? Dann müsste man aber bei allen drop caps regularisieren.)
     259Großes J kommt 4x vor:
     260 * JACOBO und JLLVST. jeweils kursiv,
     261 * JD unklares drop cap,
     262 * Jupiter Transkriptionsfehler durch schlechten Druck.
     263Also keine Regel für IJ. Kleine j ohne i sind Transkriptionsfehler. (Es gibt aber 1x DIj: Regel dafür? Oder regularisieren? Dann müsste man aber bei allen drop caps regularisieren.) Alternative wäre, nicht die ij-Regel aus dem Italienischen zu übernehmen, sondern einfach jedes j zu i zu machen. Wäre das besser? Verdeckt Transkriptionsfehler. Wenigstens J zu I? Ist ein J am Anfang eines Wortes denn wirklich ein eigener Buchstabe, oder ist es eine graphische Variante des kursiven I, ähnlich wie quam und QVAM? In der Zeile von JACOBO gibt es auch ein normales I. Trotzdem: "AD EVNDEM IACOBVM" (upright) Wikipedia: I unfd J seit dem Mittelalter verschiedene Laute, aber in der Schrift noch nicht klar getrennt. Also: <reg> sollte aufpassen, dass im wesentlichen keine j übrig sind, und die Normalisierung darf jedes noch übrige j zu i machen?
    235264
    236265Deshalb auf der Basis des Benedetti vorläufig folgende explizite Liste für Latein: