Changes between Version 17 and Version 18 of normalization/6
- Timestamp:
- Dec 8, 2010, 5:37:25 PM (13 years ago)
Legend:
- Unmodified
- Added
- Removed
- Modified
-
normalization/6
v17 v18 119 119 120 120 * ſ wird zu s 121 * Es gibt (zuminde t für die Textanzeige) keine Normalisierungsregeln für Satzzeichen.122 * Bindestriche werden in der Textanzeige nicht normalis ert. Für das Wörterbuch werden Bindestrich am Ende der Zeile entfernt und das Wort zusammengesetzt.121 * Es gibt (zumindest für die Textanzeige) keine Normalisierungsregeln für Satzzeichen. 122 * Bindestriche werden in der Textanzeige nicht normalisiert. Für das Wörterbuch werden Bindestrich am Ende der Zeile entfernt und das Wort zusammengesetzt. 123 123 * Als normalisierenswerte Diakritika kommen nur ó ò ô ö õ ō ŏ in Frage, alle anderen Diakritika sind Fehler und werden nicht normalisiert. 124 124 * Umgang mit hyphen und soft hyphen, <lb/> etc. 125 125 * Umgang mit combining characters versus precomposed characters 126 * Falls nicht explizit anders angegeben, gelten alle für Kleinbuchstaben aufgestellten Regeln entsprechend auch für eventuelle Großbuchstaben.Beispiele:126 * Falls nicht explizit anders angegeben, gelten alle für Kleinbuchstaben aufgestellten Regeln in der Textanzeige entsprechend auch für eventuelle Großbuchstaben. (In der Normalisierung für das Wörterbuch entfällt die Version für Großbuchstaben, weil vermutlich nur Kleinbuchstaben weitergeleitet werden.) Beispiele: 127 127 * Aus "ò wird zu o" folgt die Regel "Ò wird zu O". 128 * Aus "æ wird zu ae" folgt die Regel "Æ wird zu AE" (und nicht Ae) 128 129 * Die Regel "ſ wird zu s" hat kein Gegenstück, weil es kein großes ſ gibt. 129 130 … … 150 151 * andere Diakritika werden nicht normalisiert. Insbesondere die Zeichen 1E14-1E1D und 1EB8-1EC7 und die Äquivalente für die anderen Vokale werden nicht normalisiert. 151 152 * Medievalist characters wie ꝙ (A759) sollten regularisiert sein. Wenn sie doch noch enthalten sind, werden sie nicht normalisiert. 152 * u/v: Malcolms Algorithmus für das Italienische kann (mit korrigiertem und angepasstem Umgang mit getrennten Wörtern) für das Lateinische übernommen werden. Sinnvoll ist allerdings wohl eine Neu-Implementierung in Lex. Beispiele für Malcolms Algorithmus:153 * u/v: Malcolms Algorithmus für das Italienische kann (mit korrigiertem und angepasstem Umgang mit getrennten Wörtern) für das Lateinische übernommen werden. Sinnvoll ist allerdings wohl eine Neu-Implementierung in Lex. 153 154 154 || vnum || unum ||155 || diuerſarum || diversarum ||156 || DIVERSARVM || DIVERSARUM ||157 || PARVVS || PARUUS ||158 || octauum || octavum ||159 || loquuti || loquuti ||160 161 155 Überflüssige Diakritika können zur Lemma- und-Wortform-Disambiguierung verwendet werden. Details müssen noch geklärt werden. 162 156 … … 167 161 Beachte das Kodierungsproblem bei der Kommunikation mit Donatus: Wahrscheinlich wird ISO 8859-1 verwendet. 168 162 169 Arboreal: Solange nicht klar ist, warum Malcolm 〈 (2329) und 〉 (232A) normalisiert hat, werden sie bei uns nicht normalisiert. 163 Arboreal: 164 * Solange nicht klar ist, warum Malcolm 〈 (2329) und 〉 (232A) normalisiert hat, werden sie bei uns nicht normalisiert. 165 * ç wird nicht normalisiert 170 166 171 167 Was machen wir mit unterschiedlichen Schreibweisen? Im Benedetti gibt es zum Beispiel sowohl cęlum/cælum (wird zur korrekten Schreibweise caelum normalisiert) als auch cœlum (mittellateinische Schreibweise; die normalisierte Schreibweise coelum wird in einem modernen Wörterbuch vermutlich nicht gefunden). Eine Wortliste? Wird die Schreibweise in der Textanzeige normalisiert, oder nur für das Wörterbuch? (Ist das eine Aufgabe der Normalisierung oder doch der Regularisierung? Es ist jedenfalls kein Textfehler und auch nicht buchspezifisch.) … … 197 193 Darüber hinaus ist eine orthographische Normalisierung deutscher Texte schwierig. Eventuell wird es mehrere verschiedene Normalierungsregeln in Abhängigkeit vom Alter des Textes geben. 198 194 195 Die Regel "é wird zu e" in Arboreal ist mir unklar, deshalb wird sie nicht übernommen. 196 199 197 === Fraktur === 200 198 … … 217 215 ZWS werden in der Normalisierung entfernt. 218 216 219 Arboreal: hochgestellte 1 bis 5 werden erstmal nicht normalisiert. (aber Teil der Wortende-Markierung??) 217 Die Arboreal-Regeln für fullwidth space, einige Satzzeichen und hochgestellte 1 bis 5 werden nicht übernommen. 220 218 221 219 Einen Service zur Umwandlung von Lang- in Kurzzeichen könnte man zwar auch anbieten, aber wirklich sinnvoll wäre das für klassisches Chinesisch wohl nicht.