Changes between Version 32 and Version 33 of normalization/6

Timestamp:

Dec 16, 2010, 1:09:47 PM (13 years ago)

Author:

Wolfgang Schmidle

Comment:

--

normalization/6

@@ -62 +62 @@
 Die Grundform ist bei Sprachen mit einfacheren Flexionsparadigmen wie Deutsch leichter zu finden als beispielsweise im Lateinischen. Ein Problem entsteht im Deutschen aber dadurch, dass Celex die Umlaute zu ae, oe, ue normalisiert. Beispielsweise werden Poebene und das fiktive Wort Pöbene zum gleichen Wort Poebene normalisiert. Wir können daher nur die Wörter unterscheiden, die Celex unterscheiden kann. Bei Poebene scheint es weiter kein Problem zu geben, denn Pöbene gibt es nicht. Wenn man aber "musste" nachschlagen will, muss man es erst zu "muessen" normalisieren und dann entweder die Form "muessen" im Wörterbuch finden oder "muessen" wieder zurück in "müssen" verwandeln und diese Form dann im Wörterbuch finden.
  * Ist das eine korrekte Beschreibung des Problems?
+ * Was genau ist das Problem? Das Grimmsche Wörterbuch kann vermutlich auch mit ae, oe, ue umgehen: siehe [http://urts55.uni-trier.de:8080/Projekte/WBB2009/DWB//wbgui_py?mainmode= hier]. Auch Plurale scheinen kein Problem zu sein. DWDS kann ebenfalls  mit Pluralen umgehen: Beispiel [http://beta.dwds.de/?qu=Russen Russen]. Findet auch "ist", "isst", "ißt".
+ * Gibt es in anderen Sprachen vergleichbare Probleme?
+ * Können wir das Problem lösen, indem wir für das Deutsche wie für das Lateinische und Griechische eine Wortliste erstellen und diese eventuell per Hand nachbessern? Oder eine Wortliste für Ausnahmen und für alle anderen Wortformen ein einfacher Algorithmus?
+
+Fragen zu Celex:
  * Verwenden wir Celex tatsächlich nur für die Morphologie und nicht als Wörterbuch?
- * Was genau ist das Problem? Das Grimmsche Wörterbuch kann vermutlich auch mit ae, oe, ue umgehen: siehe [http://urts55.uni-trier.de:8080/Projekte/WBB2009/DWB//wbgui_py?mainmode= hier]. Auch Plurale scheinen kein Problem zu sein. DWDS kann ebenfalls  mit Pluralen umgehen: Beispiel [http://beta.dwds.de/?qu=Russen Russen]. Findet auch "ist", "isst", "ißt".
- * Funktioniert Celex mit Wortliste oder mit Algorithmus?
- * Können wir das Problem lösen, indem wir für das Deutsche wie für das Lateinische und Griechische eine Wortliste erstellen und diese eventuell per Hand nachbessern? Oder haben wir bei Celex sogar Zugang zum Algorithmus?
+ * Funktioniert Celex mit Wortliste oder mit Algorithmus?  Oder haben wir bei Celex sogar Zugang zum Algorithmus?
+ * Was macht Celex mit ß? Wird es zu ss? Im Grimm muss man offenbar sz verwenden.
+ * Was macht Celex mit Bindestrichen?
+
+Fragen zum Deutschen:
  * Gibt es im Deutschen überhaupt Beispiele, wo beide möglichen Ausgangsformen existieren und verschiedene Bedeutungen haben? 
  * Es gibt wohl wenige Fälle wie "musste", wo die Grundform einen Umlaut hat, den die originale Wortform nicht hatte. Andersrum häufiger: Bäume, Baum.
- * Was macht Celex mit ß? Wird es zu ss? Im Grimm muss man offenbar sz verwenden.
- * Was macht Celex mit Bindestrichen?
+ * Kann man Groß-/Kleinschreibung von Wörtern zur Disambiguierung verwenden?
+ * Was machen wir mit zusammengesetzten Wörtern? Gibt es überhaupt eine Chance, sie im Wörterbuch zu finden?
+
+Rückführung in eine nicht-normalisierte Form:
  * Wenn man aus den Einträgen im Celex eine explizite Liste ermitteln möchte, auf welche nicht-normalisierten Wörter es reagieren würde, muss man aus der normalisierten Form alle möglichen nicht-normalisierten Wortformen erstellen. Das ist schwierig (siehe zum Beispiel [wiki:normalization/1#Weiteres hier]). Es scheint mir aber auch gar keinen Grund zu geben, warum man von der technisch bedingt normalisierten Form zurück zur Originalform kommen möchte. Das kommt mir verkehrt herum gedacht vor. 
- * Trotzdem: Kann man die Originalform verwenden, um die korrekte Schreibung der Grundform abzuleiten? Beispiel "Wasserstraßen": Solange alles im Wort bis dahin übereinstimmt, kann man die Schreibung der Originalform übernehmen? Beispiel "flösse" mit Grundform fließen bzw. fliessen: Unterschied schon beim dritten Buchstaben: ö versus i, man kann also automatisiert nicht sagen, ob es fliessen oder fließen wäre. Außer natürlich dadurch, dass die deutsche Rechtschreibung regulär ist: nach ie muss ß stehen. Wenn man nicht in der Schweiz ist.
- * Gibt es in anderen Sprachen vergleichbare Probleme?
+ * Trotzdem: Kann man die Originalform verwenden, um die korrekte Schreibung der Grundform abzuleiten? Beispiel "Wasserstraßen": Solange alles im Wort bis dahin übereinstimmt, kann man die Schreibung der Originalform übernehmen? Beispiel "flösse" mit Grundform fließen bzw. fliessen: Unterschied schon beim dritten Buchstaben: ö versus i, man kann also automatisiert nicht sagen, ob es fliessen oder fließen wäre. Außer natürlich dadurch, dass die deutsche Rechtschreibung einigermaßen regulär ist: nach ie muss ß stehen. Wenn man nicht in der Schweiz ist.
 
 Eine Liste von möglicherweise schwierigen Wörtern:
- * Russen: Russe -- rußen: rußen, Celex russen?, Grimm erwartet aber ruszen
- * flössen -- Flößen
- * Masse -- Maße
- * musste: müssen
- * Fußangel: Grimm erwartet Fuszangel. "automatisch erstellter Rückverweis": Fußangel.
- * abnötigen: Grimm erwartet abnöthigen. Hier braucht man die Normalisierung der Sprachschicht.
- * Zooeingang, Poet
- * Wasserstraße
- * Bäume: Baum
- * waren: sein
- * wären: sein
- * Schulden (kein Singular)
- * einzigste, maximalst
+ * ß
+  * Russen: Russe -- rußen: rußen, Celex russen?, Grimm erwartet aber ruszen
+  * flössen -- Flößen: Celex kann sie nicht unterscheiden
+  * Masse -- Maße: Celex kann sie nicht unterscheiden
+  * mußte: müssen
+  * Wasserstraße: ss und ß
+  * Fußangel: Grimm erwartet Fuszangel. "automatisch erstellter Rückverweis": Fußangel.
+ * Umlaute
+  * musste: müssen
+  * Bäume: Baum
+  * Zooeingang, Poet
+ * Suppletionen
+  * waren: sein
+  * wären: sein
+ * Sprachschichten 
+  * abnötigen: Grimm erwartet abnöthigen. Hier braucht man die Normalisierung der Sprachschicht.
+ * weiteres:
+  * Schulden (kein Singular)
+  * einzigste, maximalst
 
 === Diakritika ===