--- a/software/mpdl-services/mpiwg-mpdl-lt/src/de/mpg/mpiwg/berlin/mpdl/lt/text/norm/lang/MpdlNormalizerLexIT.java	Wed Dec 14 13:57:09 2011 +0100
+++ b/software/mpdl-services/mpiwg-mpdl-lt/src/de/mpg/mpiwg/berlin/mpdl/lt/text/norm/lang/MpdlNormalizerLexIT.java	Tue Nov 27 12:35:19 2012 +0100
@@ -1,4 +1,4 @@
-/* The following code was generated by JFlex 1.4.3 on 21.07.11 11:22 */
+/* The following code was generated by JFlex 1.4.3 on 28.03.12 18:57 */
 
 /*
  * Normalization rules for Italian text
@@ -15,8 +15,8 @@
 /**
  * This class is a scanner generated by 
  * <a href="http://www.jflex.de/">JFlex</a> 1.4.3
- * on 21.07.11 11:22 from the specification file
- * <tt>MpdlNormalizerLexIT.lex</tt>
+ * on 28.03.12 18:57 from the specification file
+ * <tt>/Users/jwillenborg/test/jflexNew/MpdlNormalizerLexIT.lex</tt>
  */
 public class MpdlNormalizerLexIT {
 
@@ -46,15 +46,16 @@
    * Translates characters to character classes
    */
   private static final String ZZ_CMAP_PACKED = 
-    "\12\0\1\6\25\0\1\5\14\0\1\4\22\0\1\52\1\1\3\2"+
-    "\1\1\3\2\1\41\1\0\1\2\1\3\2\2\1\42\1\2\1\50"+
-    "\1\3\1\2\1\40\1\45\1\51\2\2\1\0\1\2\6\0\1\44"+
-    "\3\2\1\12\2\2\1\43\1\7\1\36\1\2\1\3\1\2\1\10"+
-    "\1\37\1\14\1\46\1\13\1\2\1\11\1\16\1\47\2\2\1\0"+
-    "\1\2\62\0\1\4\22\0\1\17\5\0\1\33\1\0\1\20\3\0"+
-    "\1\21\5\0\1\22\6\0\1\23\5\0\1\31\1\24\5\0\1\32"+
-    "\1\0\1\25\3\0\1\26\5\0\1\27\6\0\1\30\37\0\1\1"+
-    "\70\0\1\35\1\34\53\0\1\15\ufe80\0";
+    "\12\0\1\6\25\0\1\5\14\0\1\22\1\0\1\21\14\0\1\17"+
+    "\1\0\1\20\1\0\1\56\1\1\3\2\1\1\3\2\1\45\1\0"+
+    "\1\2\1\3\2\2\1\46\1\2\1\54\1\3\1\2\1\44\1\51"+
+    "\1\55\2\2\1\0\1\2\6\0\1\50\3\2\1\12\2\2\1\47"+
+    "\1\7\1\42\1\2\1\3\1\2\1\10\1\43\1\14\1\52\1\13"+
+    "\1\2\1\11\1\16\1\53\2\2\1\0\1\2\62\0\1\4\22\0"+
+    "\1\23\5\0\1\37\1\0\1\24\3\0\1\25\5\0\1\26\6\0"+
+    "\1\27\5\0\1\35\1\30\5\0\1\36\1\0\1\31\3\0\1\32"+
+    "\5\0\1\33\6\0\1\34\37\0\1\1\70\0\1\41\1\40\53\0"+
+    "\1\15\ufe80\0";
 
   /** 
    * Translates characters to character classes
@@ -67,17 +68,18 @@
   private static final int [] ZZ_ACTION = zzUnpackAction();
 
   private static final String ZZ_ACTION_PACKED_0 =
-    "\11\0\1\1\1\2\2\3\1\1\1\4\1\2\1\3"+
-    "\1\5\1\2\1\6\1\7\1\10\1\11\1\12\5\3"+
-    "\1\13\1\2\1\3\1\5\1\2\1\14\1\15\1\16"+
-    "\1\17\1\20\1\21\1\22\1\23\1\24\1\25\1\26"+
-    "\1\27\1\30\4\0\1\31\1\32\1\33\1\0\1\34"+
-    "\1\0\1\35\1\36\1\0\1\37\1\40\1\41\4\0"+
-    "\1\42\6\0\1\43\1\44\4\0\1\45\1\0\1\46"+
-    "\10\0\1\47\4\0\1\45\2\0\1\50";
+    "\13\0\1\1\1\2\2\3\1\1\1\4\1\2\1\3"+
+    "\1\5\1\2\2\1\1\6\1\7\1\10\1\11\1\12"+
+    "\5\3\1\13\1\2\1\3\1\5\1\2\1\14\1\15"+
+    "\1\16\1\17\1\20\1\21\1\22\1\23\1\24\1\25"+
+    "\1\26\1\27\1\30\5\0\1\31\1\32\1\33\1\0"+
+    "\1\34\1\0\1\35\1\36\1\0\1\37\1\40\1\41"+
+    "\4\0\1\42\10\0\1\43\1\44\4\0\1\45\1\0"+
+    "\1\46\6\0\1\32\3\0\1\47\5\0\1\45\3\0"+
+    "\1\50";
 
   private static int [] zzUnpackAction() {
-    int [] result = new int[100];
+    int [] result = new int[111];
     int offset = 0;
     offset = zzUnpackAction(ZZ_ACTION_PACKED_0, offset, result);
     return result;
@@ -102,22 +104,23 @@
   private static final int [] ZZ_ROWMAP = zzUnpackRowMap();
 
   private static final String ZZ_ROWMAP_PACKED_0 =
-    "\0\0\0\53\0\126\0\201\0\254\0\327\0\u0102\0\u012d"+
-    "\0\u0158\0\0\0\0\0\0\0\u0183\0\u01ae\0\0\0\u01d9"+
-    "\0\u0204\0\0\0\u022f\0\0\0\0\0\0\0\0\0\0"+
-    "\0\u025a\0\u0285\0\u02b0\0\u02db\0\u0306\0\0\0\u0331\0\u035c"+
-    "\0\u0387\0\u03b2\0\u03dd\0\0\0\0\0\0\0\0\0\0"+
-    "\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\u0408"+
-    "\0\u0433\0\u045e\0\u0489\0\0\0\0\0\0\0\u04b4\0\0"+
-    "\0\u04df\0\0\0\0\0\u050a\0\0\0\0\0\0\0\u0535"+
-    "\0\u0560\0\u058b\0\u05b6\0\0\0\u05e1\0\u060c\0\u0637\0\u0662"+
-    "\0\u068d\0\0\0\0\0\0\0\u06b8\0\u06e3\0\u070e\0\u035c"+
-    "\0\u0739\0\u0764\0\0\0\u078f\0\u07ba\0\u07e5\0\0\0\u0810"+
-    "\0\u083b\0\u0866\0\u0891\0\0\0\u08bc\0\u08e7\0\u0912\0\u093d"+
-    "\0\0\0\u0968\0\u0993\0\0";
+    "\0\0\0\57\0\136\0\215\0\274\0\353\0\u011a\0\u0149"+
+    "\0\u0178\0\u01a7\0\u01d6\0\u0205\0\u0205\0\u0205\0\u0234\0\u0263"+
+    "\0\u0205\0\u0292\0\u02c1\0\u0205\0\u02f0\0\u01a7\0\u031f\0\u0205"+
+    "\0\u0205\0\u0205\0\u0205\0\u0205\0\u034e\0\u037d\0\u03ac\0\u03db"+
+    "\0\u040a\0\u0205\0\u0439\0\u0468\0\u0497\0\u04c6\0\u04f5\0\u0205"+
+    "\0\u0205\0\u0205\0\u0205\0\u0205\0\u0205\0\u0205\0\u0205\0\u0205"+
+    "\0\u0205\0\u0205\0\u0205\0\u0524\0\u0553\0\u0582\0\u05b1\0\u05e0"+
+    "\0\u0205\0\u0205\0\u0205\0\u060f\0\u0205\0\u063e\0\u0205\0\u0205"+
+    "\0\u066d\0\u0205\0\u0205\0\u0205\0\u069c\0\u06cb\0\u06fa\0\u0729"+
+    "\0\u0205\0\u0758\0\u0787\0\u07b6\0\u07e5\0\u0814\0\u0205\0\u0843"+
+    "\0\u0872\0\u0205\0\u0205\0\u08a1\0\u08d0\0\u08ff\0\u0468\0\u092e"+
+    "\0\u095d\0\u0205\0\u098c\0\u09bb\0\u09ea\0\u0205\0\u0a19\0\u0a48"+
+    "\0\u0843\0\u0a77\0\u0aa6\0\u0ad5\0\u0205\0\u0b04\0\u0b33\0\u0b62"+
+    "\0\u0b91\0\u0bc0\0\u0205\0\u0bef\0\u0c1e\0\u0c4d\0\u0205";
 
   private static int [] zzUnpackRowMap() {
-    int [] result = new int[100];
+    int [] result = new int[111];
     int offset = 0;
     offset = zzUnpackRowMap(ZZ_ROWMAP_PACKED_0, offset, result);
     return result;
@@ -140,67 +143,76 @@
   private static final int [] ZZ_TRANS = zzUnpackTrans();
 
   private static final String ZZ_TRANS_PACKED_0 =
-    "\53\0\1\12\1\13\1\14\1\15\1\16\1\12\1\17"+
-    "\1\20\1\14\1\21\1\13\1\15\1\14\1\22\1\23"+
-    "\5\12\2\13\1\12\2\13\1\24\1\25\1\26\1\27"+
-    "\1\30\1\12\1\13\1\31\2\13\1\14\1\13\1\23"+
-    "\1\32\1\33\1\34\1\35\1\36\1\12\1\13\1\14"+
-    "\1\15\1\16\1\12\1\17\1\37\1\14\1\21\1\13"+
-    "\1\15\1\40\1\41\1\42\5\12\2\13\1\12\2\13"+
-    "\1\24\1\25\1\26\1\27\1\30\1\12\1\13\1\31"+
-    "\2\13\1\43\1\13\1\42\1\32\1\33\1\34\1\35"+
-    "\1\36\1\12\1\13\1\14\1\15\1\16\1\12\1\44"+
-    "\1\20\1\14\1\21\1\13\1\15\1\14\1\22\1\23"+
-    "\1\45\1\46\1\47\1\50\1\51\1\52\1\53\1\54"+
-    "\1\55\1\56\1\24\1\25\1\26\1\27\1\30\1\12"+
-    "\1\13\1\31\2\13\1\14\1\13\1\23\1\32\1\33"+
-    "\1\34\1\35\1\36\1\12\1\13\1\14\1\15\1\16"+
-    "\1\12\1\44\1\37\1\14\1\21\1\13\1\15\1\40"+
-    "\1\41\1\42\1\45\1\46\1\47\1\50\1\51\1\52"+
-    "\1\53\1\54\1\55\1\56\1\24\1\25\1\26\1\27"+
-    "\1\30\1\12\1\13\1\31\2\13\1\43\1\13\1\42"+
-    "\1\32\1\33\1\34\1\35\1\36\1\12\1\13\1\14"+
-    "\1\15\1\16\1\12\1\57\1\20\1\14\1\21\1\13"+
-    "\1\15\1\14\1\22\1\23\1\45\1\46\1\47\1\50"+
-    "\1\51\1\52\1\53\1\54\1\55\1\56\1\24\1\25"+
-    "\1\26\1\27\1\30\1\12\1\13\1\31\2\13\1\14"+
-    "\1\13\1\23\1\32\1\33\1\34\1\35\1\36\1\12"+
-    "\1\13\1\14\1\15\1\16\1\12\1\57\1\37\1\14"+
-    "\1\21\1\13\1\15\1\40\1\41\1\42\1\45\1\46"+
-    "\1\47\1\50\1\51\1\52\1\53\1\54\1\55\1\56"+
-    "\1\24\1\25\1\26\1\27\1\30\1\12\1\13\1\31"+
-    "\2\13\1\43\1\13\1\42\1\32\1\33\1\34\1\35"+
-    "\1\36\7\0\1\60\4\0\1\61\1\62\42\0\1\63"+
-    "\114\0\1\64\1\0\1\64\6\0\1\65\103\0\1\66"+
-    "\23\0\1\67\44\0\1\70\5\0\1\70\2\0\1\70"+
-    "\3\0\1\70\5\0\2\70\1\0\2\70\1\0\3\70"+
-    "\2\0\1\70\1\0\2\70\1\0\2\70\46\0\1\71"+
-    "\60\0\1\72\5\0\2\73\1\74\3\0\2\73\1\0"+
-    "\3\73\13\0\1\73\6\0\1\73\2\0\1\73\2\0"+
-    "\4\73\50\0\1\75\1\0\1\76\3\0\2\77\1\100"+
-    "\3\0\2\77\1\0\3\77\13\0\1\77\6\0\1\77"+
-    "\2\0\1\77\2\0\4\77\11\0\1\101\25\0\1\66"+
-    "\26\0\1\102\52\0\1\102\3\0\1\103\35\0\1\104"+
-    "\5\0\1\104\2\0\1\104\3\0\1\104\5\0\2\104"+
-    "\1\0\2\104\1\0\3\104\2\0\1\104\1\0\2\104"+
-    "\1\0\2\104\44\0\1\105\4\0\1\106\16\0\1\107"+
-    "\54\0\1\110\52\0\1\110\3\0\1\111\40\0\1\112"+
-    "\105\0\1\113\55\0\1\114\15\0\1\115\52\0\1\116"+
-    "\51\0\1\117\4\0\1\120\54\0\1\121\43\0\1\122"+
-    "\7\0\1\120\44\0\1\123\52\0\1\123\1\124\1\125"+
-    "\46\0\1\126\4\0\1\61\54\0\1\127\43\0\1\130"+
-    "\7\0\1\61\40\0\2\73\4\0\2\73\1\0\3\73"+
-    "\13\0\1\73\6\0\1\73\2\0\1\73\2\0\4\73"+
-    "\3\0\2\77\4\0\2\77\1\0\3\77\13\0\1\77"+
-    "\6\0\1\77\2\0\1\77\2\0\4\77\6\0\1\131"+
-    "\51\0\1\132\53\0\1\133\53\0\1\134\50\0\1\135"+
-    "\3\0\1\136\47\0\1\137\52\0\1\140\56\0\1\120"+
-    "\46\0\1\141\61\0\1\120\43\0\1\142\104\0\1\143"+
-    "\24\0\1\61\55\0\1\61\46\0\1\136\50\0\1\144"+
-    "\44\0";
+    "\17\0\1\12\2\0\1\13\34\0\1\14\1\15\1\16"+
+    "\1\17\1\20\1\14\1\21\1\22\1\16\1\23\1\15"+
+    "\1\17\1\16\1\24\1\25\1\26\2\14\1\27\5\14"+
+    "\2\15\1\14\2\15\1\30\1\31\1\32\1\33\1\34"+
+    "\1\14\1\15\1\35\2\15\1\16\1\15\1\25\1\36"+
+    "\1\37\1\40\1\41\1\42\1\14\1\15\1\16\1\17"+
+    "\1\20\1\14\1\21\1\43\1\16\1\23\1\15\1\17"+
+    "\1\44\1\45\1\46\1\26\2\14\1\27\5\14\2\15"+
+    "\1\14\2\15\1\30\1\31\1\32\1\33\1\34\1\14"+
+    "\1\15\1\35\2\15\1\47\1\15\1\46\1\36\1\37"+
+    "\1\40\1\41\1\42\1\14\1\15\1\16\1\17\1\20"+
+    "\1\14\1\50\1\22\1\16\1\23\1\15\1\17\1\16"+
+    "\1\24\1\25\1\26\2\14\1\27\1\51\1\52\1\53"+
+    "\1\54\1\55\1\56\1\57\1\60\1\61\1\62\1\30"+
+    "\1\31\1\32\1\33\1\34\1\14\1\15\1\35\2\15"+
+    "\1\16\1\15\1\25\1\36\1\37\1\40\1\41\1\42"+
+    "\1\14\1\15\1\16\1\17\1\20\1\14\1\50\1\43"+
+    "\1\16\1\23\1\15\1\17\1\44\1\45\1\46\1\26"+
+    "\2\14\1\27\1\51\1\52\1\53\1\54\1\55\1\56"+
+    "\1\57\1\60\1\61\1\62\1\30\1\31\1\32\1\33"+
+    "\1\34\1\14\1\15\1\35\2\15\1\47\1\15\1\46"+
+    "\1\36\1\37\1\40\1\41\1\42\1\14\1\15\1\16"+
+    "\1\17\1\20\1\14\1\63\1\22\1\16\1\23\1\15"+
+    "\1\17\1\16\1\24\1\25\1\26\2\14\1\27\1\51"+
+    "\1\52\1\53\1\54\1\55\1\56\1\57\1\60\1\61"+
+    "\1\62\1\30\1\31\1\32\1\33\1\34\1\14\1\15"+
+    "\1\35\2\15\1\16\1\15\1\25\1\36\1\37\1\40"+
+    "\1\41\1\42\1\14\1\15\1\16\1\17\1\20\1\14"+
+    "\1\63\1\43\1\16\1\23\1\15\1\17\1\44\1\45"+
+    "\1\46\1\26\2\14\1\27\1\51\1\52\1\53\1\54"+
+    "\1\55\1\56\1\57\1\60\1\61\1\62\1\30\1\31"+
+    "\1\32\1\33\1\34\1\14\1\15\1\35\2\15\1\47"+
+    "\1\15\1\46\1\36\1\37\1\40\1\41\1\42\7\0"+
+    "\1\64\4\0\1\65\1\66\46\0\1\67\51\0\17\70"+
+    "\2\0\36\70\17\0\1\12\171\0\1\71\1\0\1\71"+
+    "\6\0\1\72\113\0\1\73\23\0\1\74\50\0\1\75"+
+    "\5\0\1\75\2\0\1\75\3\0\1\75\11\0\2\75"+
+    "\1\0\2\75\1\0\3\75\2\0\1\75\1\0\2\75"+
+    "\1\0\2\75\12\0\1\72\11\0\1\12\104\0\1\76"+
+    "\64\0\1\77\5\0\2\100\1\101\3\0\2\100\1\0"+
+    "\3\100\4\0\1\101\12\0\1\100\6\0\1\100\2\0"+
+    "\1\100\2\0\4\100\54\0\1\102\1\0\1\103\3\0"+
+    "\2\104\1\105\3\0\2\104\1\0\3\104\4\0\1\105"+
+    "\12\0\1\104\6\0\1\104\2\0\1\104\2\0\4\104"+
+    "\11\0\1\106\31\0\1\73\26\0\1\107\56\0\1\107"+
+    "\3\0\1\110\41\0\1\111\5\0\1\111\2\0\1\111"+
+    "\3\0\1\111\11\0\2\111\1\0\2\111\1\0\3\111"+
+    "\2\0\1\111\1\0\2\111\1\0\2\111\50\0\1\112"+
+    "\4\0\1\113\16\0\1\114\60\0\1\115\56\0\1\115"+
+    "\3\0\1\116\44\0\1\117\15\0\1\117\34\0\17\70"+
+    "\1\0\1\120\1\121\35\70\43\0\1\122\61\0\1\123"+
+    "\15\0\1\124\56\0\1\125\55\0\1\126\4\0\1\127"+
+    "\10\0\1\126\47\0\1\130\47\0\1\131\7\0\1\127"+
+    "\5\0\1\131\42\0\1\132\56\0\1\132\1\133\1\134"+
+    "\52\0\1\135\4\0\1\65\10\0\1\135\47\0\1\136"+
+    "\47\0\1\137\7\0\1\65\5\0\1\137\53\0\1\140"+
+    "\37\0\17\70\1\0\1\141\1\121\35\70\2\0\2\100"+
+    "\4\0\2\100\1\0\3\100\17\0\1\100\6\0\1\100"+
+    "\2\0\1\100\2\0\4\100\3\0\2\104\4\0\2\104"+
+    "\1\0\3\104\17\0\1\104\6\0\1\104\2\0\1\104"+
+    "\2\0\4\104\6\0\1\142\55\0\1\143\15\0\1\143"+
+    "\41\0\1\144\57\0\1\145\54\0\1\146\3\0\1\147"+
+    "\11\0\1\146\41\0\1\150\56\0\1\151\72\0\1\152"+
+    "\46\0\1\127\52\0\1\153\65\0\1\127\47\0\1\154"+
+    "\114\0\1\155\24\0\1\65\61\0\1\65\42\0\17\156"+
+    "\2\0\36\156\10\0\1\147\54\0\1\157\50\0\17\156"+
+    "\1\0\1\72\36\156";
 
   private static int [] zzUnpackTrans() {
-    int [] result = new int[2494];
+    int [] result = new int[3196];
     int offset = 0;
     offset = zzUnpackTrans(ZZ_TRANS_PACKED_0, offset, result);
     return result;
@@ -238,14 +250,15 @@
   private static final int [] ZZ_ATTRIBUTE = zzUnpackAttribute();
 
   private static final String ZZ_ATTRIBUTE_PACKED_0 =
-    "\1\10\7\0\1\1\3\11\2\1\1\11\2\1\1\11"+
-    "\1\1\5\11\5\1\1\11\5\1\14\11\4\0\3\11"+
+    "\10\0\1\1\2\0\3\11\2\1\1\11\2\1\1\11"+
+    "\3\1\5\11\5\1\1\11\5\1\14\11\5\0\3\11"+
     "\1\0\1\11\1\0\2\11\1\0\3\11\4\0\1\11"+
-    "\5\0\3\11\4\0\1\1\1\0\1\11\3\0\1\11"+
-    "\4\0\1\11\4\0\1\11\2\0\1\11";
+    "\5\0\1\11\2\0\2\11\4\0\1\1\1\0\1\11"+
+    "\3\0\1\11\2\0\1\1\3\0\1\11\5\0\1\11"+
+    "\3\0\1\11";
 
   private static int [] zzUnpackAttribute() {
-    int [] result = new int[100];
+    int [] result = new int[111];
     int offset = 0;
     offset = zzUnpackAttribute(ZZ_ATTRIBUTE_PACKED_0, offset, result);
     return result;
@@ -362,7 +375,7 @@
     char [] map = new char[0x10000];
     int i = 0;  /* index in packed string  */
     int j = 0;  /* index in unpacked array */
-    while (i < 172) {
+    while (i < 184) {
       int  count = packed.charAt(i++);
       char value = packed.charAt(i++);
       do map[j++] = value; while (--count > 0);