mpdl-group: software/eXist/mpdl-modules/src/de/mpg/mpiwg/berlin/mpdl/lt/analyzer/lang/MpdlNormalizerLexIT.java annotate

annotate software/eXist/mpdl-modules/src/de/mpg/mpiwg/berlin/mpdl/lt/analyzer/lang/MpdlNormalizerLexIT.java @ 25:e9fe3186670c default tip

letzter Stand eingecheckt

author	Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de>
date	Tue, 21 May 2013 10:19:32 +0200
parents	5df60f24e997
children

rev	line source
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	1 /* The following code was generated by JFlex 1.4.3 on 21.07.11 11:22 */
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	2
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	3 /*
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	4 * Normalization rules for Italian text
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	5 * [this is a JFlex specification]
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	6 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	7 * Wolfgang Schmidle
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	8 * version 2011-07-12
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	9 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	10 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	11
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	12 package de.mpg.mpiwg.berlin.mpdl.lt.analyzer.lang;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	13
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	14
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	15 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	16 * This class is a scanner generated by
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	17 * <a href="http://www.jflex.de/">JFlex</a> 1.4.3
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	18 * on 21.07.11 11:22 from the specification file
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	19 * <tt>MpdlNormalizerLexIT.lex</tt>
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	20 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	21 public class MpdlNormalizerLexIT {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	22
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	23 /** This character denotes the end of file */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	24 public static final int YYEOF = -1;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	25
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	26 /** initial size of the lookahead buffer */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	27 private static final int ZZ_BUFFERSIZE = 16384;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	28
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	29 /** lexical states */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	30 public static final int SEARCH = 6;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	31 public static final int DICT = 4;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	32 public static final int YYINITIAL = 0;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	33 public static final int DISP = 2;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	34
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	35 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	36 * ZZ_LEXSTATE[l] is the state in the DFA for the lexical state l
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	37 * ZZ_LEXSTATE[l+1] is the state in the DFA for the lexical state l
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	38 * at the beginning of a line
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	39 * l is of the form l = 2*k, k a non negative integer
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	40 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	41 private static final int ZZ_LEXSTATE[] = {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	42 0, 0, 1, 2, 3, 4, 5, 6
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	43 };
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	44
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	45 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	46 * Translates characters to character classes
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	47 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	48 private static final String ZZ_CMAP_PACKED =
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	49 "\12\0\1\6\25\0\1\5\14\0\1\4\22\0\1\52\1\1\3\2"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	50 "\1\1\3\2\1\41\1\0\1\2\1\3\2\2\1\42\1\2\1\50"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	51 "\1\3\1\2\1\40\1\45\1\51\2\2\1\0\1\2\6\0\1\44"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	52 "\3\2\1\12\2\2\1\43\1\7\1\36\1\2\1\3\1\2\1\10"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	53 "\1\37\1\14\1\46\1\13\1\2\1\11\1\16\1\47\2\2\1\0"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	54 "\1\2\62\0\1\4\22\0\1\17\5\0\1\33\1\0\1\20\3\0"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	55 "\1\21\5\0\1\22\6\0\1\23\5\0\1\31\1\24\5\0\1\32"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	56 "\1\0\1\25\3\0\1\26\5\0\1\27\6\0\1\30\37\0\1\1"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	57 "\70\0\1\35\1\34\53\0\1\15\ufe80\0";
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	58
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	59 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	60 * Translates characters to character classes
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	61 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	62 private static final char [] ZZ_CMAP = zzUnpackCMap(ZZ_CMAP_PACKED);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	63
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	64 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	65 * Translates DFA states to action switch labels.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	66 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	67 private static final int [] ZZ_ACTION = zzUnpackAction();
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	68
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	69 private static final String ZZ_ACTION_PACKED_0 =
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	70 "\11\0\1\1\1\2\2\3\1\1\1\4\1\2\1\3"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	71 "\1\5\1\2\1\6\1\7\1\10\1\11\1\12\5\3"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	72 "\1\13\1\2\1\3\1\5\1\2\1\14\1\15\1\16"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	73 "\1\17\1\20\1\21\1\22\1\23\1\24\1\25\1\26"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	74 "\1\27\1\30\4\0\1\31\1\32\1\33\1\0\1\34"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	75 "\1\0\1\35\1\36\1\0\1\37\1\40\1\41\4\0"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	76 "\1\42\6\0\1\43\1\44\4\0\1\45\1\0\1\46"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	77 "\10\0\1\47\4\0\1\45\2\0\1\50";
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	78
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	79 private static int [] zzUnpackAction() {
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	80 int [] result = new int[100];
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	81 int offset = 0;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	82 offset = zzUnpackAction(ZZ_ACTION_PACKED_0, offset, result);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	83 return result;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	84 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	85
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	86 private static int zzUnpackAction(String packed, int offset, int [] result) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	87 int i = 0; /* index in packed string */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	88 int j = offset; /* index in unpacked array */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	89 int l = packed.length();
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	90 while (i < l) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	91 int count = packed.charAt(i++);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	92 int value = packed.charAt(i++);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	93 do result[j++] = value; while (--count > 0);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	94 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	95 return j;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	96 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	97
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	98
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	99 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	100 * Translates a state to a row index in the transition table
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	101 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	102 private static final int [] ZZ_ROWMAP = zzUnpackRowMap();
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	103
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	104 private static final String ZZ_ROWMAP_PACKED_0 =
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	105 "\0\0\0\53\0\126\0\201\0\254\0\327\0\u0102\0\u012d"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	106 "\0\u0158\0\0\0\0\0\0\0\u0183\0\u01ae\0\0\0\u01d9"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	107 "\0\u0204\0\0\0\u022f\0\0\0\0\0\0\0\0\0\0"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	108 "\0\u025a\0\u0285\0\u02b0\0\u02db\0\u0306\0\0\0\u0331\0\u035c"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	109 "\0\u0387\0\u03b2\0\u03dd\0\0\0\0\0\0\0\0\0\0"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	110 "\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\u0408"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	111 "\0\u0433\0\u045e\0\u0489\0\0\0\0\0\0\0\u04b4\0\0"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	112 "\0\u04df\0\0\0\0\0\u050a\0\0\0\0\0\0\0\u0535"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	113 "\0\u0560\0\u058b\0\u05b6\0\0\0\u05e1\0\u060c\0\u0637\0\u0662"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	114 "\0\u068d\0\0\0\0\0\0\0\u06b8\0\u06e3\0\u070e\0\u035c"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	115 "\0\u0739\0\u0764\0\0\0\u078f\0\u07ba\0\u07e5\0\0\0\u0810"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	116 "\0\u083b\0\u0866\0\u0891\0\0\0\u08bc\0\u08e7\0\u0912\0\u093d"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	117 "\0\0\0\u0968\0\u0993\0\0";
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	118
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	119 private static int [] zzUnpackRowMap() {
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	120 int [] result = new int[100];
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	121 int offset = 0;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	122 offset = zzUnpackRowMap(ZZ_ROWMAP_PACKED_0, offset, result);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	123 return result;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	124 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	125
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	126 private static int zzUnpackRowMap(String packed, int offset, int [] result) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	127 int i = 0; /* index in packed string */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	128 int j = offset; /* index in unpacked array */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	129 int l = packed.length();
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	130 while (i < l) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	131 int high = packed.charAt(i++) << 16;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	132 result[j++] = high \| packed.charAt(i++);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	133 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	134 return j;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	135 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	136
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	137 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	138 * The transition table of the DFA
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	139 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	140 private static final int [] ZZ_TRANS = zzUnpackTrans();
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	141
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	142 private static final String ZZ_TRANS_PACKED_0 =
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	143 "\53\0\1\12\1\13\1\14\1\15\1\16\1\12\1\17"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	144 "\1\20\1\14\1\21\1\13\1\15\1\14\1\22\1\23"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	145 "\5\12\2\13\1\12\2\13\1\24\1\25\1\26\1\27"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	146 "\1\30\1\12\1\13\1\31\2\13\1\14\1\13\1\23"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	147 "\1\32\1\33\1\34\1\35\1\36\1\12\1\13\1\14"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	148 "\1\15\1\16\1\12\1\17\1\37\1\14\1\21\1\13"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	149 "\1\15\1\40\1\41\1\42\5\12\2\13\1\12\2\13"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	150 "\1\24\1\25\1\26\1\27\1\30\1\12\1\13\1\31"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	151 "\2\13\1\43\1\13\1\42\1\32\1\33\1\34\1\35"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	152 "\1\36\1\12\1\13\1\14\1\15\1\16\1\12\1\44"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	153 "\1\20\1\14\1\21\1\13\1\15\1\14\1\22\1\23"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	154 "\1\45\1\46\1\47\1\50\1\51\1\52\1\53\1\54"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	155 "\1\55\1\56\1\24\1\25\1\26\1\27\1\30\1\12"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	156 "\1\13\1\31\2\13\1\14\1\13\1\23\1\32\1\33"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	157 "\1\34\1\35\1\36\1\12\1\13\1\14\1\15\1\16"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	158 "\1\12\1\44\1\37\1\14\1\21\1\13\1\15\1\40"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	159 "\1\41\1\42\1\45\1\46\1\47\1\50\1\51\1\52"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	160 "\1\53\1\54\1\55\1\56\1\24\1\25\1\26\1\27"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	161 "\1\30\1\12\1\13\1\31\2\13\1\43\1\13\1\42"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	162 "\1\32\1\33\1\34\1\35\1\36\1\12\1\13\1\14"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	163 "\1\15\1\16\1\12\1\57\1\20\1\14\1\21\1\13"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	164 "\1\15\1\14\1\22\1\23\1\45\1\46\1\47\1\50"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	165 "\1\51\1\52\1\53\1\54\1\55\1\56\1\24\1\25"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	166 "\1\26\1\27\1\30\1\12\1\13\1\31\2\13\1\14"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	167 "\1\13\1\23\1\32\1\33\1\34\1\35\1\36\1\12"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	168 "\1\13\1\14\1\15\1\16\1\12\1\57\1\37\1\14"+
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	169 "\1\21\1\13\1\15\1\40\1\41\1\42\1\45\1\46"+
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	170 "\1\47\1\50\1\51\1\52\1\53\1\54\1\55\1\56"+
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	171 "\1\24\1\25\1\26\1\27\1\30\1\12\1\13\1\31"+
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	172 "\2\13\1\43\1\13\1\42\1\32\1\33\1\34\1\35"+
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	173 "\1\36\7\0\1\60\4\0\1\61\1\62\42\0\1\63"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	174 "\114\0\1\64\1\0\1\64\6\0\1\65\103\0\1\66"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	175 "\23\0\1\67\44\0\1\70\5\0\1\70\2\0\1\70"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	176 "\3\0\1\70\5\0\2\70\1\0\2\70\1\0\3\70"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	177 "\2\0\1\70\1\0\2\70\1\0\2\70\46\0\1\71"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	178 "\60\0\1\72\5\0\2\73\1\74\3\0\2\73\1\0"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	179 "\3\73\13\0\1\73\6\0\1\73\2\0\1\73\2\0"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	180 "\4\73\50\0\1\75\1\0\1\76\3\0\2\77\1\100"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	181 "\3\0\2\77\1\0\3\77\13\0\1\77\6\0\1\77"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	182 "\2\0\1\77\2\0\4\77\11\0\1\101\25\0\1\66"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	183 "\26\0\1\102\52\0\1\102\3\0\1\103\35\0\1\104"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	184 "\5\0\1\104\2\0\1\104\3\0\1\104\5\0\2\104"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	185 "\1\0\2\104\1\0\3\104\2\0\1\104\1\0\2\104"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	186 "\1\0\2\104\44\0\1\105\4\0\1\106\16\0\1\107"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	187 "\54\0\1\110\52\0\1\110\3\0\1\111\40\0\1\112"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	188 "\105\0\1\113\55\0\1\114\15\0\1\115\52\0\1\116"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	189 "\51\0\1\117\4\0\1\120\54\0\1\121\43\0\1\122"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	190 "\7\0\1\120\44\0\1\123\52\0\1\123\1\124\1\125"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	191 "\46\0\1\126\4\0\1\61\54\0\1\127\43\0\1\130"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	192 "\7\0\1\61\40\0\2\73\4\0\2\73\1\0\3\73"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	193 "\13\0\1\73\6\0\1\73\2\0\1\73\2\0\4\73"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	194 "\3\0\2\77\4\0\2\77\1\0\3\77\13\0\1\77"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	195 "\6\0\1\77\2\0\1\77\2\0\4\77\6\0\1\131"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	196 "\51\0\1\132\53\0\1\133\53\0\1\134\50\0\1\135"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	197 "\3\0\1\136\47\0\1\137\52\0\1\140\56\0\1\120"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	198 "\46\0\1\141\61\0\1\120\43\0\1\142\104\0\1\143"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	199 "\24\0\1\61\55\0\1\61\46\0\1\136\50\0\1\144"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	200 "\44\0";
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	201
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	202 private static int [] zzUnpackTrans() {
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	203 int [] result = new int[2494];
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	204 int offset = 0;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	205 offset = zzUnpackTrans(ZZ_TRANS_PACKED_0, offset, result);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	206 return result;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	207 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	208
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	209 private static int zzUnpackTrans(String packed, int offset, int [] result) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	210 int i = 0; /* index in packed string */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	211 int j = offset; /* index in unpacked array */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	212 int l = packed.length();
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	213 while (i < l) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	214 int count = packed.charAt(i++);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	215 int value = packed.charAt(i++);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	216 value--;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	217 do result[j++] = value; while (--count > 0);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	218 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	219 return j;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	220 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	221
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	222
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	223 /* error codes */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	224 private static final int ZZ_UNKNOWN_ERROR = 0;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	225 private static final int ZZ_NO_MATCH = 1;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	226 private static final int ZZ_PUSHBACK_2BIG = 2;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	227
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	228 /* error messages for the codes above */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	229 private static final String ZZ_ERROR_MSG[] = {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	230 "Unkown internal scanner error",
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	231 "Error: could not match input",
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	232 "Error: pushback value was too large"
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	233 };
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	234
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	235 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	236 * ZZ_ATTRIBUTE[aState] contains the attributes of state <code>aState</code>
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	237 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	238 private static final int [] ZZ_ATTRIBUTE = zzUnpackAttribute();
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	239
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	240 private static final String ZZ_ATTRIBUTE_PACKED_0 =
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	241 "\1\10\7\0\1\1\3\11\2\1\1\11\2\1\1\11"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	242 "\1\1\5\11\5\1\1\11\5\1\14\11\4\0\3\11"+
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	243 "\1\0\1\11\1\0\2\11\1\0\3\11\4\0\1\11"+
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	244 "\5\0\3\11\4\0\1\1\1\0\1\11\3\0\1\11"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	245 "\4\0\1\11\4\0\1\11\2\0\1\11";
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	246
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	247 private static int [] zzUnpackAttribute() {
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	248 int [] result = new int[100];
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	249 int offset = 0;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	250 offset = zzUnpackAttribute(ZZ_ATTRIBUTE_PACKED_0, offset, result);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	251 return result;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	252 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	253
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	254 private static int zzUnpackAttribute(String packed, int offset, int [] result) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	255 int i = 0; /* index in packed string */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	256 int j = offset; /* index in unpacked array */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	257 int l = packed.length();
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	258 while (i < l) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	259 int count = packed.charAt(i++);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	260 int value = packed.charAt(i++);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	261 do result[j++] = value; while (--count > 0);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	262 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	263 return j;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	264 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	265
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	266 /** the input device */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	267 private java.io.Reader zzReader;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	268
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	269 /** the current state of the DFA */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	270 private int zzState;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	271
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	272 /** the current lexical state */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	273 private int zzLexicalState = YYINITIAL;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	274
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	275 /** this buffer contains the current text to be matched and is
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	276 the source of the yytext() string */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	277 private char zzBuffer[] = new char[ZZ_BUFFERSIZE];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	278
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	279 /** the textposition at the last accepting state */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	280 private int zzMarkedPos;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	281
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	282 /** the current text position in the buffer */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	283 private int zzCurrentPos;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	284
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	285 /** startRead marks the beginning of the yytext() string in the buffer */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	286 private int zzStartRead;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	287
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	288 /** endRead marks the last character in the buffer, that has been read
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	289 from input */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	290 private int zzEndRead;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	291
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	292 /** number of newlines encountered up to the start of the matched text */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	293 private int yyline;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	294
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	295 /** the number of characters up to the start of the matched text */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	296 private int yychar;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	297
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	298 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	299 * the number of characters from the last newline up to the start of the
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	300 * matched text
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	301 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	302 private int yycolumn;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	303
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	304 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	305 * zzAtBOL == true <=> the scanner is currently at the beginning of a line
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	306 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	307 private boolean zzAtBOL = true;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	308
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	309 /** zzAtEOF == true <=> the scanner is at the EOF */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	310 private boolean zzAtEOF;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	311
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	312 /** denotes if the user-EOF-code has already been executed */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	313 private boolean zzEOFDone;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	314
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	315 /** For the backwards DFA of general lookahead statements */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	316 private boolean [] zzFin = new boolean [ZZ_BUFFERSIZE+1];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	317
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	318 /* user code: */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	319 private static final int CONS = 1;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	320 private static final int VOWEL = 2;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	321 private int cv = 0; // consonant = 1, vowel = 2, everything else = 0
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	322
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	323 private String original = "";
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	324 private String normalized = "";
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	325 private int problem = 0;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	326
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	327 private void add (String norm) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	328 original += yytext();
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	329 normalized += norm;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	330 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	331
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	332 private static final String LB = "[\u002d\u00ad] ";
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	333
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	334
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	335 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	336 * Creates a new scanner
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	337 * There is also a java.io.InputStream version of this constructor.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	338 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	339 * @param in the java.io.Reader to read input from.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	340 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	341 public MpdlNormalizerLexIT(java.io.Reader in) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	342 this.zzReader = in;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	343 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	344
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	345 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	346 * Creates a new scanner.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	347 * There is also java.io.Reader version of this constructor.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	348 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	349 * @param in the java.io.Inputstream to read input from.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	350 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	351 public MpdlNormalizerLexIT(java.io.InputStream in) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	352 this(new java.io.InputStreamReader(in));
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	353 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	354
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	355 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	356 * Unpacks the compressed character translation table.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	357 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	358 * @param packed the packed character translation table
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	359 * @return the unpacked character translation table
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	360 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	361 private static char [] zzUnpackCMap(String packed) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	362 char [] map = new char[0x10000];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	363 int i = 0; /* index in packed string */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	364 int j = 0; /* index in unpacked array */
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	365 while (i < 172) {
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	366 int count = packed.charAt(i++);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	367 char value = packed.charAt(i++);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	368 do map[j++] = value; while (--count > 0);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	369 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	370 return map;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	371 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	372
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	373
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	374 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	375 * Refills the input buffer.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	376 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	377 * @return <code>false</code>, iff there was new input.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	378 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	379 * @exception java.io.IOException if any I/O-Error occurs
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	380 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	381 private boolean zzRefill() throws java.io.IOException {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	382
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	383 /* first: make room (if you can) */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	384 if (zzStartRead > 0) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	385 System.arraycopy(zzBuffer, zzStartRead,
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	386 zzBuffer, 0,
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	387 zzEndRead-zzStartRead);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	388
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	389 /* translate stored positions */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	390 zzEndRead-= zzStartRead;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	391 zzCurrentPos-= zzStartRead;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	392 zzMarkedPos-= zzStartRead;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	393 zzStartRead = 0;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	394 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	395
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	396 /* is the buffer big enough? */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	397 if (zzCurrentPos >= zzBuffer.length) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	398 /* if not: blow it up */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	399 char newBuffer[] = new char[zzCurrentPos*2];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	400 System.arraycopy(zzBuffer, 0, newBuffer, 0, zzBuffer.length);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	401 zzBuffer = newBuffer;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	402 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	403
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	404 /* finally: fill the buffer with new input */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	405 int numRead = zzReader.read(zzBuffer, zzEndRead,
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	406 zzBuffer.length-zzEndRead);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	407
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	408 if (numRead > 0) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	409 zzEndRead+= numRead;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	410 return false;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	411 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	412 // unlikely but not impossible: read 0 characters, but not at end of stream
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	413 if (numRead == 0) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	414 int c = zzReader.read();
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	415 if (c == -1) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	416 return true;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	417 } else {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	418 zzBuffer[zzEndRead++] = (char) c;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	419 return false;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	420 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	421 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	422
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	423 // numRead < 0
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	424 return true;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	425 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	426
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	427
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	428 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	429 * Closes the input stream.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	430 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	431 public final void yyclose() throws java.io.IOException {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	432 zzAtEOF = true; /* indicate end of file */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	433 zzEndRead = zzStartRead; /* invalidate buffer */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	434
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	435 if (zzReader != null)
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	436 zzReader.close();
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	437 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	438
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	439
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	440 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	441 * Resets the scanner to read from a new input stream.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	442 * Does not close the old reader.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	443 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	444 * All internal variables are reset, the old input stream
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	445 * <b>cannot</b> be reused (internal buffer is discarded and lost).
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	446 * Lexical state is set to <tt>ZZ_INITIAL</tt>.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	447 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	448 * @param reader the new input stream
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	449 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	450 public final void yyreset(java.io.Reader reader) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	451 zzReader = reader;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	452 zzAtBOL = true;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	453 zzAtEOF = false;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	454 zzEOFDone = false;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	455 zzEndRead = zzStartRead = 0;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	456 zzCurrentPos = zzMarkedPos = 0;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	457 yyline = yychar = yycolumn = 0;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	458 zzLexicalState = YYINITIAL;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	459 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	460
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	461
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	462 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	463 * Returns the current lexical state.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	464 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	465 public final int yystate() {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	466 return zzLexicalState;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	467 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	468
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	469
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	470 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	471 * Enters a new lexical state
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	472 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	473 * @param newState the new lexical state
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	474 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	475 public final void yybegin(int newState) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	476 zzLexicalState = newState;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	477 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	478
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	479
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	480 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	481 * Returns the text matched by the current regular expression.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	482 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	483 public final String yytext() {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	484 return new String( zzBuffer, zzStartRead, zzMarkedPos-zzStartRead );
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	485 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	486
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	487
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	488 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	489 * Returns the character at position <tt>pos</tt> from the
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	490 * matched text.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	491 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	492 * It is equivalent to yytext().charAt(pos), but faster
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	493 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	494 * @param pos the position of the character to fetch.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	495 * A value from 0 to yylength()-1.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	496 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	497 * @return the character at position pos
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	498 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	499 public final char yycharat(int pos) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	500 return zzBuffer[zzStartRead+pos];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	501 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	502
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	503
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	504 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	505 * Returns the length of the matched text region.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	506 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	507 public final int yylength() {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	508 return zzMarkedPos-zzStartRead;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	509 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	510
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	511
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	512 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	513 * Reports an error that occured while scanning.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	514 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	515 * In a wellformed scanner (no or only correct usage of
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	516 * yypushback(int) and a match-all fallback rule) this method
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	517 * will only be called with things that "Can't Possibly Happen".
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	518 * If this method is called, something is seriously wrong
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	519 * (e.g. a JFlex bug producing a faulty scanner etc.).
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	520 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	521 * Usual syntax/scanner level error handling should be done
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	522 * in error fallback rules.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	523 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	524 * @param errorCode the code of the errormessage to display
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	525 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	526 private void zzScanError(int errorCode) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	527 String message;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	528 try {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	529 message = ZZ_ERROR_MSG[errorCode];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	530 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	531 catch (ArrayIndexOutOfBoundsException e) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	532 message = ZZ_ERROR_MSG[ZZ_UNKNOWN_ERROR];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	533 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	534
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	535 throw new Error(message);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	536 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	537
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	538
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	539 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	540 * Pushes the specified amount of characters back into the input stream.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	541 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	542 * They will be read again by then next call of the scanning method
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	543 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	544 * @param number the number of characters to be read again.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	545 * This number must not be greater than yylength()!
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	546 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	547 public void yypushback(int number) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	548 if ( number > yylength() )
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	549 zzScanError(ZZ_PUSHBACK_2BIG);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	550
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	551 zzMarkedPos -= number;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	552 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	553
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	554
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	555 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	556 * Resumes scanning until the next regular expression is matched,
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	557 * the end of input is encountered or an I/O-Error occurs.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	558 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	559 * @return the next token
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	560 * @exception java.io.IOException if any I/O-Error occurs
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	561 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	562 public java.lang.String yylex() throws java.io.IOException {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	563 int zzInput;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	564 int zzAction;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	565
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	566 // cached fields:
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	567 int zzCurrentPosL;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	568 int zzMarkedPosL;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	569 int zzEndReadL = zzEndRead;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	570 char [] zzBufferL = zzBuffer;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	571 char [] zzCMapL = ZZ_CMAP;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	572
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	573 int [] zzTransL = ZZ_TRANS;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	574 int [] zzRowMapL = ZZ_ROWMAP;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	575 int [] zzAttrL = ZZ_ATTRIBUTE;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	576
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	577 while (true) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	578 zzMarkedPosL = zzMarkedPos;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	579
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	580 if (zzMarkedPosL > zzStartRead) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	581 switch (zzBufferL[zzMarkedPosL-1]) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	582 case '\n':
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	583 case '\u000B':
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	584 case '\u000C':
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	585 case '\u0085':
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	586 case '\u2028':
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	587 case '\u2029':
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	588 zzAtBOL = true;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	589 break;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	590 case '\r':
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	591 if (zzMarkedPosL < zzEndReadL)
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	592 zzAtBOL = zzBufferL[zzMarkedPosL] != '\n';
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	593 else if (zzAtEOF)
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	594 zzAtBOL = false;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	595 else {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	596 boolean eof = zzRefill();
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	597 zzMarkedPosL = zzMarkedPos;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	598 zzEndReadL = zzEndRead;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	599 zzBufferL = zzBuffer;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	600 if (eof)
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	601 zzAtBOL = false;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	602 else
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	603 zzAtBOL = zzBufferL[zzMarkedPosL] != '\n';
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	604 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	605 break;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	606 default:
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	607 zzAtBOL = false;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	608 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	609 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	610 zzAction = -1;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	611
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	612 zzCurrentPosL = zzCurrentPos = zzStartRead = zzMarkedPosL;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	613
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	614 if (zzAtBOL)
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	615 zzState = ZZ_LEXSTATE[zzLexicalState+1];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	616 else
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	617 zzState = ZZ_LEXSTATE[zzLexicalState];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	618
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	619
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	620 zzForAction: {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	621 while (true) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	622
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	623 if (zzCurrentPosL < zzEndReadL)
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	624 zzInput = zzBufferL[zzCurrentPosL++];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	625 else if (zzAtEOF) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	626 zzInput = YYEOF;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	627 break zzForAction;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	628 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	629 else {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	630 // store back cached positions
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	631 zzCurrentPos = zzCurrentPosL;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	632 zzMarkedPos = zzMarkedPosL;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	633 boolean eof = zzRefill();
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	634 // get translated positions and possibly new buffer
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	635 zzCurrentPosL = zzCurrentPos;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	636 zzMarkedPosL = zzMarkedPos;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	637 zzBufferL = zzBuffer;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	638 zzEndReadL = zzEndRead;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	639 if (eof) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	640 zzInput = YYEOF;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	641 break zzForAction;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	642 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	643 else {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	644 zzInput = zzBufferL[zzCurrentPosL++];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	645 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	646 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	647 int zzNext = zzTransL[ zzRowMapL[zzState] + zzCMapL[zzInput] ];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	648 if (zzNext == -1) break zzForAction;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	649 zzState = zzNext;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	650
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	651 int zzAttributes = zzAttrL[zzState];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	652 if ( (zzAttributes & 1) == 1 ) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	653 zzAction = zzState;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	654 zzMarkedPosL = zzCurrentPosL;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	655 if ( (zzAttributes & 8) == 8 ) break zzForAction;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	656 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	657
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	658 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	659 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	660
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	661 // store back cached position
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	662 zzMarkedPos = zzMarkedPosL;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	663
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	664 switch (zzAction < 0 ? zzAction : ZZ_ACTION[zzAction]) {
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	665 case 33:
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	666 // lookahead expression with fixed base length
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	667 zzMarkedPos = zzStartRead + 1;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	668 { cv = CONS; add("U");
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	669 }
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	670 case 41: break;
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	671 case 14:
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	672 { add("Á");
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	673 }
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	674 case 42: break;
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	675 case 40:
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	676 // lookahead expression with fixed lookahead length
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	677 yypushback(1);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	678 { add(yytext());
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	679 }
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	680 case 43: break;
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	681 case 39:
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	682 // lookahead expression with fixed base length
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	683 zzMarkedPos = zzStartRead + 3;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	684 { add(yytext());
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	685 }
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	686 case 44: break;
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	687 case 38:
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	688 // lookahead expression with fixed base length
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	689 zzMarkedPos = zzStartRead + 2;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	690 { add(yytext());
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	691 }
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	692 case 45: break;
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	693 case 26:
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	694 { add(yytext());
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	695 }
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	696 case 46: break;
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	697 case 21:
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	698 { add("í");
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	699 }
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	700 case 47: break;
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	701 case 8:
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	702 { cv = VOWEL; add("AE");
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	703 }
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	704 case 48: break;
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	705 case 11:
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	706 { problem = 1; cv = 0; add(yytext());
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	707 }
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	708 case 49: break;
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	709 case 4:
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	710 { switch (problem) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	711 case 1: return original;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	712 default: return normalized;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	713 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	714 }
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	715 case 50: break;
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	716 case 30:
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	717 // lookahead expression with fixed base length
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	718 zzMarkedPos = zzStartRead + 1;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	719 { cv = CONS; add("u");
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	720 }
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	721 case 51: break;
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	722 case 19:
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	723 { add("á");
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	724 }
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	725 case 52: break;
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	726 case 1:
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	727 { cv = 0; add(yytext());
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	728 }
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	729 case 53: break;
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	730 case 24:
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	731 { switch (problem) {
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	732 case 1: return original;
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	733 default: return normalized.replaceAll(LB, "").toLowerCase();
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	734 }
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	735 }
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	736 case 54: break;
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	737 case 34:
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	738 // lookahead expression with fixed base length
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	739 zzMarkedPos = zzStartRead + 1;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	740 { cv = VOWEL; add(yytext().replaceAll("u", "v").replaceAll("U", "V"));
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	741 }
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	742 case 55: break;
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	743 case 35:
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	744 { cv = VOWEL; add("zio");
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	745 }
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	746 case 56: break;
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	747 case 10:
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	748 { cv = VOWEL; add("OE");
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	749 }
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	750 case 57: break;
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	751 case 18:
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	752 { add("Ú");
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	753 }
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	754 case 58: break;
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	755 case 37:
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	756 // general lookahead, find correct zzMarkedPos
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	757 { int zzFState = 7;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	758 int zzFPos = zzStartRead;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	759 if (zzFin.length <= zzBufferL.length) { zzFin = new boolean[zzBufferL.length+1]; }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	760 boolean zzFinL[] = zzFin;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	761 while (zzFState != -1 && zzFPos < zzMarkedPos) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	762 if ((zzAttrL[zzFState] & 1) == 1) { zzFinL[zzFPos] = true; }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	763 zzInput = zzBufferL[zzFPos++];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	764 zzFState = zzTransL[ zzRowMapL[zzFState] + zzCMapL[zzInput] ];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	765 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	766 if (zzFState != -1 && (zzAttrL[zzFState] & 1) == 1) { zzFinL[zzFPos] = true; }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	767
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	768 zzFState = 8;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	769 zzFPos = zzMarkedPos;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	770 while (!zzFinL[zzFPos] \|\| (zzAttrL[zzFState] & 1) != 1) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	771 zzInput = zzBufferL[--zzFPos];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	772 zzFState = zzTransL[ zzRowMapL[zzFState] + zzCMapL[zzInput] ];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	773 };
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	774 zzMarkedPos = zzFPos;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	775 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	776 { cv = VOWEL; add(yytext().replace("ſ", "s"));
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	777 }
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	778 case 59: break;
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	779 case 3:
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	780 { cv = CONS; add(yytext());
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	781 }
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	782 case 60: break;
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	783 case 32:
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	784 { cv = CONS; add("QU");
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	785 }
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	786 case 61: break;
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	787 case 15:
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	788 { add("É");
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	789 }
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	790 case 62: break;
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	791 case 28:
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	792 // lookahead expression with fixed base length
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	793 zzMarkedPos = zzStartRead + 1;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	794 { switch(cv) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	795 case VOWEL: add(yytext().replace("u", "v").replace("U", "V")); break;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	796 default: cv = VOWEL; add(yytext()); break;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	797 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	798 }
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	799 case 63: break;
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	800 case 6:
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	801 { cv = CONS; add("ss");
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	802 }
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	803 case 64: break;
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	804 case 5:
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	805 { cv = CONS; add("s");
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	806 }
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	807 case 65: break;
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	808 case 13:
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	809 { switch (problem) {
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	810 case 1: return "";
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	811 default: return normalized.replaceAll(LB, "");
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	812 }
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	813 }
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	814 case 66: break;
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	815 case 36:
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	816 { cv = VOWEL; add("ZIO");
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	817 }
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	818 case 67: break;
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	819 case 2:
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	820 { cv = VOWEL; add(yytext());
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	821 }
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	822 case 68: break;
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	823 case 17:
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	824 { add("Ó");
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	825 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	826 case 69: break;
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	827 case 23:
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	828 { add("ú");
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	829 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	830 case 70: break;
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	831 case 31:
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	832 { cv = CONS; add("Qu");
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	833 }
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	834 case 71: break;
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	835 case 20:
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	836 { add("é");
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	837 }
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	838 case 72: break;
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	839 case 7:
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	840 { cv = VOWEL; add("ae");
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	841 }
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	842 case 73: break;
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	843 case 12:
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	844 { add("");
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	845 }
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	846 case 74: break;
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	847 case 22:
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	848 { add("ó");
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	849 }
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	850 case 75: break;
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	851 case 9:
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	852 { cv = VOWEL; add("oe");
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	853 }
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	854 case 76: break;
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	855 case 29:
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	856 { cv = CONS; add("qu");
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	857 }
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	858 case 77: break;
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	859 case 25:
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	860 { switch(cv) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	861 case CONS: add(yytext().replace("v", "u").replace("V", "U")); break;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	862 default: cv = CONS; add(yytext()); break;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	863 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	864 }
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	865 case 78: break;
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	866 case 27:
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	867 { cv = VOWEL; add("ii");
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	868 }
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	869 case 79: break;
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	870 case 16:
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	871 { add("Í");
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	872 }
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	873 case 80: break;
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	874 default:
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	875 if (zzInput == YYEOF && zzStartRead == zzCurrentPos) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	876 zzAtEOF = true;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	877 return null;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	878 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	879 else {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	880 zzScanError(ZZ_NO_MATCH);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	881 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	882 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	883 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	884 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	885
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	886
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	887 }

Mercurial > hg > mpdl-group

annotate software/eXist/mpdl-modules/src/de/mpg/mpiwg/berlin/mpdl/lt/analyzer/lang/MpdlNormalizerLexIT.java @ 25:e9fe3186670c default tip