mpdl-group: software/eXist/mpdl-modules/src/de/mpg/mpiwg/berlin/mpdl/lt/analyzer/lang/MpdlNormalizerLexFR.java annotate

annotate software/eXist/mpdl-modules/src/de/mpg/mpiwg/berlin/mpdl/lt/analyzer/lang/MpdlNormalizerLexFR.java @ 9:1ec29fdd0db8

neue .lex Dateien f?r Normalisierung / externe Objekte update

author	Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de>
date	Tue, 22 Feb 2011 16:03:45 +0100
parents
children	5df60f24e997

rev	line source
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	1 /* The following code was generated by JFlex 1.4.3 on 22.02.11 12:03 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	2
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	3 /*
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	4 * Normalization rules for French text
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	5 * [this is a JFlex specification]
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	6 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	7 * Wolfgang Schmidle
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	8 * version 0.96
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	9 * 2011-02-21
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	10 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	11 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	12
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	13 package de.mpg.mpiwg.berlin.mpdl.lt.analyzer.lang;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	14
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	15
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	16 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	17 * This class is a scanner generated by
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	18 * <a href="http://www.jflex.de/">JFlex</a> 1.4.3
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	19 * on 22.02.11 12:03 from the specification file
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	20 * <tt>MpdlNormalizerLexFR.lex</tt>
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	21 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	22 public class MpdlNormalizerLexFR {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	23
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	24 /** This character denotes the end of file */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	25 public static final int YYEOF = -1;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	26
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	27 /** initial size of the lookahead buffer */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	28 private static final int ZZ_BUFFERSIZE = 16384;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	29
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	30 /** lexical states */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	31 public static final int SEARCH = 6;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	32 public static final int DICT = 4;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	33 public static final int YYINITIAL = 0;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	34 public static final int CELEX = 8;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	35 public static final int DISP = 2;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	36
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	37 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	38 * ZZ_LEXSTATE[l] is the state in the DFA for the lexical state l
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	39 * ZZ_LEXSTATE[l+1] is the state in the DFA for the lexical state l
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	40 * at the beginning of a line
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	41 * l is of the form l = 2*k, k a non negative integer
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	42 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	43 private static final int ZZ_LEXSTATE[] = {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	44 0, 0, 1, 1, 2, 2, 1, 1, 3, 3
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	45 };
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	46
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	47 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	48 * Translates characters to character classes
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	49 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	50 private static final String ZZ_CMAP_PACKED =
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	51 "\12\0\1\1\65\0\1\15\32\2\6\0\32\2\144\0\1\4\3\7"+
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	52 "\3\0\1\5\1\0\3\10\1\0\3\11\3\0\3\12\4\0\3\13"+
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	53 "\126\0\2\6\53\0\1\3\u1e99\0\1\14\udfe6\0";
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	54
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	55 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	56 * Translates characters to character classes
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	57 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	58 private static final char [] ZZ_CMAP = zzUnpackCMap(ZZ_CMAP_PACKED);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	59
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	60 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	61 * Translates DFA states to action switch labels.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	62 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	63 private static final int [] ZZ_ACTION = zzUnpackAction();
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	64
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	65 private static final String ZZ_ACTION_PACKED_0 =
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	66 "\4\0\1\1\1\2\1\3\1\4\1\5\1\6\1\7"+
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	67 "\1\10\1\11\1\12\1\13\1\14\1\15\1\16";
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	68
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	69 private static int [] zzUnpackAction() {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	70 int [] result = new int[18];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	71 int offset = 0;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	72 offset = zzUnpackAction(ZZ_ACTION_PACKED_0, offset, result);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	73 return result;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	74 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	75
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	76 private static int zzUnpackAction(String packed, int offset, int [] result) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	77 int i = 0; /* index in packed string */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	78 int j = offset; /* index in unpacked array */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	79 int l = packed.length();
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	80 while (i < l) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	81 int count = packed.charAt(i++);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	82 int value = packed.charAt(i++);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	83 do result[j++] = value; while (--count > 0);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	84 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	85 return j;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	86 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	87
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	88
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	89 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	90 * Translates a state to a row index in the transition table
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	91 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	92 private static final int [] ZZ_ROWMAP = zzUnpackRowMap();
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	93
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	94 private static final String ZZ_ROWMAP_PACKED_0 =
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	95 "\0\0\0\16\0\34\0\52\0\70\0\70\0\70\0\70"+
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	96 "\0\70\0\70\0\70\0\70\0\70\0\70\0\70\0\70"+
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	97 "\0\70\0\70";
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	98
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	99 private static int [] zzUnpackRowMap() {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	100 int [] result = new int[18];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	101 int offset = 0;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	102 offset = zzUnpackRowMap(ZZ_ROWMAP_PACKED_0, offset, result);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	103 return result;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	104 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	105
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	106 private static int zzUnpackRowMap(String packed, int offset, int [] result) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	107 int i = 0; /* index in packed string */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	108 int j = offset; /* index in unpacked array */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	109 int l = packed.length();
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	110 while (i < l) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	111 int high = packed.charAt(i++) << 16;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	112 result[j++] = high \| packed.charAt(i++);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	113 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	114 return j;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	115 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	116
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	117 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	118 * The transition table of the DFA
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	119 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	120 private static final int [] ZZ_TRANS = zzUnpackTrans();
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	121
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	122 private static final String ZZ_TRANS_PACKED_0 =
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	123 "\1\5\1\0\13\5\1\6\1\5\1\7\1\5\1\10"+
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	124 "\1\11\1\12\7\5\1\6\1\5\1\13\1\5\1\10"+
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	125 "\1\11\1\12\7\5\2\6\1\13\1\5\1\10\1\11"+
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	126 "\1\12\1\14\1\15\1\16\1\17\1\20\1\21\1\22"+
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	127 "\1\6\16\0";
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	128
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	129 private static int [] zzUnpackTrans() {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	130 int [] result = new int[70];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	131 int offset = 0;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	132 offset = zzUnpackTrans(ZZ_TRANS_PACKED_0, offset, result);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	133 return result;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	134 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	135
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	136 private static int zzUnpackTrans(String packed, int offset, int [] result) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	137 int i = 0; /* index in packed string */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	138 int j = offset; /* index in unpacked array */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	139 int l = packed.length();
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	140 while (i < l) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	141 int count = packed.charAt(i++);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	142 int value = packed.charAt(i++);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	143 value--;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	144 do result[j++] = value; while (--count > 0);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	145 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	146 return j;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	147 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	148
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	149
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	150 /* error codes */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	151 private static final int ZZ_UNKNOWN_ERROR = 0;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	152 private static final int ZZ_NO_MATCH = 1;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	153 private static final int ZZ_PUSHBACK_2BIG = 2;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	154
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	155 /* error messages for the codes above */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	156 private static final String ZZ_ERROR_MSG[] = {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	157 "Unkown internal scanner error",
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	158 "Error: could not match input",
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	159 "Error: pushback value was too large"
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	160 };
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	161
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	162 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	163 * ZZ_ATTRIBUTE[aState] contains the attributes of state <code>aState</code>
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	164 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	165 private static final int [] ZZ_ATTRIBUTE = zzUnpackAttribute();
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	166
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	167 private static final String ZZ_ATTRIBUTE_PACKED_0 =
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	168 "\4\0\16\11";
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	169
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	170 private static int [] zzUnpackAttribute() {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	171 int [] result = new int[18];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	172 int offset = 0;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	173 offset = zzUnpackAttribute(ZZ_ATTRIBUTE_PACKED_0, offset, result);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	174 return result;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	175 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	176
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	177 private static int zzUnpackAttribute(String packed, int offset, int [] result) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	178 int i = 0; /* index in packed string */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	179 int j = offset; /* index in unpacked array */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	180 int l = packed.length();
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	181 while (i < l) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	182 int count = packed.charAt(i++);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	183 int value = packed.charAt(i++);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	184 do result[j++] = value; while (--count > 0);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	185 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	186 return j;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	187 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	188
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	189 /** the input device */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	190 private java.io.Reader zzReader;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	191
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	192 /** the current state of the DFA */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	193 private int zzState;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	194
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	195 /** the current lexical state */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	196 private int zzLexicalState = YYINITIAL;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	197
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	198 /** this buffer contains the current text to be matched and is
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	199 the source of the yytext() string */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	200 private char zzBuffer[] = new char[ZZ_BUFFERSIZE];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	201
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	202 /** the textposition at the last accepting state */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	203 private int zzMarkedPos;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	204
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	205 /** the current text position in the buffer */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	206 private int zzCurrentPos;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	207
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	208 /** startRead marks the beginning of the yytext() string in the buffer */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	209 private int zzStartRead;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	210
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	211 /** endRead marks the last character in the buffer, that has been read
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	212 from input */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	213 private int zzEndRead;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	214
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	215 /** number of newlines encountered up to the start of the matched text */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	216 private int yyline;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	217
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	218 /** the number of characters up to the start of the matched text */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	219 private int yychar;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	220
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	221 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	222 * the number of characters from the last newline up to the start of the
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	223 * matched text
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	224 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	225 private int yycolumn;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	226
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	227 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	228 * zzAtBOL == true <=> the scanner is currently at the beginning of a line
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	229 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	230 private boolean zzAtBOL = true;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	231
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	232 /** zzAtEOF == true <=> the scanner is at the EOF */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	233 private boolean zzAtEOF;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	234
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	235 /** denotes if the user-EOF-code has already been executed */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	236 private boolean zzEOFDone;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	237
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	238 /* user code: */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	239 private String original = "";
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	240 private String normalized = "";
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	241 private int problem = 0;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	242
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	243 private void add (String norm) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	244 original += yytext();
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	245 normalized += norm;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	246 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	247
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	248
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	249 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	250 * Creates a new scanner
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	251 * There is also a java.io.InputStream version of this constructor.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	252 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	253 * @param in the java.io.Reader to read input from.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	254 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	255 public MpdlNormalizerLexFR(java.io.Reader in) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	256 this.zzReader = in;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	257 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	258
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	259 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	260 * Creates a new scanner.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	261 * There is also java.io.Reader version of this constructor.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	262 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	263 * @param in the java.io.Inputstream to read input from.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	264 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	265 public MpdlNormalizerLexFR(java.io.InputStream in) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	266 this(new java.io.InputStreamReader(in));
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	267 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	268
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	269 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	270 * Unpacks the compressed character translation table.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	271 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	272 * @param packed the packed character translation table
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	273 * @return the unpacked character translation table
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	274 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	275 private static char [] zzUnpackCMap(String packed) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	276 char [] map = new char[0x10000];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	277 int i = 0; /* index in packed string */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	278 int j = 0; /* index in unpacked array */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	279 while (i < 54) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	280 int count = packed.charAt(i++);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	281 char value = packed.charAt(i++);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	282 do map[j++] = value; while (--count > 0);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	283 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	284 return map;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	285 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	286
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	287
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	288 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	289 * Refills the input buffer.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	290 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	291 * @return <code>false</code>, iff there was new input.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	292 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	293 * @exception java.io.IOException if any I/O-Error occurs
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	294 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	295 private boolean zzRefill() throws java.io.IOException {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	296
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	297 /* first: make room (if you can) */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	298 if (zzStartRead > 0) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	299 System.arraycopy(zzBuffer, zzStartRead,
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	300 zzBuffer, 0,
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	301 zzEndRead-zzStartRead);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	302
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	303 /* translate stored positions */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	304 zzEndRead-= zzStartRead;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	305 zzCurrentPos-= zzStartRead;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	306 zzMarkedPos-= zzStartRead;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	307 zzStartRead = 0;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	308 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	309
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	310 /* is the buffer big enough? */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	311 if (zzCurrentPos >= zzBuffer.length) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	312 /* if not: blow it up */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	313 char newBuffer[] = new char[zzCurrentPos*2];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	314 System.arraycopy(zzBuffer, 0, newBuffer, 0, zzBuffer.length);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	315 zzBuffer = newBuffer;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	316 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	317
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	318 /* finally: fill the buffer with new input */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	319 int numRead = zzReader.read(zzBuffer, zzEndRead,
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	320 zzBuffer.length-zzEndRead);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	321
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	322 if (numRead > 0) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	323 zzEndRead+= numRead;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	324 return false;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	325 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	326 // unlikely but not impossible: read 0 characters, but not at end of stream
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	327 if (numRead == 0) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	328 int c = zzReader.read();
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	329 if (c == -1) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	330 return true;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	331 } else {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	332 zzBuffer[zzEndRead++] = (char) c;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	333 return false;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	334 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	335 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	336
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	337 // numRead < 0
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	338 return true;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	339 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	340
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	341
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	342 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	343 * Closes the input stream.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	344 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	345 public final void yyclose() throws java.io.IOException {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	346 zzAtEOF = true; /* indicate end of file */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	347 zzEndRead = zzStartRead; /* invalidate buffer */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	348
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	349 if (zzReader != null)
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	350 zzReader.close();
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	351 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	352
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	353
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	354 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	355 * Resets the scanner to read from a new input stream.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	356 * Does not close the old reader.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	357 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	358 * All internal variables are reset, the old input stream
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	359 * <b>cannot</b> be reused (internal buffer is discarded and lost).
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	360 * Lexical state is set to <tt>ZZ_INITIAL</tt>.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	361 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	362 * @param reader the new input stream
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	363 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	364 public final void yyreset(java.io.Reader reader) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	365 zzReader = reader;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	366 zzAtBOL = true;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	367 zzAtEOF = false;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	368 zzEOFDone = false;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	369 zzEndRead = zzStartRead = 0;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	370 zzCurrentPos = zzMarkedPos = 0;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	371 yyline = yychar = yycolumn = 0;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	372 zzLexicalState = YYINITIAL;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	373 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	374
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	375
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	376 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	377 * Returns the current lexical state.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	378 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	379 public final int yystate() {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	380 return zzLexicalState;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	381 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	382
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	383
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	384 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	385 * Enters a new lexical state
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	386 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	387 * @param newState the new lexical state
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	388 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	389 public final void yybegin(int newState) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	390 zzLexicalState = newState;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	391 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	392
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	393
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	394 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	395 * Returns the text matched by the current regular expression.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	396 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	397 public final String yytext() {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	398 return new String( zzBuffer, zzStartRead, zzMarkedPos-zzStartRead );
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	399 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	400
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	401
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	402 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	403 * Returns the character at position <tt>pos</tt> from the
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	404 * matched text.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	405 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	406 * It is equivalent to yytext().charAt(pos), but faster
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	407 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	408 * @param pos the position of the character to fetch.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	409 * A value from 0 to yylength()-1.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	410 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	411 * @return the character at position pos
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	412 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	413 public final char yycharat(int pos) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	414 return zzBuffer[zzStartRead+pos];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	415 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	416
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	417
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	418 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	419 * Returns the length of the matched text region.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	420 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	421 public final int yylength() {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	422 return zzMarkedPos-zzStartRead;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	423 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	424
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	425
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	426 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	427 * Reports an error that occured while scanning.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	428 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	429 * In a wellformed scanner (no or only correct usage of
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	430 * yypushback(int) and a match-all fallback rule) this method
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	431 * will only be called with things that "Can't Possibly Happen".
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	432 * If this method is called, something is seriously wrong
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	433 * (e.g. a JFlex bug producing a faulty scanner etc.).
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	434 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	435 * Usual syntax/scanner level error handling should be done
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	436 * in error fallback rules.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	437 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	438 * @param errorCode the code of the errormessage to display
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	439 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	440 private void zzScanError(int errorCode) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	441 String message;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	442 try {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	443 message = ZZ_ERROR_MSG[errorCode];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	444 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	445 catch (ArrayIndexOutOfBoundsException e) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	446 message = ZZ_ERROR_MSG[ZZ_UNKNOWN_ERROR];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	447 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	448
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	449 throw new Error(message);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	450 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	451
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	452
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	453 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	454 * Pushes the specified amount of characters back into the input stream.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	455 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	456 * They will be read again by then next call of the scanning method
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	457 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	458 * @param number the number of characters to be read again.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	459 * This number must not be greater than yylength()!
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	460 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	461 public void yypushback(int number) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	462 if ( number > yylength() )
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	463 zzScanError(ZZ_PUSHBACK_2BIG);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	464
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	465 zzMarkedPos -= number;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	466 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	467
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	468
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	469 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	470 * Resumes scanning until the next regular expression is matched,
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	471 * the end of input is encountered or an I/O-Error occurs.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	472 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	473 * @return the next token
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	474 * @exception java.io.IOException if any I/O-Error occurs
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	475 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	476 public java.lang.String yylex() throws java.io.IOException {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	477 int zzInput;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	478 int zzAction;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	479
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	480 // cached fields:
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	481 int zzCurrentPosL;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	482 int zzMarkedPosL;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	483 int zzEndReadL = zzEndRead;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	484 char [] zzBufferL = zzBuffer;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	485 char [] zzCMapL = ZZ_CMAP;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	486
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	487 int [] zzTransL = ZZ_TRANS;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	488 int [] zzRowMapL = ZZ_ROWMAP;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	489 int [] zzAttrL = ZZ_ATTRIBUTE;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	490
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	491 while (true) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	492 zzMarkedPosL = zzMarkedPos;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	493
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	494 zzAction = -1;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	495
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	496 zzCurrentPosL = zzCurrentPos = zzStartRead = zzMarkedPosL;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	497
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	498 zzState = ZZ_LEXSTATE[zzLexicalState];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	499
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	500
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	501 zzForAction: {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	502 while (true) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	503
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	504 if (zzCurrentPosL < zzEndReadL)
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	505 zzInput = zzBufferL[zzCurrentPosL++];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	506 else if (zzAtEOF) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	507 zzInput = YYEOF;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	508 break zzForAction;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	509 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	510 else {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	511 // store back cached positions
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	512 zzCurrentPos = zzCurrentPosL;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	513 zzMarkedPos = zzMarkedPosL;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	514 boolean eof = zzRefill();
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	515 // get translated positions and possibly new buffer
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	516 zzCurrentPosL = zzCurrentPos;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	517 zzMarkedPosL = zzMarkedPos;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	518 zzBufferL = zzBuffer;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	519 zzEndReadL = zzEndRead;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	520 if (eof) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	521 zzInput = YYEOF;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	522 break zzForAction;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	523 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	524 else {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	525 zzInput = zzBufferL[zzCurrentPosL++];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	526 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	527 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	528 int zzNext = zzTransL[ zzRowMapL[zzState] + zzCMapL[zzInput] ];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	529 if (zzNext == -1) break zzForAction;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	530 zzState = zzNext;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	531
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	532 int zzAttributes = zzAttrL[zzState];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	533 if ( (zzAttributes & 1) == 1 ) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	534 zzAction = zzState;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	535 zzMarkedPosL = zzCurrentPosL;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	536 if ( (zzAttributes & 8) == 8 ) break zzForAction;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	537 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	538
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	539 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	540 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	541
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	542 // store back cached position
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	543 zzMarkedPos = zzMarkedPosL;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	544
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	545 switch (zzAction < 0 ? zzAction : ZZ_ACTION[zzAction]) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	546 case 2:
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	547 { problem = 1; add(yytext());
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	548 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	549 case 15: break;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	550 case 6:
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	551 { add("ae");
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	552 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	553 case 16: break;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	554 case 4:
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	555 { add("s");
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	556 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	557 case 17: break;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	558 case 12:
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	559 { add("o");
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	560 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	561 case 18: break;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	562 case 3:
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	563 { switch (problem) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	564 case 1: return original;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	565 default: return normalized;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	566 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	567 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	568 case 19: break;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	569 case 13:
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	570 { add("u");
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	571 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	572 case 20: break;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	573 case 1:
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	574 { add(yytext());
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	575 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	576 case 21: break;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	577 case 11:
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	578 { add("i");
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	579 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	580 case 22: break;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	581 case 14:
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	582 { add("");
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	583 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	584 case 23: break;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	585 case 10:
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	586 { add("e");
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	587 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	588 case 24: break;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	589 case 9:
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	590 { add("a");
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	591 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	592 case 25: break;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	593 case 5:
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	594 { add("ss");
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	595 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	596 case 26: break;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	597 case 8:
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	598 { add("oe");
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	599 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	600 case 27: break;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	601 case 7:
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	602 { switch (problem) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	603 case 1: return "";
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	604 default: return normalized;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	605 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	606 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	607 case 28: break;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	608 default:
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	609 if (zzInput == YYEOF && zzStartRead == zzCurrentPos) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	610 zzAtEOF = true;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	611 return null;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	612 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	613 else {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	614 zzScanError(ZZ_NO_MATCH);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	615 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	616 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	617 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	618 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	619
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	620
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	621 }

Mercurial > hg > mpdl-group

annotate software/eXist/mpdl-modules/src/de/mpg/mpiwg/berlin/mpdl/lt/analyzer/lang/MpdlNormalizerLexFR.java @ 9:1ec29fdd0db8