mpdl-group: software/eXist/mpdl-modules/src/de/mpg/mpiwg/berlin/mpdl/lt/analyzer/lang/MpdlNormalizerLexEN.java annotate

annotate software/eXist/mpdl-modules/src/de/mpg/mpiwg/berlin/mpdl/lt/analyzer/lang/MpdlNormalizerLexEN.java @ 14:5df60f24e997

diverse Fehlerbehebungen

author	Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de>
date	Mon, 29 Aug 2011 17:40:02 +0200
parents	1ec29fdd0db8
children

rev	line source
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	1 /* The following code was generated by JFlex 1.4.3 on 21.07.11 11:22 */
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	2
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	3 /*
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	4 * Normalization rules for English text
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	5 * [this is a JFlex specification]
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	6 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	7 * Wolfgang Schmidle
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	8 * version 2011-07-12
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	9 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	10 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	11
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	12 package de.mpg.mpiwg.berlin.mpdl.lt.analyzer.lang;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	13
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	14
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	15 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	16 * This class is a scanner generated by
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	17 * <a href="http://www.jflex.de/">JFlex</a> 1.4.3
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	18 * on 21.07.11 11:22 from the specification file
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	19 * <tt>MpdlNormalizerLexEN.lex</tt>
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	20 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	21 public class MpdlNormalizerLexEN {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	22
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	23 /** This character denotes the end of file */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	24 public static final int YYEOF = -1;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	25
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	26 /** initial size of the lookahead buffer */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	27 private static final int ZZ_BUFFERSIZE = 16384;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	28
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	29 /** lexical states */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	30 public static final int SEARCH = 6;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	31 public static final int DICT = 4;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	32 public static final int YYINITIAL = 0;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	33 public static final int DISP = 2;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	34
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	35 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	36 * ZZ_LEXSTATE[l] is the state in the DFA for the lexical state l
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	37 * ZZ_LEXSTATE[l+1] is the state in the DFA for the lexical state l
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	38 * at the beginning of a line
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	39 * l is of the form l = 2*k, k a non negative integer
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	40 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	41 private static final int ZZ_LEXSTATE[] = {
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	42 0, 0, 1, 1, 2, 2, 3, 3
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	43 };
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	44
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	45 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	46 * Translates characters to character classes
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	47 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	48 private static final String ZZ_CMAP_PACKED =
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	49 "\12\0\1\3\25\0\1\2\14\0\1\1\2\0\1\1\17\0\1\5"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	50 "\40\0\1\1\2\0\1\1\20\0\1\1\5\0\1\1\1\0\1\1"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	51 "\u0101\0\1\4\ufe80\0";
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	52
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	53 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	54 * Translates characters to character classes
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	55 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	56 private static final char [] ZZ_CMAP = zzUnpackCMap(ZZ_CMAP_PACKED);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	57
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	58 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	59 * Translates DFA states to action switch labels.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	60 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	61 private static final int [] ZZ_ACTION = zzUnpackAction();
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	62
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	63 private static final String ZZ_ACTION_PACKED_0 =
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	64 "\4\0\2\1\1\2\1\3\1\4\1\5\1\6";
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	65
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	66 private static int [] zzUnpackAction() {
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	67 int [] result = new int[11];
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	68 int offset = 0;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	69 offset = zzUnpackAction(ZZ_ACTION_PACKED_0, offset, result);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	70 return result;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	71 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	72
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	73 private static int zzUnpackAction(String packed, int offset, int [] result) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	74 int i = 0; /* index in packed string */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	75 int j = offset; /* index in unpacked array */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	76 int l = packed.length();
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	77 while (i < l) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	78 int count = packed.charAt(i++);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	79 int value = packed.charAt(i++);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	80 do result[j++] = value; while (--count > 0);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	81 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	82 return j;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	83 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	84
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	85
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	86 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	87 * Translates a state to a row index in the transition table
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	88 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	89 private static final int [] ZZ_ROWMAP = zzUnpackRowMap();
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	90
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	91 private static final String ZZ_ROWMAP_PACKED_0 =
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	92 "\0\0\0\6\0\14\0\22\0\30\0\36\0\30\0\30"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	93 "\0\30\0\30\0\30";
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	94
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	95 private static int [] zzUnpackRowMap() {
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	96 int [] result = new int[11];
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	97 int offset = 0;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	98 offset = zzUnpackRowMap(ZZ_ROWMAP_PACKED_0, offset, result);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	99 return result;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	100 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	101
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	102 private static int zzUnpackRowMap(String packed, int offset, int [] result) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	103 int i = 0; /* index in packed string */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	104 int j = offset; /* index in unpacked array */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	105 int l = packed.length();
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	106 while (i < l) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	107 int high = packed.charAt(i++) << 16;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	108 result[j++] = high \| packed.charAt(i++);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	109 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	110 return j;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	111 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	112
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	113 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	114 * The transition table of the DFA
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	115 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	116 private static final int [] ZZ_TRANS = zzUnpackTrans();
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	117
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	118 private static final String ZZ_TRANS_PACKED_0 =
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	119 "\1\5\1\6\1\5\1\0\1\5\1\7\1\5\1\6"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	120 "\1\5\1\10\1\11\1\7\1\5\1\6\1\5\1\12"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	121 "\1\11\1\7\1\5\1\6\1\5\1\13\1\11\1\7"+
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	122 "\10\0\1\5\3\0";
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	123
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	124 private static int [] zzUnpackTrans() {
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	125 int [] result = new int[36];
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	126 int offset = 0;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	127 offset = zzUnpackTrans(ZZ_TRANS_PACKED_0, offset, result);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	128 return result;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	129 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	130
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	131 private static int zzUnpackTrans(String packed, int offset, int [] result) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	132 int i = 0; /* index in packed string */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	133 int j = offset; /* index in unpacked array */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	134 int l = packed.length();
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	135 while (i < l) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	136 int count = packed.charAt(i++);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	137 int value = packed.charAt(i++);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	138 value--;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	139 do result[j++] = value; while (--count > 0);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	140 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	141 return j;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	142 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	143
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	144
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	145 /* error codes */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	146 private static final int ZZ_UNKNOWN_ERROR = 0;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	147 private static final int ZZ_NO_MATCH = 1;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	148 private static final int ZZ_PUSHBACK_2BIG = 2;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	149
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	150 /* error messages for the codes above */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	151 private static final String ZZ_ERROR_MSG[] = {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	152 "Unkown internal scanner error",
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	153 "Error: could not match input",
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	154 "Error: pushback value was too large"
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	155 };
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	156
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	157 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	158 * ZZ_ATTRIBUTE[aState] contains the attributes of state <code>aState</code>
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	159 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	160 private static final int [] ZZ_ATTRIBUTE = zzUnpackAttribute();
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	161
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	162 private static final String ZZ_ATTRIBUTE_PACKED_0 =
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	163 "\4\0\1\11\1\1\5\11";
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	164
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	165 private static int [] zzUnpackAttribute() {
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	166 int [] result = new int[11];
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	167 int offset = 0;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	168 offset = zzUnpackAttribute(ZZ_ATTRIBUTE_PACKED_0, offset, result);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	169 return result;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	170 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	171
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	172 private static int zzUnpackAttribute(String packed, int offset, int [] result) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	173 int i = 0; /* index in packed string */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	174 int j = offset; /* index in unpacked array */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	175 int l = packed.length();
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	176 while (i < l) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	177 int count = packed.charAt(i++);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	178 int value = packed.charAt(i++);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	179 do result[j++] = value; while (--count > 0);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	180 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	181 return j;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	182 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	183
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	184 /** the input device */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	185 private java.io.Reader zzReader;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	186
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	187 /** the current state of the DFA */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	188 private int zzState;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	189
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	190 /** the current lexical state */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	191 private int zzLexicalState = YYINITIAL;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	192
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	193 /** this buffer contains the current text to be matched and is
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	194 the source of the yytext() string */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	195 private char zzBuffer[] = new char[ZZ_BUFFERSIZE];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	196
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	197 /** the textposition at the last accepting state */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	198 private int zzMarkedPos;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	199
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	200 /** the current text position in the buffer */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	201 private int zzCurrentPos;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	202
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	203 /** startRead marks the beginning of the yytext() string in the buffer */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	204 private int zzStartRead;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	205
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	206 /** endRead marks the last character in the buffer, that has been read
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	207 from input */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	208 private int zzEndRead;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	209
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	210 /** number of newlines encountered up to the start of the matched text */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	211 private int yyline;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	212
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	213 /** the number of characters up to the start of the matched text */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	214 private int yychar;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	215
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	216 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	217 * the number of characters from the last newline up to the start of the
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	218 * matched text
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	219 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	220 private int yycolumn;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	221
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	222 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	223 * zzAtBOL == true <=> the scanner is currently at the beginning of a line
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	224 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	225 private boolean zzAtBOL = true;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	226
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	227 /** zzAtEOF == true <=> the scanner is at the EOF */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	228 private boolean zzAtEOF;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	229
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	230 /** denotes if the user-EOF-code has already been executed */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	231 private boolean zzEOFDone;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	232
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	233 /* user code: */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	234 private String original = "";
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	235 private String normalized = "";
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	236 private int problem = 0;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	237
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	238 private void add (String norm) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	239 original += yytext();
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	240 normalized += norm;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	241 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	242
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	243 private static final String LB = "[\u002d\u00ad] ";
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	244
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	245
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	246 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	247 * Creates a new scanner
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	248 * There is also a java.io.InputStream version of this constructor.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	249 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	250 * @param in the java.io.Reader to read input from.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	251 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	252 public MpdlNormalizerLexEN(java.io.Reader in) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	253 this.zzReader = in;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	254 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	255
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	256 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	257 * Creates a new scanner.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	258 * There is also java.io.Reader version of this constructor.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	259 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	260 * @param in the java.io.Inputstream to read input from.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	261 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	262 public MpdlNormalizerLexEN(java.io.InputStream in) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	263 this(new java.io.InputStreamReader(in));
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	264 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	265
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	266 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	267 * Unpacks the compressed character translation table.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	268 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	269 * @param packed the packed character translation table
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	270 * @return the unpacked character translation table
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	271 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	272 private static char [] zzUnpackCMap(String packed) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	273 char [] map = new char[0x10000];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	274 int i = 0; /* index in packed string */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	275 int j = 0; /* index in unpacked array */
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	276 while (i < 46) {
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	277 int count = packed.charAt(i++);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	278 char value = packed.charAt(i++);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	279 do map[j++] = value; while (--count > 0);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	280 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	281 return map;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	282 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	283
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	284
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	285 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	286 * Refills the input buffer.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	287 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	288 * @return <code>false</code>, iff there was new input.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	289 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	290 * @exception java.io.IOException if any I/O-Error occurs
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	291 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	292 private boolean zzRefill() throws java.io.IOException {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	293
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	294 /* first: make room (if you can) */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	295 if (zzStartRead > 0) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	296 System.arraycopy(zzBuffer, zzStartRead,
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	297 zzBuffer, 0,
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	298 zzEndRead-zzStartRead);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	299
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	300 /* translate stored positions */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	301 zzEndRead-= zzStartRead;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	302 zzCurrentPos-= zzStartRead;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	303 zzMarkedPos-= zzStartRead;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	304 zzStartRead = 0;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	305 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	306
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	307 /* is the buffer big enough? */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	308 if (zzCurrentPos >= zzBuffer.length) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	309 /* if not: blow it up */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	310 char newBuffer[] = new char[zzCurrentPos*2];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	311 System.arraycopy(zzBuffer, 0, newBuffer, 0, zzBuffer.length);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	312 zzBuffer = newBuffer;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	313 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	314
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	315 /* finally: fill the buffer with new input */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	316 int numRead = zzReader.read(zzBuffer, zzEndRead,
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	317 zzBuffer.length-zzEndRead);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	318
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	319 if (numRead > 0) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	320 zzEndRead+= numRead;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	321 return false;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	322 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	323 // unlikely but not impossible: read 0 characters, but not at end of stream
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	324 if (numRead == 0) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	325 int c = zzReader.read();
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	326 if (c == -1) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	327 return true;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	328 } else {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	329 zzBuffer[zzEndRead++] = (char) c;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	330 return false;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	331 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	332 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	333
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	334 // numRead < 0
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	335 return true;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	336 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	337
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	338
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	339 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	340 * Closes the input stream.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	341 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	342 public final void yyclose() throws java.io.IOException {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	343 zzAtEOF = true; /* indicate end of file */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	344 zzEndRead = zzStartRead; /* invalidate buffer */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	345
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	346 if (zzReader != null)
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	347 zzReader.close();
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	348 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	349
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	350
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	351 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	352 * Resets the scanner to read from a new input stream.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	353 * Does not close the old reader.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	354 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	355 * All internal variables are reset, the old input stream
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	356 * <b>cannot</b> be reused (internal buffer is discarded and lost).
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	357 * Lexical state is set to <tt>ZZ_INITIAL</tt>.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	358 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	359 * @param reader the new input stream
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	360 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	361 public final void yyreset(java.io.Reader reader) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	362 zzReader = reader;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	363 zzAtBOL = true;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	364 zzAtEOF = false;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	365 zzEOFDone = false;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	366 zzEndRead = zzStartRead = 0;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	367 zzCurrentPos = zzMarkedPos = 0;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	368 yyline = yychar = yycolumn = 0;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	369 zzLexicalState = YYINITIAL;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	370 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	371
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	372
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	373 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	374 * Returns the current lexical state.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	375 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	376 public final int yystate() {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	377 return zzLexicalState;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	378 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	379
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	380
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	381 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	382 * Enters a new lexical state
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	383 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	384 * @param newState the new lexical state
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	385 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	386 public final void yybegin(int newState) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	387 zzLexicalState = newState;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	388 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	389
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	390
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	391 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	392 * Returns the text matched by the current regular expression.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	393 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	394 public final String yytext() {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	395 return new String( zzBuffer, zzStartRead, zzMarkedPos-zzStartRead );
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	396 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	397
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	398
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	399 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	400 * Returns the character at position <tt>pos</tt> from the
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	401 * matched text.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	402 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	403 * It is equivalent to yytext().charAt(pos), but faster
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	404 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	405 * @param pos the position of the character to fetch.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	406 * A value from 0 to yylength()-1.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	407 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	408 * @return the character at position pos
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	409 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	410 public final char yycharat(int pos) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	411 return zzBuffer[zzStartRead+pos];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	412 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	413
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	414
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	415 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	416 * Returns the length of the matched text region.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	417 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	418 public final int yylength() {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	419 return zzMarkedPos-zzStartRead;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	420 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	421
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	422
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	423 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	424 * Reports an error that occured while scanning.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	425 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	426 * In a wellformed scanner (no or only correct usage of
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	427 * yypushback(int) and a match-all fallback rule) this method
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	428 * will only be called with things that "Can't Possibly Happen".
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	429 * If this method is called, something is seriously wrong
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	430 * (e.g. a JFlex bug producing a faulty scanner etc.).
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	431 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	432 * Usual syntax/scanner level error handling should be done
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	433 * in error fallback rules.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	434 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	435 * @param errorCode the code of the errormessage to display
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	436 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	437 private void zzScanError(int errorCode) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	438 String message;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	439 try {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	440 message = ZZ_ERROR_MSG[errorCode];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	441 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	442 catch (ArrayIndexOutOfBoundsException e) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	443 message = ZZ_ERROR_MSG[ZZ_UNKNOWN_ERROR];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	444 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	445
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	446 throw new Error(message);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	447 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	448
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	449
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	450 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	451 * Pushes the specified amount of characters back into the input stream.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	452 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	453 * They will be read again by then next call of the scanning method
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	454 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	455 * @param number the number of characters to be read again.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	456 * This number must not be greater than yylength()!
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	457 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	458 public void yypushback(int number) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	459 if ( number > yylength() )
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	460 zzScanError(ZZ_PUSHBACK_2BIG);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	461
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	462 zzMarkedPos -= number;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	463 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	464
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	465
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	466 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	467 * Resumes scanning until the next regular expression is matched,
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	468 * the end of input is encountered or an I/O-Error occurs.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	469 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	470 * @return the next token
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	471 * @exception java.io.IOException if any I/O-Error occurs
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	472 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	473 public java.lang.String yylex() throws java.io.IOException {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	474 int zzInput;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	475 int zzAction;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	476
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	477 // cached fields:
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	478 int zzCurrentPosL;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	479 int zzMarkedPosL;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	480 int zzEndReadL = zzEndRead;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	481 char [] zzBufferL = zzBuffer;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	482 char [] zzCMapL = ZZ_CMAP;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	483
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	484 int [] zzTransL = ZZ_TRANS;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	485 int [] zzRowMapL = ZZ_ROWMAP;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	486 int [] zzAttrL = ZZ_ATTRIBUTE;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	487
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	488 while (true) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	489 zzMarkedPosL = zzMarkedPos;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	490
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	491 zzAction = -1;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	492
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	493 zzCurrentPosL = zzCurrentPos = zzStartRead = zzMarkedPosL;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	494
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	495 zzState = ZZ_LEXSTATE[zzLexicalState];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	496
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	497
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	498 zzForAction: {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	499 while (true) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	500
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	501 if (zzCurrentPosL < zzEndReadL)
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	502 zzInput = zzBufferL[zzCurrentPosL++];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	503 else if (zzAtEOF) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	504 zzInput = YYEOF;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	505 break zzForAction;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	506 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	507 else {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	508 // store back cached positions
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	509 zzCurrentPos = zzCurrentPosL;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	510 zzMarkedPos = zzMarkedPosL;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	511 boolean eof = zzRefill();
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	512 // get translated positions and possibly new buffer
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	513 zzCurrentPosL = zzCurrentPos;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	514 zzMarkedPosL = zzMarkedPos;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	515 zzBufferL = zzBuffer;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	516 zzEndReadL = zzEndRead;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	517 if (eof) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	518 zzInput = YYEOF;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	519 break zzForAction;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	520 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	521 else {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	522 zzInput = zzBufferL[zzCurrentPosL++];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	523 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	524 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	525 int zzNext = zzTransL[ zzRowMapL[zzState] + zzCMapL[zzInput] ];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	526 if (zzNext == -1) break zzForAction;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	527 zzState = zzNext;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	528
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	529 int zzAttributes = zzAttrL[zzState];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	530 if ( (zzAttributes & 1) == 1 ) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	531 zzAction = zzState;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	532 zzMarkedPosL = zzCurrentPosL;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	533 if ( (zzAttributes & 8) == 8 ) break zzForAction;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	534 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	535
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	536 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	537 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	538
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	539 // store back cached position
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	540 zzMarkedPos = zzMarkedPosL;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	541
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	542 switch (zzAction < 0 ? zzAction : ZZ_ACTION[zzAction]) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	543 case 5:
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	544 { switch (problem) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	545 case 1: return "";
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	546 default: return normalized.replaceAll(LB, "");
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	547 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	548 }
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	549 case 7: break;
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	550 case 2:
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	551 { problem = 1; add(yytext());
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	552 }
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	553 case 8: break;
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	554 case 4:
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	555 { add("s");
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	556 }
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	557 case 9: break;
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	558 case 3:
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	559 { switch (problem) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	560 case 1: return original;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	561 default: return normalized;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	562 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	563 }
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	564 case 10: break;
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	565 case 6:
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	566 { switch (problem) {
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	567 case 1: return original;
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	568 default: return normalized.replaceAll(LB, "").toLowerCase();
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	569 }
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	570 }
5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	571 case 11: break;
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	572 case 1:
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	573 { add(yytext());
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	574 }
14 5df60f24e997 diverse Fehlerbehebungen Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: 9 diff changeset	575 case 12: break;
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	576 default:
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	577 if (zzInput == YYEOF && zzStartRead == zzCurrentPos) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	578 zzAtEOF = true;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	579 return null;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	580 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	581 else {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	582 zzScanError(ZZ_NO_MATCH);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	583 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	584 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	585 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	586 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	587
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	588
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	589 }

Mercurial > hg > mpdl-group

annotate software/eXist/mpdl-modules/src/de/mpg/mpiwg/berlin/mpdl/lt/analyzer/lang/MpdlNormalizerLexEN.java @ 14:5df60f24e997