mpdl-group: software/eXist/mpdl-modules/src/de/mpg/mpiwg/berlin/mpdl/lt/analyzer/lang/MpdlNormalizerLexZH.java annotate

annotate software/eXist/mpdl-modules/src/de/mpg/mpiwg/berlin/mpdl/lt/analyzer/lang/MpdlNormalizerLexZH.java @ 9:1ec29fdd0db8

neue .lex Dateien f?r Normalisierung / externe Objekte update

author	Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de>
date	Tue, 22 Feb 2011 16:03:45 +0100
parents
children	5df60f24e997

rev	line source
9 1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	1 /* The following code was generated by JFlex 1.4.3 on 22.02.11 12:04 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	2
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	3 /*
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	4 * Normalization rules for Chinese text
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	5 * [this is a JFlex specification]
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	6 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	7 * Wolfgang Schmidle
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	8 * version 0.96
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	9 * 2011-02-21
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	10 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	11 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	12
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	13 package de.mpg.mpiwg.berlin.mpdl.lt.analyzer.lang;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	14
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	15
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	16 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	17 * This class is a scanner generated by
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	18 * <a href="http://www.jflex.de/">JFlex</a> 1.4.3
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	19 * on 22.02.11 12:04 from the specification file
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	20 * <tt>MpdlNormalizerLexZH.lex</tt>
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	21 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	22 public class MpdlNormalizerLexZH {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	23
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	24 /** This character denotes the end of file */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	25 public static final int YYEOF = -1;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	26
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	27 /** initial size of the lookahead buffer */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	28 private static final int ZZ_BUFFERSIZE = 16384;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	29
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	30 /** lexical states */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	31 public static final int SEARCH = 6;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	32 public static final int DICT = 4;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	33 public static final int YYINITIAL = 0;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	34 public static final int DISP = 2;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	35
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	36 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	37 * ZZ_LEXSTATE[l] is the state in the DFA for the lexical state l
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	38 * ZZ_LEXSTATE[l+1] is the state in the DFA for the lexical state l
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	39 * at the beginning of a line
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	40 * l is of the form l = 2*k, k a non negative integer
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	41 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	42 private static final int ZZ_LEXSTATE[] = {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	43 0, 0, 1, 1, 2, 2, 3, 3
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	44 };
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	45
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	46 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	47 * Translates characters to character classes
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	48 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	49 private static final String ZZ_CMAP_PACKED =
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	50 "\12\0\1\2\45\0\1\1\1\0\1\1\15\0\1\20\41\0\1\1"+
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	51 "\22\0\1\1\5\0\1\1\1\0\1\1\u4f84\0\1\3\176\0\1\4"+
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	52 "\u035a\0\1\4\u0a9a\0\1\6\u0781\0\1\10\u057a\0\1\11\u06bd\0\1\12"+
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	53 "\15\0\1\7\u0891\0\1\5\u1baf\0\1\13\340\0\1\14\u411a\0\1\16"+
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	54 "\u040e\0\1\17\u1d8f\0\1\15\u05e2\0";
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	55
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	56 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	57 * Translates characters to character classes
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	58 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	59 private static final char [] ZZ_CMAP = zzUnpackCMap(ZZ_CMAP_PACKED);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	60
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	61 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	62 * Translates DFA states to action switch labels.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	63 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	64 private static final int [] ZZ_ACTION = zzUnpackAction();
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	65
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	66 private static final String ZZ_ACTION_PACKED_0 =
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	67 "\4\0\1\1\1\2\1\3\1\4\1\5\1\6\1\7"+
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	68 "\1\10\1\11\1\12\1\13\1\14\1\15\1\16\1\1"+
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	69 "\1\17\1\20\1\21";
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	70
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	71 private static int [] zzUnpackAction() {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	72 int [] result = new int[22];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	73 int offset = 0;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	74 offset = zzUnpackAction(ZZ_ACTION_PACKED_0, offset, result);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	75 return result;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	76 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	77
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	78 private static int zzUnpackAction(String packed, int offset, int [] result) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	79 int i = 0; /* index in packed string */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	80 int j = offset; /* index in unpacked array */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	81 int l = packed.length();
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	82 while (i < l) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	83 int count = packed.charAt(i++);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	84 int value = packed.charAt(i++);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	85 do result[j++] = value; while (--count > 0);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	86 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	87 return j;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	88 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	89
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	90
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	91 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	92 * Translates a state to a row index in the transition table
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	93 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	94 private static final int [] ZZ_ROWMAP = zzUnpackRowMap();
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	95
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	96 private static final String ZZ_ROWMAP_PACKED_0 =
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	97 "\0\0\0\21\0\42\0\63\0\104\0\104\0\104\0\104"+
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	98 "\0\104\0\104\0\104\0\104\0\104\0\104\0\104\0\104"+
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	99 "\0\104\0\104\0\125\0\104\0\104\0\104";
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	100
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	101 private static int [] zzUnpackRowMap() {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	102 int [] result = new int[22];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	103 int offset = 0;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	104 offset = zzUnpackRowMap(ZZ_ROWMAP_PACKED_0, offset, result);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	105 return result;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	106 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	107
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	108 private static int zzUnpackRowMap(String packed, int offset, int [] result) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	109 int i = 0; /* index in packed string */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	110 int j = offset; /* index in unpacked array */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	111 int l = packed.length();
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	112 while (i < l) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	113 int high = packed.charAt(i++) << 16;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	114 result[j++] = high \| packed.charAt(i++);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	115 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	116 return j;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	117 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	118
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	119 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	120 * The transition table of the DFA
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	121 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	122 private static final int [] ZZ_TRANS = zzUnpackTrans();
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	123
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	124 private static final String ZZ_TRANS_PACKED_0 =
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	125 "\2\5\1\0\15\5\1\6\2\5\1\7\1\10\1\11"+
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	126 "\1\12\1\13\1\14\1\15\1\16\1\17\1\20\1\21"+
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	127 "\1\22\1\23\1\5\1\6\1\5\1\24\1\25\1\10"+
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	128 "\1\11\1\12\1\13\1\14\1\15\1\16\1\17\1\20"+
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	129 "\1\21\1\22\1\23\1\5\1\6\1\5\1\24\1\7"+
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	130 "\1\10\1\11\1\12\1\13\1\14\1\15\1\16\1\17"+
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	131 "\1\20\1\21\1\22\1\23\1\5\1\6\40\0\1\26"+
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	132 "\1\0";
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	133
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	134 private static int [] zzUnpackTrans() {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	135 int [] result = new int[102];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	136 int offset = 0;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	137 offset = zzUnpackTrans(ZZ_TRANS_PACKED_0, offset, result);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	138 return result;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	139 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	140
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	141 private static int zzUnpackTrans(String packed, int offset, int [] result) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	142 int i = 0; /* index in packed string */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	143 int j = offset; /* index in unpacked array */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	144 int l = packed.length();
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	145 while (i < l) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	146 int count = packed.charAt(i++);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	147 int value = packed.charAt(i++);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	148 value--;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	149 do result[j++] = value; while (--count > 0);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	150 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	151 return j;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	152 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	153
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	154
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	155 /* error codes */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	156 private static final int ZZ_UNKNOWN_ERROR = 0;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	157 private static final int ZZ_NO_MATCH = 1;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	158 private static final int ZZ_PUSHBACK_2BIG = 2;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	159
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	160 /* error messages for the codes above */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	161 private static final String ZZ_ERROR_MSG[] = {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	162 "Unkown internal scanner error",
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	163 "Error: could not match input",
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	164 "Error: pushback value was too large"
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	165 };
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	166
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	167 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	168 * ZZ_ATTRIBUTE[aState] contains the attributes of state <code>aState</code>
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	169 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	170 private static final int [] ZZ_ATTRIBUTE = zzUnpackAttribute();
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	171
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	172 private static final String ZZ_ATTRIBUTE_PACKED_0 =
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	173 "\4\0\16\11\1\1\3\11";
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	174
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	175 private static int [] zzUnpackAttribute() {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	176 int [] result = new int[22];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	177 int offset = 0;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	178 offset = zzUnpackAttribute(ZZ_ATTRIBUTE_PACKED_0, offset, result);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	179 return result;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	180 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	181
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	182 private static int zzUnpackAttribute(String packed, int offset, int [] result) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	183 int i = 0; /* index in packed string */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	184 int j = offset; /* index in unpacked array */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	185 int l = packed.length();
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	186 while (i < l) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	187 int count = packed.charAt(i++);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	188 int value = packed.charAt(i++);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	189 do result[j++] = value; while (--count > 0);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	190 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	191 return j;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	192 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	193
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	194 /** the input device */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	195 private java.io.Reader zzReader;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	196
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	197 /** the current state of the DFA */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	198 private int zzState;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	199
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	200 /** the current lexical state */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	201 private int zzLexicalState = YYINITIAL;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	202
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	203 /** this buffer contains the current text to be matched and is
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	204 the source of the yytext() string */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	205 private char zzBuffer[] = new char[ZZ_BUFFERSIZE];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	206
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	207 /** the textposition at the last accepting state */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	208 private int zzMarkedPos;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	209
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	210 /** the current text position in the buffer */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	211 private int zzCurrentPos;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	212
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	213 /** startRead marks the beginning of the yytext() string in the buffer */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	214 private int zzStartRead;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	215
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	216 /** endRead marks the last character in the buffer, that has been read
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	217 from input */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	218 private int zzEndRead;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	219
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	220 /** number of newlines encountered up to the start of the matched text */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	221 private int yyline;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	222
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	223 /** the number of characters up to the start of the matched text */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	224 private int yychar;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	225
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	226 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	227 * the number of characters from the last newline up to the start of the
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	228 * matched text
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	229 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	230 private int yycolumn;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	231
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	232 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	233 * zzAtBOL == true <=> the scanner is currently at the beginning of a line
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	234 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	235 private boolean zzAtBOL = true;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	236
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	237 /** zzAtEOF == true <=> the scanner is at the EOF */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	238 private boolean zzAtEOF;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	239
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	240 /** denotes if the user-EOF-code has already been executed */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	241 private boolean zzEOFDone;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	242
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	243 /* user code: */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	244 private String original = "";
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	245 private String normalized = "";
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	246 private int problem = 0;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	247
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	248 private void add (String norm) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	249 original += yytext();
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	250 normalized += norm;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	251 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	252
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	253
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	254 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	255 * Creates a new scanner
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	256 * There is also a java.io.InputStream version of this constructor.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	257 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	258 * @param in the java.io.Reader to read input from.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	259 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	260 public MpdlNormalizerLexZH(java.io.Reader in) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	261 this.zzReader = in;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	262 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	263
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	264 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	265 * Creates a new scanner.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	266 * There is also java.io.Reader version of this constructor.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	267 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	268 * @param in the java.io.Inputstream to read input from.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	269 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	270 public MpdlNormalizerLexZH(java.io.InputStream in) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	271 this(new java.io.InputStreamReader(in));
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	272 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	273
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	274 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	275 * Unpacks the compressed character translation table.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	276 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	277 * @param packed the packed character translation table
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	278 * @return the unpacked character translation table
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	279 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	280 private static char [] zzUnpackCMap(String packed) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	281 char [] map = new char[0x10000];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	282 int i = 0; /* index in packed string */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	283 int j = 0; /* index in unpacked array */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	284 while (i < 90) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	285 int count = packed.charAt(i++);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	286 char value = packed.charAt(i++);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	287 do map[j++] = value; while (--count > 0);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	288 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	289 return map;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	290 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	291
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	292
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	293 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	294 * Refills the input buffer.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	295 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	296 * @return <code>false</code>, iff there was new input.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	297 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	298 * @exception java.io.IOException if any I/O-Error occurs
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	299 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	300 private boolean zzRefill() throws java.io.IOException {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	301
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	302 /* first: make room (if you can) */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	303 if (zzStartRead > 0) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	304 System.arraycopy(zzBuffer, zzStartRead,
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	305 zzBuffer, 0,
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	306 zzEndRead-zzStartRead);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	307
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	308 /* translate stored positions */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	309 zzEndRead-= zzStartRead;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	310 zzCurrentPos-= zzStartRead;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	311 zzMarkedPos-= zzStartRead;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	312 zzStartRead = 0;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	313 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	314
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	315 /* is the buffer big enough? */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	316 if (zzCurrentPos >= zzBuffer.length) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	317 /* if not: blow it up */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	318 char newBuffer[] = new char[zzCurrentPos*2];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	319 System.arraycopy(zzBuffer, 0, newBuffer, 0, zzBuffer.length);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	320 zzBuffer = newBuffer;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	321 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	322
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	323 /* finally: fill the buffer with new input */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	324 int numRead = zzReader.read(zzBuffer, zzEndRead,
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	325 zzBuffer.length-zzEndRead);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	326
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	327 if (numRead > 0) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	328 zzEndRead+= numRead;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	329 return false;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	330 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	331 // unlikely but not impossible: read 0 characters, but not at end of stream
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	332 if (numRead == 0) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	333 int c = zzReader.read();
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	334 if (c == -1) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	335 return true;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	336 } else {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	337 zzBuffer[zzEndRead++] = (char) c;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	338 return false;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	339 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	340 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	341
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	342 // numRead < 0
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	343 return true;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	344 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	345
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	346
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	347 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	348 * Closes the input stream.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	349 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	350 public final void yyclose() throws java.io.IOException {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	351 zzAtEOF = true; /* indicate end of file */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	352 zzEndRead = zzStartRead; /* invalidate buffer */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	353
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	354 if (zzReader != null)
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	355 zzReader.close();
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	356 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	357
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	358
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	359 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	360 * Resets the scanner to read from a new input stream.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	361 * Does not close the old reader.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	362 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	363 * All internal variables are reset, the old input stream
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	364 * <b>cannot</b> be reused (internal buffer is discarded and lost).
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	365 * Lexical state is set to <tt>ZZ_INITIAL</tt>.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	366 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	367 * @param reader the new input stream
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	368 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	369 public final void yyreset(java.io.Reader reader) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	370 zzReader = reader;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	371 zzAtBOL = true;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	372 zzAtEOF = false;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	373 zzEOFDone = false;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	374 zzEndRead = zzStartRead = 0;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	375 zzCurrentPos = zzMarkedPos = 0;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	376 yyline = yychar = yycolumn = 0;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	377 zzLexicalState = YYINITIAL;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	378 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	379
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	380
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	381 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	382 * Returns the current lexical state.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	383 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	384 public final int yystate() {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	385 return zzLexicalState;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	386 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	387
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	388
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	389 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	390 * Enters a new lexical state
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	391 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	392 * @param newState the new lexical state
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	393 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	394 public final void yybegin(int newState) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	395 zzLexicalState = newState;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	396 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	397
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	398
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	399 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	400 * Returns the text matched by the current regular expression.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	401 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	402 public final String yytext() {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	403 return new String( zzBuffer, zzStartRead, zzMarkedPos-zzStartRead );
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	404 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	405
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	406
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	407 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	408 * Returns the character at position <tt>pos</tt> from the
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	409 * matched text.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	410 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	411 * It is equivalent to yytext().charAt(pos), but faster
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	412 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	413 * @param pos the position of the character to fetch.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	414 * A value from 0 to yylength()-1.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	415 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	416 * @return the character at position pos
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	417 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	418 public final char yycharat(int pos) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	419 return zzBuffer[zzStartRead+pos];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	420 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	421
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	422
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	423 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	424 * Returns the length of the matched text region.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	425 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	426 public final int yylength() {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	427 return zzMarkedPos-zzStartRead;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	428 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	429
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	430
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	431 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	432 * Reports an error that occured while scanning.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	433 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	434 * In a wellformed scanner (no or only correct usage of
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	435 * yypushback(int) and a match-all fallback rule) this method
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	436 * will only be called with things that "Can't Possibly Happen".
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	437 * If this method is called, something is seriously wrong
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	438 * (e.g. a JFlex bug producing a faulty scanner etc.).
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	439 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	440 * Usual syntax/scanner level error handling should be done
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	441 * in error fallback rules.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	442 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	443 * @param errorCode the code of the errormessage to display
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	444 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	445 private void zzScanError(int errorCode) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	446 String message;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	447 try {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	448 message = ZZ_ERROR_MSG[errorCode];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	449 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	450 catch (ArrayIndexOutOfBoundsException e) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	451 message = ZZ_ERROR_MSG[ZZ_UNKNOWN_ERROR];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	452 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	453
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	454 throw new Error(message);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	455 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	456
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	457
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	458 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	459 * Pushes the specified amount of characters back into the input stream.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	460 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	461 * They will be read again by then next call of the scanning method
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	462 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	463 * @param number the number of characters to be read again.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	464 * This number must not be greater than yylength()!
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	465 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	466 public void yypushback(int number) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	467 if ( number > yylength() )
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	468 zzScanError(ZZ_PUSHBACK_2BIG);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	469
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	470 zzMarkedPos -= number;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	471 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	472
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	473
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	474 /**
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	475 * Resumes scanning until the next regular expression is matched,
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	476 * the end of input is encountered or an I/O-Error occurs.
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	477 *
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	478 * @return the next token
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	479 * @exception java.io.IOException if any I/O-Error occurs
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	480 */
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	481 public java.lang.String yylex() throws java.io.IOException {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	482 int zzInput;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	483 int zzAction;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	484
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	485 // cached fields:
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	486 int zzCurrentPosL;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	487 int zzMarkedPosL;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	488 int zzEndReadL = zzEndRead;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	489 char [] zzBufferL = zzBuffer;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	490 char [] zzCMapL = ZZ_CMAP;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	491
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	492 int [] zzTransL = ZZ_TRANS;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	493 int [] zzRowMapL = ZZ_ROWMAP;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	494 int [] zzAttrL = ZZ_ATTRIBUTE;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	495
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	496 while (true) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	497 zzMarkedPosL = zzMarkedPos;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	498
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	499 zzAction = -1;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	500
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	501 zzCurrentPosL = zzCurrentPos = zzStartRead = zzMarkedPosL;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	502
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	503 zzState = ZZ_LEXSTATE[zzLexicalState];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	504
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	505
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	506 zzForAction: {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	507 while (true) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	508
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	509 if (zzCurrentPosL < zzEndReadL)
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	510 zzInput = zzBufferL[zzCurrentPosL++];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	511 else if (zzAtEOF) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	512 zzInput = YYEOF;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	513 break zzForAction;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	514 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	515 else {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	516 // store back cached positions
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	517 zzCurrentPos = zzCurrentPosL;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	518 zzMarkedPos = zzMarkedPosL;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	519 boolean eof = zzRefill();
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	520 // get translated positions and possibly new buffer
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	521 zzCurrentPosL = zzCurrentPos;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	522 zzMarkedPosL = zzMarkedPos;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	523 zzBufferL = zzBuffer;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	524 zzEndReadL = zzEndRead;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	525 if (eof) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	526 zzInput = YYEOF;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	527 break zzForAction;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	528 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	529 else {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	530 zzInput = zzBufferL[zzCurrentPosL++];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	531 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	532 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	533 int zzNext = zzTransL[ zzRowMapL[zzState] + zzCMapL[zzInput] ];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	534 if (zzNext == -1) break zzForAction;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	535 zzState = zzNext;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	536
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	537 int zzAttributes = zzAttrL[zzState];
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	538 if ( (zzAttributes & 1) == 1 ) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	539 zzAction = zzState;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	540 zzMarkedPosL = zzCurrentPosL;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	541 if ( (zzAttributes & 8) == 8 ) break zzForAction;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	542 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	543
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	544 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	545 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	546
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	547 // store back cached position
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	548 zzMarkedPos = zzMarkedPosL;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	549
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	550 switch (zzAction < 0 ? zzAction : ZZ_ACTION[zzAction]) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	551 case 17:
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	552 { add("庶");
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	553 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	554 case 18: break;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	555 case 9:
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	556 { add("時");
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	557 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	558 case 19: break;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	559 case 2:
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	560 { problem = 1; add(yytext());
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	561 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	562 case 20: break;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	563 case 3:
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	564 { switch (problem) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	565 case 1: return original;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	566 default: return normalized;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	567 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	568 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	569 case 21: break;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	570 case 10:
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	571 { add("歷");
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	572 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	573 case 22: break;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	574 case 13:
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	575 { add("面");
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	576 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	577 case 23: break;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	578 case 14:
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	579 { add("精");
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	580 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	581 case 24: break;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	582 case 12:
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	583 { add("陰");
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	584 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	585 case 25: break;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	586 case 8:
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	587 { add("床");
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	588 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	589 case 26: break;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	590 case 1:
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	591 { add(yytext());
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	592 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	593 case 27: break;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	594 case 15:
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	595 { add("");
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	596 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	597 case 28: break;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	598 case 7:
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	599 { add("并");
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	600 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	601 case 29: break;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	602 case 4:
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	603 { add("併");
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	604 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	605 case 30: break;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	606 case 11:
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	607 { add("為");
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	608 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	609 case 31: break;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	610 case 6:
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	611 { add("奇");
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	612 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	613 case 32: break;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	614 case 5:
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	615 { add("叟");
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	616 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	617 case 33: break;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	618 case 16:
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	619 { switch (problem) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	620 case 1: return "";
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	621 default: return normalized;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	622 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	623 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	624 case 34: break;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	625 default:
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	626 if (zzInput == YYEOF && zzStartRead == zzCurrentPos) {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	627 zzAtEOF = true;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	628 return null;
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	629 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	630 else {
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	631 zzScanError(ZZ_NO_MATCH);
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	632 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	633 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	634 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	635 }
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	636
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	637
1ec29fdd0db8 neue .lex Dateien f?r Normalisierung / externe Objekte update Josef Willenborg <jwillenborg@mpiwg-berlin.mpg.de> parents: diff changeset	638 }

Mercurial > hg > mpdl-group

annotate software/eXist/mpdl-modules/src/de/mpg/mpiwg/berlin/mpdl/lt/analyzer/lang/MpdlNormalizerLexZH.java @ 9:1ec29fdd0db8