Especificaciones de entidades léxicas o tokens
La descripción de las entidades léxicas que son parte de la producción,
comienza con la especificación de expresiones regulares que definan dichas
entidades léxicas o tokens, pueden ir seguidas por un bloque de código
java, y finalmente por una transición a otro estado léxico.
Cada producción puede contener cualquier número de especificaciones de
entidades léxicas, las cuales se hallan separadas unas de otras por "|"
y son excluyentes.
| regexpr_spec | ::= | regular_expresion [ java_block ] [ ":" java_identifier ] |
Cada especificación contiene una expresión regular seguida por un Java
block (la acción léxica) opcional. Esta viene seguida por un identificador
de un estado léxico, también opcional.
Cuando se reconoce la expresión regular, se ejecuta la acción léxica asociada
seguida por cualesquiera acciones comunes de token. Luego, se ejecuta la
acción que depende del tipo de producción bajo análisis. Finalmente, si se especificó un estado léxico al que debe llegarse, el token manager realiza la transición al nuevo
estado.