Results for tokenizer translation from English to Spanish

tokenizer
analizador léxico

the t_ml_comment constant is no longer defined by the tokenizer extension.
la constante t_ml_comment ya no es definida por la extensión tokenizer.

during the tree construction stage the dom tree with the document in its root will be modified and elements will be added to it. each node emitted by the tokenizer will be processed by the tree constructor.
durante la fase de construcción, se modifica el árbol de dom que incluye el objeto "document" en su raíz y se añaden elementos.

the tokenizer recognizes the token, gives it to the tree constructor, and consumes the next character for recognizing the next token, and so on until the end of the input.
el tokenizador reconoce el token, lo envía al constructor del árbol y consume el siguiente carácter para reconocer el siguiente token, y así sucesivamente hasta llegar al final de los datos.

$php -m [php modules] xml tokenizer standard sockets session posix pcre overload mysql mbstring ctype [zend modules]
puede ver el nombre de varias extensiones utilizando phpinfo().

parsers usually divide the work between two components: the lexer (sometimes called tokenizer) that is responsible for breaking the input into valid tokens, and the parser that is responsible for constructing the parse tree by analyzing the document structure according to the language syntax rules.
los analizadores normalmente dividen el trabajo entre dos componentes: el analizador léxico (a veces denominado "tokenizador"), responsable de descomponer los datos de entrada en tokens válidos, y el analizador normal, responsable de construir el árbol tras analizar la estructura del documento según las reglas sintácticas del lenguaje.