Hai cercato la traduzione di tokenizer da Inglese a Francese

tokenizer functions
tokenizer

context-aware linear time tokenizer
tokenizer en temps linéaire tenant compte du contexte

symbolic tokenizer for words and phrases.
systeme d'identification symbolique de mots et de phrases.

non-dictionary based japanese language tokenizer
dispositif de segmentation en unites de la langue japonaise sans dictionnaire

2 of the c++ standard (the preprocessors tokenizer).
* des informations sur les évolutions du standard c++

the tokenizer then constructs from the primary logical form one or more altenative logical forms
il construit à partir de la première forme logique une ou plusieurs formes logiques de substitution

for older versions you have to configure and compile php with --enable-tokenizer.
ce module est experimental.

finally, the tokenizer generates tokens representing both the primary logical form and the alternative logical forms
pour finir, il génère des jetons représentant aussi bien la forme logique primaire que les formes logiques de substitution

original software content is first tokenized according to a set of tokenizer rules, and subsequently parsed according to a set of parser rules
un contenu logiciel original est d'abord segmenté selon un ensemble de règles de segmentation, puis analysé selon un ensemble de règles d'analyse

each morphing agent typically includes a tokenizer module, a parser module and a translation module, each of which follows specific rule sets
chaque agent de morphage comprend habituellement un module de segmentation, un module d'analyse et un module de traduction, chacun de ces modules suivant des ensembles de règles spécifiques

this invention provides a method and apparatus for automated search and retrieval processing that includes a tokenizer, a noun phrase analyzer, and a morphological analyzer
l'invention porte sur un procédé et un appareil de recherche et extraction automatiques comportant un jetoneur, un analyseur de syntagmes et un analyseur morphologique

this invention provides a method and apparatus for automated search and retrieval processing that includes a tokenizer, a noun phrase analyzer, and a morphological analyzer.
l'invention porte sur un procédé et un appareil de recherche et extraction automatiques comportant un jetoneur, un analyseur de syntagmes et un analyseur morphologique.

a tokenizer to tokenize the first instance into a set of words, create a set of portions from the tokenized first instance, and assign weight to each portion of the set of portions
un dispositif de segmentation pour segmenter la première instance en une série de mots, créer une série de portions à partir de la première instance segmentée, et associer un poids à chaque portion de la série de portions

the tokenizer constructs each alternative logical form by, for each of one or more of the selected words in the input string, replacing the selected word in the primary logical form with an identified hypernym of the selected word
il construit chaque forme logique de substitution en remplaçant, pour chaque mot sélectionné ou davantage de la chaîne d'entrée, le mot sélectionné dans la première forme logique par un hypéronyme identifié du mot sélectionné

the tokenizer includes a parser that extracts characters from the stream of text, and identifying element for identifying a token formed of characters in the stream of text that include lexical matter, and a filter for assigning tags to those tokens requiring further linguistic analysis
le jetoneur comporte un analyseur qui extrait des caractères du flux de texte, un identificateur de jetons formés de caractères du flux de texte renfermant une matière lexicale et un filtre attribuant des repères à ceux des jetons requérant un supplément d'analyse linguistique

a system includes a tokenizer operable to tokenize the software program and a parser operable to directly execute a nonlinear program element in the software program by manipulating a parse state and an input stream of tokens representing the body of the nonlinear program element, while preserving the original linguistic form of the software program
l'invention concerne également un système comprenant un analyseur lexical conçu pour convertir en unités lexicales le programme logiciel et un analyseur conçu pour exécuter directement un élément de programme non linéaire dans le programme logiciel par manipulation d'un état d'analyse et d'un flux d'entrées d'unités lexicales représentant le corps de l'élément de programme non linéaire, la forme linguistique originale du programme logiciel étant conservée pendant ce temps

morphosyntactic analysis sub-module [0062] the morphosyntactic analysis is made up of a tokenizer, a sentence splitter, an analyzer and a morphological labeler.
dans l'exemple de la figure 6, les annotations sont présentées sous forme de transducteur.

$php -m [php modules] xml tokenizer standard sockets session posix pcre overload mysql mbstring ctype [zend modules]
vous pouvez voir les différents noms des extensions, en utilisant la fonction phpinfo().

a computer-implemented system and method for identification of near duplicate user-generated content in a networked system are disclosed. the apparatus in an example embodiment includes a data receiver to receive a first instance of user-generated content; a tokenizer to tokenize the first instance into a set of words, create a set of portions from the tokenized first instance, and assign weight to each portion of the set of portions; a magnitude calculator to calculate a magnitude for the first instance based on the weight of each portion; a resemblance score calculator to search a data store for a second instance with at least one portion in common with the first instance and calculate a resemblance score between the first instance and the second instance; and an account linker to link accounts associated with each of the first instance and the second instance.
l’invention concerne un système implémenté par ordinateur et un procédé pour l’identification d’un contenu généré par un utilisateur à quasi-duplication dans un système de réseau. l’appareil comprend, dans un mode de réalisation illustratif, un récepteur de données pour recevoir une première instance d’un contenu généré par un utilisateur ; un dispositif de segmentation pour segmenter la première instance en une série de mots, créer une série de portions à partir de la première instance segmentée, et associer un poids à chaque portion de la série de portions ; un calculateur de magnitude pour calculer une magnitude pour la première instance sur la base du poids de chaque portion ; un calculateur du score de ressemblance afin de rechercher dans une mémoire une deuxième instance ayant au moins une portion en commun avec la première instance et calculer un score de ressemblance entre la première instance et la deuxième instance ; et un connecteur de comptes pour relier des comptes associés à la première instance et à la deuxième instance.