Usted buscó: tokenization (Inglés - Ruso)

tokenization
разметка

issue 4: tokenization
Проблема 4: токенизация

flash media server: urls tokenization
flash media server: восстановление просмотра с точки останова

you can see the full algorithms for tokenization and tree construction in the html5 specification
В спецификации html5 подробно описаны алгоритмы лексического анализа и построения деревьев.

the goal during tokenization is to identify words for which users will search.
Цель токенизации в том, чтобы распознать слова, которые будут искать пользователи.

to improve safety of access to content, tokenization and obfuscation of the path to content located at the server, is used.
Одной из техник повышения безопасности доступа к контенту является токенизация или обфускация пути до контента на сервере.

pegs do not require tokenization to be a separate step, and tokenization rules can be written in the same way as any other grammar rule.
РВ-грамматики не требуют отдельного шага лексического анализа, а правила для него могут быть заложены вместе с другими правилами грамматики.

the parsing algorithm is described in detail by the html5 specification. the algorithm consists of two stages: tokenization and tree construction.
Алгоритм синтаксического анализа подробно описан в спецификации html5. Он состоит из двух этапов: лексического анализа и построения дерева.

=== tokenization ===unlike literate humans, computers do not understand the structure of a natural language document and cannot automatically recognize words and sentences.
В отличие от большинства людей, компьютеры не понимают структуру документа естественного языка и не могут автоматически распознавать слова и предложения.

in this configuration, the tokenization plugin is quite simple: it subscribed to e_filename_transform event and changes the logical path to the physical path.
В данной конфигурации работа плагина с токенизацией достаточно проста: плагин должен подписаться на событие e_filename_transform и изменить логический путь на физический.

during tokenization, the parser identifies sequences of characters which represent words and other elements, such as punctuation, which are represented by numeric codes, some of which are non-printing control characters.
Во время токенизации синтаксический анализатор определяет последовательность символов, которые представляют слова и другие элементы, например, пунктуация, представленная числовыми кодами, некоторые из которых являются непечатаемыми управляющими символами.

however, she was concerned about the extremely limited financial and human resources available to the division of gender relations and wished to know more about the "tokenization " of two positions within the division (cedaw/c/lca/ q/6/add.1, para. 3).
Однако ее беспокоит то, что Отдел гендерных отношений имеет крайне ограниченные финансовые и людские ресурсы, и она хотела бы больше узнать о чисто "символическом " статусе двух должностей в этом Отделе (cedaw/c/lca/q/6/add.1, пункт 3).