第 75 章 tokenize
令牌化语言是内置语言，其采用 camel-core，最常与 Split EIP 一起使用，使用基于令牌的策略来分割消息。
令牌编码语言旨在使用指定的分隔符模式对文本文档进行令牌化。它还可用于以一些有限功能对 XML 文档进行令牌化。对于真实的 XML 感知令牌化，建议使用 XML 令牌化 语言，因为它提供了更快速、更有效的令牌化，专门用于 XML 文档。
75.1. tokenize Options
Tokenize 语言支持 11 个选项，如下所列。
| 名称 | 默认 | Java 类型 | 描述 |
|---|---|---|---|
| token |
| 需要 用作 tokenizer 的令牌，例如您可以使用新行令牌。您可以使用简单语言作为令牌来支持动态令牌。 | |
| endToken |
| 如果使用 start/end 令牌对，则用作 tokenizer 的最终用户。您可以使用简单语言作为令牌来支持动态令牌。 | |
| inheritNamespaceTagName |
| 要在使用 XML 时从 root/parent 标签名称继承命名空间，您可以使用简单语言作为标签名称来支持动态名称。 | |
| headerName |
| 要解码的标头名称，而不是使用邮件正文。 | |
| regex |
| 如果令牌是正则表达式模式。默认值为 false。 | |
| XML |
| 输入是否是 XML 消息。如果使用 XML 有效负载，则必须将这个选项设置为 true。 | |
| includeTokens |
| 在使用对对值时，是否将令牌包含在部分中，默认值为 false。 | |
| group |
| 将 N 部分分组在一起，例如将大型文件分成 1000 行的块。您可以使用简单语言作为组来支持动态组群大小。 | |
| groupDelimiter |
| 设置分组时要使用的分隔符。如果没有设置，则令牌将用作分隔符。 | |
| skipFirst |
| 用于跳过前一个元素。 | |
| trim |
| 是否修剪值以移除前导和结尾的空格和换行符。 |
