第 72 章 令牌化
令牌化语言是 camel-core 中的内置语言，最常与 Split EIP 搭配使用，使用基于令牌的策略分割消息。
令牌化语言旨在使用指定的分隔符模式对文本文档进行令牌化。它还可用来对 XML 文档进行分类，但其功能有些有限。对于真正的 XML 感知令牌化，建议使用 XML 令牌化 语言，因为它可以为 XML 文档提供更快、效率更高的令牌化。
72.1. 令牌化选项
Tokenize 语言支持 11 选项，如下所示。
| Name | 默认 | Java 类型 | 描述 |
|---|---|---|---|
| token |
| 必需 The(start)令牌用作令牌化器，例如您可以使用新行令牌。您可以使用简单的语言作为令牌来支持动态令牌。 | |
| endToken |
| 如果使用 start/end 令牌对，用作令牌化的最终令牌。您可以使用简单的语言作为令牌来支持动态令牌。 | |
| inheritNamespaceTagName |
| 要使用 XML 从 root/parent 标签名称继承命名空间，您可以使用简单语言作为标签名称来支持动态名称。 | |
| headerName |
| 要令牌而非消息正文的标头名称。 | |
| regex |
| 如果令牌是一个正则表达式模式。默认值为 false。 | |
| xml |
| 输入是否为 XML 消息。如果使用 XML 有效负载，则必须将这个选项设置为 true。 | |
| includeTokens |
| 使用对时是否将令牌包含在部分内，默认值为 false。 | |
| group |
| 要将 N 部分分组，例如将大型文件分成 1000 行块。您可以使用简单的语言作为组来支持动态组群大小。 | |
| groupDelimiter |
| 设置分组时要使用的分隔符。如果没有设置，则令牌将用作分隔符。 | |
| skipFirst |
| 跳过第一个元素。 | |
| trim |
| 是否修剪值以删除前导和尾随空格和换行符。 |
