附录 F. Kafka Connect 配置参数
config.storage.topic
type: string
Importance: high
存储连接器配置的 Kafka 主题的名称。
group.id
type: string
Importance: high
标识此 worker 所属的 Connect 集群组的唯一字符串。
key.converter
type: class
Importance: high
转换器类用于在 Kafka Connect 格式和写入 Kafka 的序列化形式之间进行转换。这会控制写入或从 Kafka 读取的消息中的密钥格式,因为这独立于连接器,因此任何连接器都可以使用任何序列化格式。常见格式示例包括 JSON 和 Avro。
offset.storage.topic
type: string
Importance: high
存储连接器偏移的 Kafka 主题的名称。
status.storage.topic
type: string
Importance: high
存储连接器和任务状态的 Kafka 主题的名称。
value.converter
type: class
Importance: high
转换器类用于在 Kafka Connect 格式和写入 Kafka 的序列化形式之间进行转换。这会控制写入或从 Kafka 读取的消息中的值格式,因为这独立于连接器,因此任何连接器都可以使用任何序列化格式。常见格式示例包括 JSON 和 Avro。
bootstrap.servers
type: list
Default: localhost:9092
Importance: high
用于建立到 Kafka 集群的初始连接的主机/端口对列表。客户端将使用所有服务器与此处为引导指定的服务器无关 - 此列表仅影响用于发现完整服务器集的初始主机。此列表的格式应为
host1:port1,host2:port2,…
。由于这些服务器仅用于初始连接来发现完整的群集成员身份(可能会动态更改),因此此列表不需要包含整组服务器(但是如果服务器停机,您可能需要多个服务器)。heartbeat.interval.ms
Type: int
Default: 3000 (3 秒)
Importance: high
使用 Kafka 的组管理功能时,与组协调器的心跳之间预期的时间。心跳用于确保 worker 的会话保持活动状态,并在新成员加入或离开组时促进重新平衡。该值必须小于
session.timeout.ms
,但设置的值通常不应超过这个值的 1/3。它可以调整甚至较低,以控制正常重新平衡的预期时间。rebalance.timeout.ms
type: int
Default: 60000 (1 minute)
Importance: high
每个 worker 允许的最大时间在重新平衡后加入组。这基本上是所有任务清除任何待处理数据和提交偏移所需的时间的限制。如果超过了超时,则 worker 将从组中删除,这会导致偏移提交失败。
session.timeout.ms
type: int
Default: 10000 (10 seconds)
Importance: high
用于检测 worker 失败的超时。worker 发送定期心跳以指示其存活度到代理。如果在这个会话超时前代理没有接收心跳,则代理将从组中删除 worker 并启动重新平衡。请注意,该值必须在允许范围内,如
group.min.session.timeout.ms
和group.max.session.timeout.ms
中配置。ssl.key.password
Type: password
Default: null
Importance: high
密钥存储文件或者 'ssl.keystore.key' 中指定的 PEM 密钥的密码。只有在配置了双向身份验证时,客户端才需要这样做。
ssl.keystore.certificate.chain
Type: password
Default: null
Importance: high
使用由 'ssl.keystore.type" 指定的格式的证书链。默认 SSL 引擎工厂仅支持使用 X.509 证书列表的 PEM 格式。
ssl.keystore.key
Type: password
Default: null
Importance: high
使用 'ssl.keystore.type" 指定的格式的私钥。默认 SSL 引擎工厂只支持使用 PKCS#8 密钥的 PEM 格式。如果密钥加密,必须使用 'ssl.key.password' 指定密钥密码。
ssl.keystore.location
Type: string
Default: null
Importance: high
密钥存储文件的位置。这对客户端是可选的,可用于客户端进行双向身份验证。
ssl.keystore.password
Type: password
Default: null
Importance: high
密钥存储文件的存储密码。这对客户端是可选的,只有在配置了 'ssl.keystore.location' 时才需要。PEM 格式不支持密钥存储密码。
ssl.truststore.certificates
Type: password
Default: null
Importance: high
可信证书,格式为 'ssl.truststore.type'。默认 SSL 引擎工厂仅支持使用 X.509 证书使用 PEM 格式。
ssl.truststore.location
Type: string
Default: null
Importance: high
信任存储文件的位置。
ssl.truststore.password
Type: password
Default: null
Importance: high
信任存储文件的密码。如果没有设置密码,则仍然使用配置的信任存储文件,但禁用完整性检查。PEM 格式不支持信任存储密码。
client.dns.lookup
Type: string
Default: use_all_dns_ips
Valid Values: [use_all_dns_ips, resolve_canonical_bootstrap_servers_only]
Importance: medium
控制客户端如何使用 DNS 查找。如果设置为
use_all_dns_ips
,请按顺序连接到每个返回的 IP 地址,直到成功建立连接。断开连接后,会使用下一个 IP。当所有 IP 都被一次使用后,客户端会再次解析主机名(JVM 和 OS 缓存 DNS 名称查找)中的 IP。如果设置为resolve_canonical_bootstrap_servers_only
,请将每个 bootstrap 地址解析为规范名称列表。bootstrap 阶段后,它的行为与use_all_dns_ips
相同。connections.max.idle.ms
Type: long
Default: 540000 (9 minutes)
Importance: medium
在这个配置指定的毫秒数后关闭闲置连接。
connector.client.config.override.policy
Type: string
Default: All
Importance: medium
ConnectorClientConfigOverridePolicy
的类名称或别名实现。定义连接器可以覆盖哪些客户端配置。默认实现是All
,这意味着连接器配置可以覆盖所有客户端属性。框架中的其他可能策略包括None
来禁止连接者覆盖客户端属性,和Principal
来允许连接者只能覆盖客户端的主体。receive.buffer.bytes
type: int
Default: 32768 (32 kibibytes)
Valid Values: [0,…]
Importance: medium
读取数据时要使用的 TCP 接收缓冲区(SO_RCVBUF)的大小。如果值为 -1,则使用操作系统默认值。
request.timeout.ms
type: int
Default: 40000 (40 seconds)
Valid Values: [0,…]
Importance: medium
配置控制客户端等待请求响应的最长时间。如果在超时之前没有收到响应,客户端将在需要时重新发送请求(如果重试用时失败)。
sasl.client.callback.handler.class
Type: class
Default: null
Importance: medium
实现 AuthenticateCallbackHandler 接口的 SASL 客户端回调处理程序类的完全限定名称。
sasl.jaas.config
Type: password
Default: null
Importance: medium
用于 SASL 连接的 JAAS 登录上下文参数,其格式供 JAAS 配置文件使用。JAAS 配置文件格式描述 在此处。该值的格式是:
loginModuleClass controlFlag (optionName=optionValue)*;
。对于代理,配置必须在小写中带有监听前缀和 SASL 机制名称前缀。例如: listener.name.sasl_ssl.scram-sha-256.sasl.jaas.config=com.example.ScramLoginModule required;。sasl.kerberos.service.name
Type: string
Default: null
Importance: medium
Kafka 运行的 Kerberos 主体名称。这可以在 Kafka 的 JAAS 配置或 Kafka 配置中定义。
sasl.login.callback.handler.class
Type: class
Default: null
Importance: medium
实现 AuthenticateCallbackHandler 接口的 SASL 登录回调处理程序类的完全限定名称。对于代理,登录回调处理器配置必须以监听器前缀和 SASL 机制名称作为前缀作为前缀。例如: listener.name.sasl_ssl.scram-sha-256.sasl.login.callback.handler.class=com.example.CustomScramLoginCallbackHandler。
sasl.login.class
Type: class
Default: null
Importance: medium
实现登录接口的类的完全限定名称。对于代理,登录配置必须在小写中带有监听前缀和 SASL 机制名称前缀。For example, listener.name.sasl_ssl.scram-sha-256.sasl.login.class=com.example.CustomScramLogin.
sasl.mechanism
Type: string
Default: GSSAPI
Importance: medium
用于客户端连接的 SASL 机制。这可能是提供安全提供程序的任何机制。GSSAPI 是默认机制。
sasl.oauthbearer.jwks.endpoint.url
Type: string
Default: null
Importance: medium
可以从中检索供应商的 JWKS (JSON Web Key Set) 的 OAuth/OIDC 供应商 URL。URL 可以是基于 HTTP (S)或基于文件的 URL。如果 URL 基于 HTTP (S),则 JWKS 数据将通过代理启动时配置的 URL 从 OAuth/OIDC 供应商中检索。所有 then-current 密钥都将缓存在代理上以进行传入请求。如果为 JWT 收到了身份验证请求,其中包含缓存中尚未在缓存中的"kid"标头声明值,则将根据需要再次查询 JWKS 端点。但是,代理会轮询每个 sasl.oauthbearer.jwks.endpoint.refresh.ms 毫秒的 URL,以便在收到包含这些密钥的任何 JWT 请求前刷新缓存。如果 URL 基于文件,代理将在启动时从配置的位置加载 JWKS 文件。如果 JWT 包含没有在 JWKS 文件中的 "kid" 标头值,代理将拒绝 JWT 并且身份验证将失败。
sasl.oauthbearer.token.endpoint.url
Type: string
Default: null
Importance: medium
OAuth/OIDC 身份提供程序的 URL。如果 URL 基于 HTTP (S),这是签发者的令牌端点 URL,其请求将根据 sasl.jaas.config 中的配置登录。如果 URL 基于文件,它指定一个包含由 OAuth/OIDC 身份提供程序发布的访问令牌( JWT 序列化形式)的文件,以用于授权。
security.protocol
Type: string
Default: PLAINTEXT
Importance: medium
用于与代理通信的协议。有效值为: PLAINTEXT, SSL, SASL_PLAINTEXT, SASL_SSL。
send.buffer.bytes
type: int
Default: 131072 (128 kibibytes)
Valid Values: [0,…]
Importance: medium
发送数据时要使用的 TCP 发送缓冲区(SO_SNDBUF)的大小。如果值为 -1,则使用操作系统默认值。
ssl.enabled.protocols
type: list
Default: TLSv1.2,TLSv1.3
Importance: medium
为 SSL 连接启用的协议列表。在使用 Java 11 或更新版本时,默认为 'TLSv1.2,TLSv1.3',否则 'TLSv1.2'。使用 Java 11 的默认值,如果客户端和服务器同时支持 TLSv1.3,则客户端和服务器将首选 TLSv1.3,否则将回退到 TLSv1.2(假设两者都至少支持 TLSv1.2)。对于大多数情况,这个默认值应该可以正常工作。另请参阅
ssl.protocol
的配置文档。ssl.keystore.type
Type: string
Default: JKS
Importance: medium
密钥存储文件的文件格式。这对客户端是可选的。
ssl.protocol
type: string
Default: TLSv1.3
Importance: medium
用于生成 SSLContext 的 SSL 协议。使用 Java 11 或更新版本运行时,默认为 'TLSv1.3',否则 'TLSv1.2'。对于大多数用例,这个值应该可以正常工作。最近的 JVM 中允许的值为 'TLSv1.2' 和 'TLSv1.3'。旧的 JVM 可以支持 'TLS', 'TLSv1.1', 'SSLv2', 'SSLv2' 和 'SSLv3',但由于已知的安全漏洞,不建议使用它们。使用这个配置和 'ssl.enabled.protocols' 的默认值,如果服务器不支持 'TLSv1.3',客户端将降级为 'TLSv1.2'。如果此配置被设置为 'TLSv1.2',客户端将不会使用 'TLSv1.3',即使它是 ssl.enabled.protocols 中的值之一,服务器只支持 'TLSv1.3'。
ssl.provider
Type: string
Default: null
Importance: medium
用于 SSL 连接的安全供应商的名称。默认值是 JVM 的默认安全提供程序。
ssl.truststore.type
Type: string
Default: JKS
Importance: medium
信任存储文件的文件格式。
worker.sync.timeout.ms
Type: int
Default: 3000 (3 秒)
Importance: medium
当 worker 与其他 worker 不同步且需要重新同步配置时,请在放弃前等待这个时间,保留组,并在重新加入前等待 backoff 周期。
worker.unsync.backoff.ms
Type: int
Default: 300000 (5 minutes)
Importance: medium
当 worker 没有与其他 worker 同步,且无法在 worker.sync.timeout.ms 中捕获时,在重新加入前保留 Connect 集群。
access.control.allow.methods
Type: string
Default: ""
Importance: low
通过设置 Access-Control-Allow-Methods 标头来设置跨原始请求支持的方法。Access-Control-Allow-Methods 标头的默认值允许对 GET、POST 和 HEAD 的跨原始请求。
access.control.allow.origin
Type: string
Default: ""
Importance: low
将 Access-Control-Allow-Origin 标头设置为 REST API 请求的值。要启用跨原始访问,将其设置为允许访问 API 的应用程序的域,或 '*' 允许从任何域进行访问。默认值只允许从 REST API 的域访问。
admin.listeners
type: list
Default: null
Valid Values: comma- separated URL 列表,例如: http://localhost:8080,https://localhost:8443.
Importance: low
Admin REST API 将侦听的、以逗号分隔的 URI 列表。支持的协议有 HTTP 和 HTTPS。空字符串或空字符串将禁用此功能。默认行为是使用常规监听程序(由 'listeners' 属性指定)。
client.id
Type: string
Default: ""
Importance: low
在发出请求时传递给服务器的 id 字符串。这样做的目的是通过允许逻辑应用程序名称包含在服务器端请求日志记录中,从而跟踪除 ip/port 以外的请求源。
config.providers
Type: list
Default: ""
Importance: low
以逗号分隔的
ConfigProvider
类名称,加载并按指定顺序使用。通过实施接口ConfigProvider
,您可以替换连接器配置中的变量引用,如用于外部化 secret。config.storage.replication.factor
Type: short
Default: 3
Valid Values: Positive number not larger than the Kafka 集群中的代理数,或 -1 使用代理的默认
导入: low
创建配置存储主题时使用的复制因素。
connect.protocol
Type: string
Default: sessioned
Valid Values: [eager, compatible, sessioned]
Importance: low
Kafka Connect 协议的兼容性模式。
header.converter
type: class
Default: org.apache.kafka.connect.storage.SimpleHeaderConverter
Importance: low
HeaderConverter 类,用于在 Kafka Connect 格式和写入 Kafka 的序列化表单之间进行转换。这控制写入或从 Kafka 读取的消息中的标头值格式,因为这独立于连接器,因此任何连接器都可以使用任何序列化格式。常见格式示例包括 JSON 和 Avro。默认情况下,simpleHeaderConverter 用于将标头值序列化为字符串,并通过推断模式来反序列化它们。
inter.worker.key.generation.algorithm
Type: string
Default: HmacSHA256
Valid Values: worker JVM
Importance: low 支持的任何 KeyGenerator 算法
用于生成内部请求密钥的算法。
inter.worker.key.size
type: int
Default: null
Importance: low
用于签署内部请求的密钥大小(以位为单位)。如果为 null,则使用密钥生成算法的默认密钥大小。
inter.worker.key.ttl.ms
type: int
Default: 3600000 (1 hour)
Valid Values: [0,…,2147483647]
Importance: low
用于内部请求验证生成的会话密钥的 TTL (以毫秒为单位)。
inter.worker.signature.algorithm
Type: string
Default: HmacSHA256
Valid Values: worker JVM
Importance: low 支持的任何 MAC 算法
用于为内部请求签名的算法。
inter.worker.verification.algorithms
Type: list
Default: HmacSHA256
Valid Values: 一个或多个 MAC 算法列表,每个算法都由 worker JVM
Importance: low 支持
用于验证内部请求的允许算法列表。
监听器
type: list
Default: http://:8083
Valid Values: comma- separated URL 列表,例如: http://localhost:8080,https://localhost:8443.
Importance: low
REST API 将要侦听的、以逗号分隔的 URI 列表。支持的协议有 HTTP 和 HTTPS。将 hostname 指定为 0.0.0.0 以绑定到所有接口。将 hostname 留空,以绑定到默认接口。法律侦听器列表示例:HTTP://myhost:8083,HTTPS://myhost:8084。
metadata.max.age.ms
Type: long
Default: 300000 (5 minutes)
Valid Values: [0,…]
Importance: low
即使我们未看到任何分区领导力更改来主动发现任何新的代理或分区,我们才会强制刷新元数据的时间(以毫秒为单位)。
metric.reporters
Type: list
Default: ""
Importance: low
用作指标报告器的类列表。实施
org.apache.kafka.common.metrics.MetricsReporter
接口,允许插入将收到新指标创建通知的类。总是包括 JmxReporter 来注册 JMX 统计信息。metrics.num.samples
type: int
Default: 2
Valid Values: [1,…]
Importance: low
为计算指标维护的示例数量。
metrics.recording.level
Type: string
Default: INFO
Valid Values: [INFO, DEBUG]
Importance: low
指标的最高记录级别。
metrics.sample.window.ms
type: long
Default: 30000 (30 秒)
Valid Values: [0,…]
Importance: low
计算指标示例的时间窗口。
offset.flush.interval.ms
type: long
Default: 60000 (1 minute)
Importance: low
尝试为任务提交偏移的时间间隔。
offset.flush.timeout.ms
Type: long
Default: 5000 (5 seconds)
Importance: low
在取消进程并恢复偏移数据以在以后尝试提交的偏移数据前,等待记录刷新和分区偏移数据的最大毫秒数。
offset.storage.partitions
Type: int
Default: 25
Valid Values: Positive number, 或 -1 使用代理的默认
导入: low
创建偏移存储主题时使用的分区数量。
offset.storage.replication.factor
Type: short
Default: 3
Valid Values: Positive number not larger than the Kafka 集群中的代理数,或 -1 使用代理的默认
导入: low
创建偏移存储主题时使用的复制因素。
plugin.path
Type: list
Default: null
Importance: low
使用逗号(,)分隔的路径列表,其中包含插件(connectors, converters, transformations)。该列表应当由包含任何组合的顶级目录组成,这些目录会立即包含插件及其依赖项 b 的 jar,以及带有插件及其依赖项 c 的 uber-jars,即立即包含插件类别及其依赖项结构的软件包目录结构及其依赖项 注意:符号链接将跟进来发现依赖项或插件。示例: plugin.path=/usr/local/share/java,/usr/local/share/kafka/plugins,/opt/connectors Do not use config provider variables,因为 worker 的扫描程序在配置供应商被初始化并用来替换变量。
reconnect.backoff.max.ms
type: long
Default: 1000 (1 second)
Valid Values: [0,…]
Importance: low
重新连接到重复连接失败的代理时等待的最大时间(以毫秒为单位)。如果提供,每个主机的 backoff 将为每个连续的连接失败指数增加,直到最高值。在计算 backoff 增长后,添加了 20% 的随机 jitter,以避免连接状况。
reconnect.backoff.ms
type: long
Default: 50
Valid Values: [0,…]
Importance: low
尝试重新连接到给定主机前等待的基本时间。这可避免在紧密循环中重复连接到主机。此 backoff 应用到客户端到代理的所有连接尝试。
response.http.headers.config
Type: string
Default: ""
Valid Values: Comma- separated header rules,其中每个标头规则都是 '[action] [header name]:[header value]',如果标头规则的任何部分包含逗号
导入: low
REST API HTTP 响应标头规则。
rest.advertised.host.name
Type: string
Default: null
Importance: low
如果设置了,这是将分配给其他要连接的 worker 的主机名。
rest.advertised.listener
Type: string
Default: null
Importance: low
设置公告的监听程序(HTTP 或 HTTPS),它将提供给其他 worker 使用。
rest.advertised.port
type: int
Default: null
Importance: low
如果设置了此项,这是将分配给其他要连接的 worker 的端口。
rest.extension.classes
Type: list
Default: ""
Importance: low
以逗号分隔的
ConnectRestExtension
类名称,按指定顺序加载并调用。通过实现接口ConnectRestExtension
,您可以注入 Connect 的 REST API 用户定义的资源,如过滤器。通常用于添加自定义功能,如日志记录、安全性等。retry.backoff.ms
Type: long
Default: 100
Valid Values: [0,…]
Importance: low
尝试重试对给定主题分区失败的请求前等待的时间。这可避免在某些故障场景中的紧密循环中重复发送请求。
sasl.kerberos.kinit.cmd
type: string
Default: /usr/bin/kinit
Importance: low
Kerberos kinit 命令路径。
sasl.kerberos.min.time.before.relogin
Type: long
Default: 60000
Importance: low
刷新尝试之间的登录线程睡眠时间。
sasl.kerberos.ticket.renew.jitter
type: double
Default: 0.05
Importance: low
添加到续订时间的随机 jitter 的百分比。
sasl.kerberos.ticket.renew.window.factor
Type: double
Default: 0.8
Importance: low
登录线程将处于睡眠状态,直到达到最后一次刷新到票据到期的时间因素前处于睡眠状态,此时将尝试续订票据。
sasl.login.connect.timeout.ms
type: int
Default: null
Importance: low
(可选)外部身份验证供应商连接超时的值(以毫秒为单位)。目前仅适用于 OAUTHBEARER。
sasl.login.read.timeout.ms
type: int
Default: null
Importance: low
(可选)外部身份验证供应商读取超时的值(以毫秒为单位)。目前仅适用于 OAUTHBEARER。
sasl.login.refresh.buffer.seconds
Type: short
Default: 300
Valid Values: [0,…,3600]
Importance: low
在刷新凭证时凭证过期前的缓冲时间(以秒为单位)。如果刷新情况比缓冲区秒数接近过期,则刷新将移动,以尽可能多地维护缓冲区时间。法律值介于 0 到 3600 (1 小时)之间;如果没有指定值,则使用默认值 300 (5 分钟)。如果这个值和 sasl.login.refresh.min.period.seconds 超过了凭证剩余的生命周期,则忽略这个值。目前仅适用于 OAUTHBEARER。
sasl.login.refresh.min.period.seconds
Type: short
Default: 60
Valid Values: [0,…,900]
Importance: low
登录刷新线程在刷新凭证前等待的时间(以秒为单位)。法律值介于 0 到 900 (15 分钟)之间;如果没有指定值,则使用默认值 60 (1 分钟)。如果这个值和 sasl.login.refresh.buffer.seconds 都会被忽略,如果它们的总和超过凭证的剩余生命周期。目前仅适用于 OAUTHBEARER。
sasl.login.refresh.window.factor
type: double
Default: 0.8
Valid Values: [0.5,…,1.0]
Importance: low
登录刷新线程将休眠到与凭证生命周期相关的指定窗口因素,此时将尝试刷新凭证。法律值介于 0.5 (50%)和 1.0 (100%)之间,如果没有指定值,则使用默认值 0.8 (80%)。目前仅适用于 OAUTHBEARER。
sasl.login.refresh.window.jitter
type: double
Default: 0.05
Valid Values: [0.0,…,0.25]
Importance: low
与凭证的生命周期相关的最大随机 jitter 量添加到登录刷新线程的睡眠时间中。法律值介于 0 到 0.25(25%)之间,如果没有指定值,则使用默认值 0.05(5%)。目前仅适用于 OAUTHBEARER。
sasl.login.retry.backoff.max.ms
type: long
Default: 10000 (10 seconds)
Importance: low
(可选)登录尝试外部身份验证提供程序之间等待的最大等待值(以毫秒为单位)。登录使用基于 sasl.login.retry.backoff.ms 设置的初始等待的指数 backoff 算法,并在尝试到 sasl.login.retry.backoff.max.ms 设置指定的最大等待长度之间加倍。目前仅适用于 OAUTHBEARER。
sasl.login.retry.backoff.ms
Type: long
Default: 100
Importance: low
(可选)登录尝试外部身份验证提供程序期间初始等待的值(以毫秒为单位)。登录使用基于 sasl.login.retry.backoff.ms 设置的初始等待的指数 backoff 算法,并在尝试到 sasl.login.retry.backoff.max.ms 设置指定的最大等待长度之间加倍。目前仅适用于 OAUTHBEARER。
sasl.oauthbearer.clock.skew.seconds
Type: int
Default: 30
Importance: low
(可选)值(以秒为单位),允许 OAuth/OIDC 身份提供程序和代理间的差别。
sasl.oauthbearer.expected.audience
Type: list
Default: null
Importance: low
(可选)代理用逗号分隔的设置来验证是否已为其中一个预期的受众发出 JWT。JWT 将检查是否有标准的 OAuth "aud" 声明,如果设置了这个值,代理将与 JWT 的"aud"声明中的值匹配,以查看是否有完全匹配。如果没有匹配项,代理将拒绝 JWT,身份验证将失败。
sasl.oauthbearer.expected.issuer
Type: string
Default: null
Importance: low
代理的 (可选)用于验证 JWT 是否已由预期签发者创建的(可选)设置。JWT 将检查是否有标准 OAuth "iss" 声明,如果设置了这个值,代理会完全匹配 JWT 的"iss"声明中的内容。如果没有匹配项,代理将拒绝 JWT,身份验证将失败。
sasl.oauthbearer.jwks.endpoint.refresh.ms
Type: long
Default: 3600000 (1 hour)
Importance: low
(可选)代理在刷新其 JWKS (JSON Web Key Set)缓存之间等待的值,其中包含键以验证 JWT 的签名。
sasl.oauthbearer.jwks.endpoint.retry.backoff.max.ms
type: long
Default: 10000 (10 seconds)
Importance: low
(可选)尝试从外部身份验证提供程序检索 JWKS (JSON Web Key Set)之间的最大等待值(以毫秒为单位)。JWKS 检索使用基于 sasl.oauthbearer.jwks.endpoint.retry.backoff.ms 设置的初始等待算法的指数 backoff 算法,并在尝试到 sasl.oauthbearer.jwks.endpoint.retry.backoff.max.ms 设置所指定的最大等待长度之间加倍。
sasl.oauthbearer.jwks.endpoint.retry.backoff.ms
Type: long
Default: 100
Importance: low
(可选)在 JWKS (JSON Web Key Set)检索外部身份验证提供程序尝试时的初始等待值(以毫秒为单位)。JWKS 检索使用基于 sasl.oauthbearer.jwks.endpoint.retry.backoff.ms 设置的初始等待算法的指数 backoff 算法,并在尝试到 sasl.oauthbearer.jwks.endpoint.retry.backoff.max.ms 设置所指定的最大等待长度之间加倍。
sasl.oauthbearer.scope.claim.name
Type: string
Default: scope
Importance: low
范围的 OAuth 声明通常命名为 "scope",但如果 OAuth/OIDC 供应商为该声明使用不同的名称,则此(可选)设置可以提供用于 JWT 有效负载声明中包含的范围的名称。
sasl.oauthbearer.sub.claim.name
Type: string
Default: sub
Importance: low
该主题的 OAuth 声明通常命名为 "sub",但如果 OAuth/OIDC 供应商为该声明使用不同的名称,则此(可选)设置可以为 JWT 有效负载的声明中包含的主题提供不同的名称。
scheduled.rebalance.max.delay.ms
Type: int
Default: 300000 (5 minutes)
Valid Values: [0,…,2147483647]
Importance: low
调度的最大延迟,以便在重新平衡和将连接器和任务重新分配到组前等待一个或多个分离的 worker 返回。在此期间,未分配的 worker 连接器和任务保持不变。
socket.connection.setup.timeout.max.ms
type: long
Default: 30000 (30 秒)
Valid Values: [0,…]
Importance: low
客户端等待套接字连接建立的最大时间。当每个连续连接失败时,连接设置超时会达到这个最大值。为避免连接差异,将把一个随机化因值应用于超时,导致计算值高于 20% 的随机范围。
socket.connection.setup.timeout.ms
type: long
Default: 10000 (10 秒)
Valid Values: [0,…]
Importance: low
客户端等待套接字连接建立的时间长度。如果在超时时间前没有构建连接,客户端将关闭套接字频道。
ssl.cipher.suites
Type: list
Default: null
Importance: low
密码套件列表。这是用来使用 TLS 或 SSL 网络协议协商网络连接的安全设置的身份验证、加密、MAC 和密钥交换算法的命名组合。默认情况下,支持所有可用的密码套件。
ssl.client.auth
Type: string
Default: none
Importance: low
配置 kafka 代理以请求客户端身份验证。以下设置是通用的:
-
如果设为所需的客户端身份验证,则需要
ssl.client.auth=required
。 -
ssl.client.auth=requested
意味着客户端身份验证是可选的。与需要不同,如果设置此选项,则可以选择不提供有关其自身的身份验证信息 -
SSL.client.auth=none
意味着不需要客户端身份验证。
-
如果设为所需的客户端身份验证,则需要
ssl.endpoint.identification.algorithm
Type: string
Default: https
Importance: low
使用服务器证书验证服务器主机名的端点标识算法。
ssl.engine.factory.class
Type: class
Default: null
Importance: low
org.apache.kafka.common.security.auth.SslEngineFactory 类型的类提供 SSLEngine 对象。默认值为 org.apache.kafka.common.security.ssl.DefaultSslEngineFactory。
ssl.keymanager.algorithm
Type: string
Default: SunX509
Importance: low
密钥管理器工厂用于 SSL 连接的算法。默认值是为 Java 虚拟机配置的密钥管理器工厂算法。
ssl.secure.random.implementation
Type: string
Default: null
Importance: low
用于 SSL 加密操作的 SecureRandom PRNG 实施。
ssl.trustmanager.algorithm
Type: string
Default: PKIX
Importance: low
信任管理器工厂用于 SSL 连接的算法。默认值是为 Java 虚拟机配置的信任管理器工厂算法。
status.storage.partitions
Type: int
Default: 5
Valid Values: Positive number, 或 -1 使用代理的默认
导入: low
创建状态存储主题时使用的分区数量。
status.storage.replication.factor
Type: short
Default: 3
Valid Values: Positive number not larger than the Kafka 集群中的代理数,或 -1 使用代理的默认
导入: low
创建状态存储主题时使用的复制因素。
task.shutdown.graceful.timeout.ms
Type: long
Default: 5000 (5 seconds)
Importance: low
正常等待任务关闭的时间长度。这是总时间,而不是每个任务。所有任务都触发了关闭,然后按顺序等待它们。
topic.creation.enable
Type: boolean
Default: true
Importance: low
是否允许自动创建源连接器使用的主题,当源连接器配置了
topic.creation.
属性时。每个任务都将使用管理员客户端创建其主题,而不依赖于 Kafka 代理自动创建主题。topic.tracking.allow.reset
Type: boolean
Default: true
Importance: low
如果设置为 true,则允许用户请求为每个连接器重置活跃主题的集合。
topic.tracking.enable
Type: boolean
Default: true
Importance: low
在运行时,启用跟踪每个连接器的活跃主题集合。