第 6 章 Kafka Connect 配置属性
config.storage.topictype: string
Importance: high
存储连接器配置的 Kafka 主题的名称。
group.idtype: string
Importance: high
标识此 worker 所属的 Connect 集群组的唯一字符串。
key.convertertype: class
Importance: high
用于转换 Kafka Connect 格式和写入 Kafka 的序列化形式的转换器类。这控制了从 Kafka 写入或读取的信息中的密钥格式,因为这独立于连接器,允许任何连接器使用任何序列化格式。常见格式示例包括 JSON 和 Avro。
offset.storage.topictype: string
Importance: high
存储源连接器偏移的 Kafka 主题的名称。
status.storage.topictype: string
Importance: high
存储连接器和任务状态的 Kafka 主题的名称。
value.convertertype: class
Importance: high
用于转换 Kafka Connect 格式和写入 Kafka 的序列化形式的转换器类。这控制从 Kafka 写入或读取的信息中值的格式,因为这独立于连接器,允许任何连接器使用任何序列化格式。常见格式示例包括 JSON 和 Avro。
bootstrap.serverstype: list
Default: localhost:9092
Importance: high
用于建立到 Kafka 集群的初始连接的主机/端口对列表。客户端将使用此处指定的服务器的所有服务器进行引导 - 此列表仅影响用于发现整套服务器的初始主机。此列表应该采用
host1:port1,host2:port2,…的形式。由于这些服务器仅用于初始连接来发现完整的群集成员(这可能会动态更改),此列表不需要包含完整的服务器集合(但在服务器停机的情况下可能需要多个服务器)。exactly.once.source.supporttype: string
Default: disabled
Valid Values: (case insensitive)[DISABLED, ENABLED, PREPARING]
Importance: high
使用事务写入源记录及其源偏移,以及主动隔离旧任务生成前是否启用对集群中源连接器的完全支持。要在新集群中完全启用实时源支持,请将此属性设置为 'enabled'。要在现有集群上启用支持,首先在集群的每个 worker 上设置为"准备",然后设置为"启用"。滚动升级可用于这两个更改。有关此功能的更多信息,请参阅 完全之后的源支持文档。
heartbeat.interval.msType: int
Default: 3000 (3 秒)
Importance: high
使用 Kafka 的组管理功能时,心跳到组协调器之间的预期时间。heartbeat 用于确保 worker 的会话保持活跃状态,并在新成员加入或离开组时进行重新平衡。该值必须小于
session.timeout.ms,但设置的值通常不应超过这个值的 1/3。它甚至可以降低以控制正常重新平衡的预期时间。rebalance.timeout.msType: int
Default: 60000 (1 minute)
Importance: high
重新平衡后,每个 worker 允许的最大时间加入组。这基本上是所有任务清除任何待处理数据和提交偏移所需的时间的限制。如果超过超时,则 worker 将从组中删除,这会导致偏移提交失败。
session.timeout.msType: int
Default: 10000 (10 秒)
Importance: high
用于检测 worker 故障的超时。worker 发送定期心跳信号,以指示其到代理的存活度。如果在此会话超时过期前代理没有接收心跳,则代理将从组中删除 worker 并启动重新平衡。请注意,该值必须在允许范围内,由
group.min.session.timeout.ms和group.max.session.timeout.ms进行配置。ssl.key.passwordType: password
Default: null
Importance: high
密钥存储文件或 'ssl.keystore.key' 中指定的 PEM 密钥中的私钥密码。
ssl.keystore.certificate.chainType: password
Default: null
Importance: high
使用由 'ssl.keystore.type" 指定的格式的证书链。默认 SSL 引擎工厂只支持带有 X.509 证书列表的 PEM 格式。
ssl.keystore.keyType: password
Default: null
Importance: high
使用 'ssl.keystore.type" 指定的格式的私钥。默认 SSL 引擎工厂只支持带有 PKCS#8 密钥的 PEM 格式。如果密钥加密,则必须使用 'ssl.key.password' 指定密钥密码。
ssl.keystore.locationType: string
Default: null
Importance: high
密钥存储文件的位置。这是可选的,可用于客户端双向身份验证。
ssl.keystore.passwordType: password
Default: null
Importance: high
密钥存储文件的存储密码。这适用于客户端,只有在配置了 'ssl.keystore.location' 时才需要。PEM 格式不支持密钥存储密码。
ssl.truststore.certificatesType: password
Default: null
Importance: high
可信证书,格式为 'ssl.truststore.type'。默认 SSL 引擎工厂仅支持使用 X.509 证书使用 PEM 格式。
ssl.truststore.locationType: string
Default: null
Importance: high
信任存储文件的位置。
ssl.truststore.passwordType: password
Default: null
Importance: high
信任存储文件的密码。如果没有设置密码,则仍将使用配置的信任存储文件,但会禁用完整性检查。PEM 格式不支持信任存储密码。
client.dns.lookuptype: string
Default: use_all_dns_ips
Valid Values: [use_all_dns_ips, resolve_canonical_bootstrap_servers_only]
Importance: medium
控制客户端如何使用 DNS 查找。如果设置为
use_all_dns_ips,按顺序连接到每个返回的 IP 地址,直到成功建立连接为止。断开连接后,会使用下一个 IP。使用了所有 IP 后,客户端会再次从主机名( JVM 和 OS 缓存 DNS 名称查找)解析 IP 地址。如果设置为resolve_canonical_bootstrap_servers_only,请将每个 bootstrap 地址解析为规范名称列表。在 bootstrap 阶段后,这与use_all_dns_ips相同。connections.max.idle.msType: long
Default: 540000 (9 分钟)
Importance: medium
在此配置指定的毫秒数后关闭闲置连接。
connector.client.config.override.policytype: string
Default: All
Importance: medium
ConnectorClientConfigOverridePolicy的类名称或别名。定义连接器可覆盖哪些客户端配置。默认实现是All,即连接器配置可以覆盖所有客户端属性。框架中的其他可能策略包括None来禁止连接者覆盖客户端属性,和Principal来允许连接者只能覆盖客户端的主体。receive.buffer.bytestype: int
Default: 32768 (32 kibibytes)
Valid Values: [0,…]
Importance: medium
读取数据时使用的 TCP 接收缓冲区的大小(SO_RCVBUF)。如果值为 -1,则会使用 OS 默认值。
request.timeout.mstype: int
Default: 40000 (40 seconds)
Valid Values: [0,…]
Importance: medium
配置控制客户端等待请求响应的最长时间。如果响应在超时前收到,客户端会在必要时重新发送请求,或者在重试已耗尽时失败请求。
sasl.client.callback.handler.classType: class
Default: null
Importance: medium
实现 AuthenticateCallbackHandler 接口的 SASL 客户端回调处理器类的完全限定名称。
sasl.jaas.configType: password
Default: null
Importance: medium
用于 SASL 连接的 JAAS 登录上下文参数,其格式由 JAAS 配置文件使用的格式。JAAS 配置文件格式描述 在此处。值的格式是:
loginModuleClass controlFlag (optionName=optionValue)*;。对于代理,配置必须在小写中带有监听前缀和 SASL 机制名称前缀。例如: listener.name.sasl_ssl.scram-sha-256.sasl.jaas.config=com.example.ScramLoginModule;.sasl.kerberos.service.nameType: string
Default: null
Importance: medium
Kafka 运行的 Kerberos 主体名称。这可以在 Kafka 的 JAAS 配置或 Kafka 配置中定义。
sasl.login.callback.handler.classType: class
Default: null
Importance: medium
实现 AuthenticateCallbackHandler 接口的 SASL 登录回调处理器类的完全限定名称。对于代理,登录回调处理器配置必须以监听器前缀和 SASL 机制名称作为前缀作为前缀。例如,listener.name.sasl_ssl.scram-sha-256.sasl.login.callback.handler.class=com.example.CustomScramLoginCallbackHandler。
sasl.login.classType: class
Default: null
Importance: medium
实现 Login 接口的类的完全限定名称。对于代理,登录配置必须在小写中带有监听前缀和 SASL 机制名称前缀。For example, listener.name.sasl_ssl.scram-sha-256.sasl.login.class=com.example.CustomScramLogin.
sasl.mechanismtype: string
Default: GSSAPI
Importance: medium
用于客户端连接的 SASL 机制。这可能是提供安全提供程序的任何机制。GSSAPI 是默认机制。
sasl.oauthbearer.jwks.endpoint.urlType: string
Default: null
Importance: medium
从中检索提供程序 JWKS (JSON Web Key Set) 的 OAuth/OIDC 供应商 URL。URL 可以是基于 HTTP (S)或基于文件的 URL。如果 URL 基于 HTTP (S),则 JWKS 数据将通过代理启动时配置的 URL 从 OAuth/OIDC 供应商中检索。所有 then-current 密钥都将缓存到代理上,用于传入的请求。如果为 JWT 收到身份验证请求,其中包含尚未在缓存中"kid"标头声明值,则 JWKS 端点将根据需要重新查询。但是,代理在每个 sasl.oauthbearer.jwks.endpoint.refresh.ms 毫秒中轮询 URL,以便在收到包含它们的 JWT 请求前使用任何即将刷新缓存。如果 URL 基于文件,代理将在启动时从配置的位置加载 JWKS 文件。如果 JWT 包含不在 JWKS 文件中的"kid"标头值,代理将拒绝 JWT,身份验证将失败。
sasl.oauthbearer.token.endpoint.urlType: string
Default: null
Importance: medium
OAuth/OIDC 身份提供程序的 URL。如果 URL 基于 HTTP (S),则它是签发者的令牌端点 URL,请求将根据 sasl.jaas.config 中的配置登录。如果 URL 基于文件,它指定一个包含由 OAuth/OIDC 身份提供程序发布的访问令牌(在 JWT 序列化形式)的文件,以用于授权。
security.protocolType: string
Default: PLAINTEXT
Valid Values: [PLAINTEXT, SSL, SASL_PLAINTEXT, SASL_SSL]
Importance: medium
用于与代理通信的协议。有效值为: PLAINTEXT, SSL, SASL_PLAINTEXT, SASL_SSL.
send.buffer.bytestype: int
Default: 131072 (128 kibibytes)
Valid Values: [0,…]
Importance: medium
在发送数据时使用的 TCP 发送缓冲区的大小(SO_SNDBUF)。如果值为 -1,则会使用 OS 默认值。
ssl.enabled.protocolstype: list
Default: TLSv1.2,TLSv1.3
Importance: medium
为 SSL 连接启用的协议列表。使用 Java 11 或更高版本 'TLSv1.2' 运行时,默认为 'TLSv1.2'。使用 Java 11 的默认值,如果客户端和服务器同时支持 TLSv1.3,则客户端和服务器将首选 TLSv1.3,否则将回退到 TLSv1.2(假设两者都至少支持 TLSv1.2)。这个默认值对于大多数情况来说应该可以正常工作。另请参阅
ssl.protocol的配置文档。ssl.keystore.typetype: string
Default: JKS
Importance: medium
密钥存储文件的文件格式。这对客户端是可选的。默认
ssl.engine.factory.class目前支持的值是 [JKS, PKCS12, PEM]。ssl.protocoltype: string
Default: TLSv1.3
Importance: medium
用于生成 SSLContext 的 SSL 协议。使用 Java 11 或更高版本 'TLSv1.2' 运行时,默认为 'TLSv1.3'。这个值应该适用于大多数用例。最近的 JVM 中的允许值为 'TLSv1.2' 和 'TLSv1.3'。'TLS', 'TLSv1.1', 'SSL', 'SSLv2' 和 'SSLv3' 可能在较旧的 JVM 中被支持,但由于已知的安全漏洞,不建议使用它们的使用。使用这个配置和 'ssl.enabled.protocols' 的默认值,如果服务器不支持 'TLSv1.3',客户端将降级为 'TLSv1.2'。如果此配置被设置为 'TLSv1.2',则客户端将不会使用 'TLSv1.3',即使它是 ssl.enabled.protocols 中的一个值,且服务器只支持 'TLSv1.3'。
ssl.providerType: string
Default: null
Importance: medium
用于 SSL 连接的安全提供程序的名称。默认值为 JVM 的默认安全提供程序。
ssl.truststore.typetype: string
Default: JKS
Importance: medium
信任存储文件的文件格式。默认
ssl.engine.factory.class目前支持的值是 [JKS, PKCS12, PEM]。worker.sync.timeout.mstype: int
Default: 3000 (3 秒)
Importance: medium
当 worker 没有与其他 worker 同步且需要重新同步配置时,请在放弃前等待这个时间,保留组,并在重新加入前等待 backoff 周期。
worker.unsync.backoff.msType: int
Default: 300000 (5 minutes)
Importance: medium
当 worker 没有与其他 worker 同步且无法在 worker.sync.timeout.ms 中捕获时,请保留 Connect 集群,然后再重新加入。
access.control.allow.methodstype: string
Default: ""
Importance: low
通过设置 Access-Control-Allow-Methods 标头来设置跨源请求支持的方法。Access-Control-Allow-Methods 标头的默认值允许 GET、POST 和 HEAD 的跨源请求。
access.control.allow.origintype: string
Default: ""
Importance: low
为 REST API 请求将 Access-Control-Allow-Origin 标头设置为。要启用跨源访问,请将其设置为允许访问 API 的应用程序的域,或 '*' 允许从任何域进行访问。默认值仅允许从 REST API 域进行访问。
admin.listenerstype: list
Default: null
Valid Values: 以逗号分隔的 URL 列表,ex: http://localhost:8080,https://localhost:8443.
Importance: low
Admin REST API 将要侦听的、以逗号分隔的 URI 列表。支持的协议有 HTTP 和 HTTPS。空白字符串将禁用此功能。默认行为是使用常规监听程序(由 'listeners' 属性指定)。
auto.include.jmx.reporterType: boolean
Default: true
Importance: low
已弃用。即使没有在
metric.reporters中列出,也自动包含 JmxReporter。此配置将在 Kafka 4.0 中删除,用户应改为将org.apache.kafka.common.metrics.JmxReporter包含在metric.reporters中,以便启用 JmxReporter。client.idtype: string
Default: ""
Importance: low
在发出请求时传递给服务器的 id 字符串。这样做的目的是通过允许将逻辑应用程序名称包含在服务器端请求日志中来跟踪超过 ip/port 的请求源。
config.providerstype: list
Default: ""
Importance: low
以逗号分隔的
ConfigProvider类名称,按指定的顺序加载和使用。通过实施 interfaceConfigProvider,您可以替换连接器配置中的变量引用,如外部化 secret。config.storage.replication.factorDescription: short
Default: 3
Valid Values: Positive number not than Kafka 集群中的代理数量,或者 -1 使用代理的默认
导入: low
创建配置存储主题时使用的复制因素。
connect.protocoltype: string
Default: sessioned
Valid Values: [eager, compatible, sessioned]
Importance: low
Kafka 连接协议的兼容性模式。
header.convertertype: class
Default: org.apache.kafka.connect.storage.SimpleHeaderConverter
Importance: low
HeaderConverter 类,用于转换 Kafka Connect 格式和写入 Kafka 的序列化表单。这控制了从 Kafka 写入或读取的信息中的标头值格式,因为这独立于连接器,允许任何连接器使用任何序列化格式。常见格式示例包括 JSON 和 Avro。默认情况下,SimpleHeaderConverter 用于将标头值序列化为字符串,并通过推断 schema 来反序列化它们。
inter.worker.key.generation.algorithmtype: string
Default: HmacSHA256
Valid Values: worker JVM
Importance: low 支持的任何 KeyGenerator 算法
用于生成内部请求密钥的算法。算法 'HmacSHA256' 将用作支持它的 JVM 的默认算法;在使用其他 JVM 中,不使用默认值,并在 worker 配置中手动指定此属性的值。
inter.worker.key.sizeType: int
Default: null
Importance: low
用于签名内部请求的密钥大小(以位为单位)。如果为 null,则使用密钥生成算法的默认密钥大小。
inter.worker.key.ttl.mstype: int
Default: 3600000 (1 小时)
Valid Values: [0,…,2147483647]
Importance: low
用于内部请求验证(以毫秒为单位)生成的会话密钥的 TTL。
inter.worker.signature.algorithmtype: string
Default: HmacSHA256
Valid Values: worker JVM
Importance: low 支持的任何 MAC 算法
用于为内部请求算法 'inter.worker.signature.algorithm' 的算法将被用作支持它的 JVM 的默认算法;在其他 JVM 上,不使用默认值,且必须在 worker 配置中手动指定此属性的值。
inter.worker.verification.algorithmstype: list
Default: HmacSHA256
Valid Values: 一个或多个 MAC 算法的列表,每个算法都由 worker JVM
导入: low
验证内部请求的允许算法列表,它必须包含用于 inter.worker.signature.algorithm 属性的算法。该算法 '[HmacSHA256]' 将用作提供它们的 JVM 的默认算法;在其他 JVM 上,不使用默认值,并在 worker 配置中手动指定此属性的值。
监听器type: list
Default: http://:8083
Valid Values: 列表用逗号分开的 URL, ex: http://localhost:8080,https://localhost:8443.
Importance: low
REST API 将要侦听的、以逗号分隔的 URI 列表。支持的协议有 HTTP 和 HTTPS。将 hostname 指定为 0.0.0.0 以绑定到所有接口。将 hostname 留空给默认接口。法律侦听器列表示例: HTTP://myhost:8083,HTTPS://myhost:8084。
metadata.max.age.msType: long
Default: 300000 (5 minutes)
Valid Values: [0,…]
Importance: low
以毫秒为单位的时间,我们强制刷新元数据,即使我们未看到任何分区领导更改来主动发现任何新的代理或分区。
metric.reporterstype: list
Default: ""
Importance: low
用作指标报告器的类列表。通过实施
org.apache.kafka.common.metrics.MetricsReporter接口,可以插入新指标创建通知的类。JmxReporter 始终包含在注册 JMX 统计数据中。metrics.num.samplestype: int
Default: 2
Valid Values: [1,…]
Importance: low
维护到计算指标的示例数量。
metrics.recording.leveltype: string
Default: INFO
Valid Values: [INFO, DEBUG]
Importance: low
指标的最高记录级别。
metrics.sample.window.msType: long
Default: 30000 (30 seconds)
Valid Values: [0,…]
Importance: low
计算指标示例的时间窗口。
offset.flush.interval.msType: long
Default: 60000 (1 minute)
Importance: low
尝试为任务提交偏移的时间间隔。
offset.flush.timeout.msType: long
Default: 5000 (5 秒)
Importance: low
在取消进程并恢复将来尝试中的偏移数据前,等待记录刷新和分区偏移数据的最大毫秒数。此属性对使用完全支持运行的源连接器没有影响。
offset.storage.partitionstype: int
Default: 25
Valid Values: Positive number, 或 -1 来使用代理的默认
导入: low
创建偏移存储主题时使用的分区数量。
offset.storage.replication.factorDescription: short
Default: 3
Valid Values: Positive number not than Kafka 集群中的代理数量,或者 -1 使用代理的默认
导入: low
创建偏移存储主题时使用的复制因素。
plugin.pathtype: list
Default: null
Importance: low
使用逗号分开的路径列表(,),其中包含插件(连接器、转换器、转换)。该列表应包含顶层目录,其中包含任何组合:a)目录,其中紧包含有插件及其依赖项 B 的 jar 目录。uber-jars (带有插件及其依赖项)目录会立即包含插件类及其依赖项结构的软件包目录结构,请注意:符号链接将遵循相应的依赖项或插件。示例: plugin.path=/usr/local/share/java,/usr/local/share/kafka/plugins,/opt/connectors Do not use config provider variables,因为原始路径供 worker 的扫描程序用于替换变量。
reconnect.backoff.max.msType: long
Default: 1000 (1 second)
Valid Values: [0,…]
Importance: low
当重新连接到重复连接失败的代理时,需要等待的最大时间(毫秒)。如果提供,每个主机的 backoff 将为每个连续的连接失败指数增加,直到最高值。在计算 backoff 增长后,会添加 20% 随机的 jitter 以避免连接 storms。
reconnect.backoff.msType: long
Default: 50
Valid Values: [0,…]
Importance: low
尝试重新连接到给定主机前需要等待的基本时间。这可避免在紧张循环中重复连接到主机。这个 backoff 适用于客户端到代理的所有连接尝试。
response.http.headers.configtype: string
Default: ""
Valid Values: Comma- separated header rules,其中每个标头规则都是 '[action] [header name]:[header value]',并在标头规则中的任何部分包含逗号
Importance: low,并选择性地被双引号包括: low
REST API HTTP 响应标头规则。
rest.advertised.host.nameType: string
Default: null
Importance: low
如果设置了此设置,这是提供给其他 worker 连接的主机名。
rest.advertised.listenerType: string
Default: null
Importance: low
设置提供给其他 worker 的公告监听程序(HTTP 或 HTTPS)。
rest.advertised.portType: int
Default: null
Importance: low
如果设置了此设置,这是提供给其他 worker 以进行连接的端口。
rest.extension.classestype: list
Default: ""
Importance: low
以逗号分隔的
ConnectRestExtension类名称,按照指定的顺序载入并调用。通过实施接口ConnectRestExtension,您可以注入到 Connect 的 REST API 用户定义的资源,如过滤器。通常用于添加自定义功能,如日志记录、安全等。retry.backoff.msType: long
Default: 100
Valid Values: [0,…]
Importance: low
尝试重试失败的请求到给定主题分区前等待的时间。这可避免在某些故障情况下在严格的循环中重复发送请求。
sasl.kerberos.kinit.cmdtype: string
Default: /usr/bin/kinit
Importance: low
Kerberos kinit 命令路径。
sasl.kerberos.min.time.before.reloginType: long
Default: 60000
Importance: low
刷新尝试之间的登录线程睡眠时间。
sasl.kerberos.ticket.renew.jitterType: double
Default: 0.05
Importance: low
添加到续订时间的随机 jitter 百分比。
sasl.kerberos.ticket.renew.window.factorType: double
Default: 0.8
Importance: low
登录线程会处于睡眠状态,直到最后一次刷新到票据到期时间的指定窗口因子被达到,此时它将尝试续订票据。
sasl.login.connect.timeout.msType: int
Default: null
Importance: low
(可选)外部身份验证供应商连接超时的值(以毫秒为单位)。目前仅适用于 OAUTHBEARER。
sasl.login.read.timeout.msType: int
Default: null
Importance: low
(可选)外部身份验证提供程序读取超时的值(以毫秒为单位)。目前仅适用于 OAUTHBEARER。
sasl.login.refresh.buffer.secondsType: short
Default: 300
Valid Values: [0,…,3600]
Importance: low
刷新凭证时,凭证过期前要维护的缓冲区时间(以秒为单位)。如果刷新的过期时间比缓冲区秒数接近,则会移动刷新以尽可能多地维护缓冲区时间。法律值介于 0 到 3600 之间(1 小时);如果没有指定值,则使用默认值 300 (5 分钟)。如果它们总和超过凭证的剩余生命周期,则这个值和 sasl.login.refresh.min.period.seconds 都会被忽略。目前仅适用于 OAUTHBEARER。
sasl.login.refresh.min.period.secondsType: short
Default: 60
Valid Values: [0,…,900]
Importance: low
在刷新凭证前,登录刷新线程需要最少的时间(以秒为单位)。法律值介于 0 到 900 (15 分钟);如果没有指定值,则使用默认值 60 (1 分钟)。如果其总和超过凭证的剩余生命周期,则这个值和 sasl.login.refresh.buffer.seconds 都会被忽略。目前仅适用于 OAUTHBEARER。
sasl.login.refresh.window.factorType: double
Default: 0.8
Valid Values: [0.5,…,1.0]
Importance: low
登录刷新线程将休眠,直到达到了与凭证生命周期相关的指定窗口因子,在此期间它将尝试刷新凭证。法律值介于 0.5 (50%)和 1.0 (100%)之间,如果未指定值,则使用默认值 0.8 (80%)。目前仅适用于 OAUTHBEARER。
sasl.login.refresh.window.jitterType: double
Default: 0.05
Valid Values: [0.0,…,0.25]
Importance: low
与凭证生命周期相关的随机 jitter 的最大随机处理量,添加到登录刷新线程的睡眠时间中。法律值介于 0 到 0.25(25%)之间,如果没有指定值,则使用默认值 0.05(5%)。目前仅适用于 OAUTHBEARER。
sasl.login.retry.backoff.max.msType: long
Default: 10000 (10 秒)
Importance: low
(可选)值(可选)值,以毫秒为单位,登录尝试外部身份验证提供程序之间的最长等待时间。login 使用基于 sasl.login.retry.backoff.ms 设置的初始等待时间的 exponential backoff 算法,并在尝试通过 sasl.login.retry.backoff.max.ms 设置指定的最大等待长度之间以等待长度加倍。目前仅适用于 OAUTHBEARER。
sasl.login.retry.backoff.msType: long
Default: 100
Importance: low
(可选)值(可选)值,以毫秒为单位,用于登录尝试外部身份验证提供程序之间的初始等待。login 使用基于 sasl.login.retry.backoff.ms 设置的初始等待时间的 exponential backoff 算法,并在尝试通过 sasl.login.retry.backoff.max.ms 设置指定的最大等待长度之间以等待长度加倍。目前仅适用于 OAUTHBEARER。
sasl.oauthbearer.clock.skew.secondsType: int
Default: 30
Importance: low
(可选)值(以秒为单位)允许 OAuth/OIDC 身份提供程序和代理的时间之间的区别。
sasl.oauthbearer.expected.audiencetype: list
Default: null
Importance: low
(可选)代理的以逗号分隔的设置,用于验证为预期受众之一发布的 JWT。JWT 将检查是否有标准的 OAuth "aud" 声明,如果设置了这个值,代理将匹配 JWT 的"aud"声明中的值,以查看是否有完全匹配。如果没有匹配项,代理将拒绝 JWT,身份验证将失败。
sasl.oauthbearer.expected.issuerType: string
Default: null
Importance: low
(可选)代理用于验证 JWT 是由预期签发者创建的。JWT 将检查是否有标准的 OAuth"iss"声明,如果设置了这个值,代理将完全与 JWT 的"iss"声明中的内容匹配。如果没有匹配项,代理将拒绝 JWT,身份验证将失败。
sasl.oauthbearer.jwks.endpoint.refresh.msType: long
Default: 3600000 (1 小时)
Importance: low
(可选)值(可选)代理在刷新其 JWKS (JSON Web Key Set)缓存之间等待的时间(以毫秒为单位),其中包含验证 JWT 签名的密钥。
sasl.oauthbearer.jwks.endpoint.retry.backoff.max.msType: long
Default: 10000 (10 秒)
Importance: low
(可选)值(可选)值(以毫秒为单位),尝试从外部身份验证供应商检索 JWKS (JSON Web Key Set)之间的最长等待时间。JWKS 检索使用基于 sasl.oauthbearer.jwks.endpoint.retry.backoff.ms 设置的初始等待时间,在尝试达到由 sasl.oauthbearer.jwks.endpoint.retry.backoff.max.ms 设置指定的最大等待长度之间会重复等待长度。
sasl.oauthbearer.jwks.endpoint.retry.backoff.msType: long
Default: 100
Importance: low
(可选)值(可选)值,以毫秒为单位,用于来自外部身份验证提供程序的 JWKS (JSON Web Key Set)检索尝试。JWKS 检索使用基于 sasl.oauthbearer.jwks.endpoint.retry.backoff.ms 设置的初始等待时间,在尝试达到由 sasl.oauthbearer.jwks.endpoint.retry.backoff.max.ms 设置指定的最大等待长度之间会重复等待长度。
sasl.oauthbearer.scope.claim.nametype: string
Default: scope
Importance: low
范围的 OAuth 声明通常命名为"scope",但这(可选)设置可以提供与 JWT 有效负载声明中包含的范围使用不同的名称,如果 OAuth/OIDC 供应商对该声明使用不同的名称。
sasl.oauthbearer.sub.claim.nametype: string
Default: sub
Importance: low
主题的 OAuth 声明通常名为"sub",但这(可选)设置可以提供与 JWT 有效负载声明中包含的主题使用不同的名称,如果 OAuth/OIDC 供应商对该声明使用不同的名称。
scheduled.rebalance.max.delay.mstype: int
Default: 300000 (5 minutes)
Valid Values: [0,…,2147483647]
Importance: low
调度的最大延迟时间,以等待一个或多个取消部分 worker 返回,然后再重新平衡并将其连接器和任务重新分配给组。在此期间,已分离的 worker 的连接器和任务仍保持未分配。
socket.connection.setup.timeout.max.msType: long
Default: 30000 (30 seconds)
Valid Values: [0,…]
Importance: low
客户端将等待套接字连接建立的最长时间。对于每个连续连接失败,连接设置超时将以指数级增长到此最大值。为避免连接失败,0.2 的随机因素将应用于超时,导致在计算值高于计算值的 20% 到 20% 之间的随机范围。
socket.connection.setup.timeout.msType: long
Default: 10000 (10 秒)
Valid Values: [0,…]
Importance: low
客户端将等待套接字连接建立的时间。如果在超时前没有构建连接,客户端将关闭套接字频道。
ssl.cipher.suitestype: list
Default: null
Importance: low
密码套件列表。这是身份验证、加密、MAC 和密钥交换算法的命名组合,用于使用 TLS 或 SSL 网络协议协商网络连接的安全设置。默认情况下支持所有可用的密码套件。
ssl.client.authtype: string
Default: none
Valid Values: [required, requested, none]
Importance: low
配置 kafka 代理以请求客户端身份验证。以下设置很常见:
-
ssl.client.auth=requiredif set to required client authentication required. -
ssl.client.auth=requested意味着客户端身份验证是可选的。如果需要,如果设置此选项,客户端可以选择不提供有关其自身的身份验证信息 -
SSL.client.auth=none意味着不需要客户端身份验证。
-
ssl.endpoint.identification.algorithmtype: string
Default: https
Importance: low
使用服务器证书验证服务器主机名的端点标识算法。
ssl.engine.factory.classType: class
Default: null
Importance: low
用于提供 SSLEngine 对象的 org.apache.kafka.common.security.auth.SslEngineFactory 类型的类。默认值为 org.apache.kafka.common.security.ssl.DefaultSslEngineFactory。
ssl.keymanager.algorithmtype: string
Default: SunX509
Importance: low
用于 SSL 连接的密钥管理器工厂使用的算法。Default 值是为 Java 虚拟机配置的密钥管理器工厂算法。
ssl.secure.random.implementationType: string
Default: null
Importance: low
用于 SSL 加密操作的 SecureRandom PRNG 实现。
ssl.trustmanager.algorithmtype: string
Default: PKIX
Importance: low
信任管理器工厂用于 SSL 连接的算法。Default 值是为 Java 虚拟机配置的信任管理器工厂算法。
status.storage.partitionstype: int
Default: 5
Valid Values: Positive number, 或 -1 来使用代理的默认
导入: low
创建状态存储主题时使用的分区数量。
status.storage.replication.factorDescription: short
Default: 3
Valid Values: Positive number not than Kafka 集群中的代理数量,或者 -1 使用代理的默认
导入: low
创建状态存储主题时使用的复制因素。
task.shutdown.graceful.timeout.msType: long
Default: 5000 (5 秒)
Importance: low
等待任务正常关闭的时间。这是总时间,而不是每个任务。所有任务都触发了关闭,然后按顺序等待它们。
topic.creation.enableType: boolean
Default: true
Importance: low
当源连接器配置了
topic.creation.属性时,是否允许自动创建源连接器。每个任务都将使用 admin 客户端创建其主题,且不会依赖于 Kafka 代理自动创建主题。topic.tracking.allow.resetType: boolean
Default: true
Importance: low
如果设置为 true,则允许用户请求每个连接器重置活跃主题集合。
topic.tracking.enableType: boolean
Default: true
Importance: low
启用在运行时跟踪每个连接器的活动主题集合。