6장. Kafka Connect 구성 속성
config.storage.topic유형: 문자열
Importance: high
커넥터 구성이 저장되는 Kafka 항목의 이름입니다.
group.id유형: 문자열
Importance: high
이 작업자가 속한 Connect 클러스터 그룹을 식별하는 고유한 문자열입니다.
key.converter유형: class
Importance: high
Kafka Connect 형식과 Kafka에 기록된 직렬화 형식 간에 변환하는 데 사용되는 Cryostat 클래스입니다. 이는 Kafka로 작성되거나 읽혀진 메시지의 키 형식을 제어하며 커넥터와 독립적이므로 모든 커넥터가 직렬화 형식으로 작동할 수 있습니다. 일반적인 형식의 예로는 JSON 및 Avro가 있습니다.
offset.storage.topic유형: 문자열
Importance: high
소스 커넥터 오프셋이 저장되는 Kafka 항목의 이름입니다.
status.storage.topic유형: 문자열
Importance: high
커넥터 및 작업 상태가 저장되는 Kafka 항목의 이름입니다.
value.converter유형: class
Importance: high
Kafka Connect 형식과 Kafka에 기록된 직렬화 형식 간에 변환하는 데 사용되는 Cryostat 클래스입니다. 이는 Kafka로 작성되거나 읽혀진 메시지의 값 형식을 제어하며 커넥터와 독립적이므로 모든 커넥터가 직렬화 형식으로 작동할 수 있습니다. 일반적인 형식의 예로는 JSON 및 Avro가 있습니다.
bootstrap.serverstype: list
default: localhost:9092
Importance: high
Kafka 클러스터에 대한 초기 연결을 설정하는 데 사용할 호스트/포트 쌍 목록입니다. 클라이언트는 부트스트랩을 위해 여기에 지정된 서버를 여기에 관계없이 모든 서버를 사용합니다. 이 목록은 전체 서버 세트를 검색하는 데 사용되는 초기 호스트에만 영향을 미칩니다. 이 목록은
host1:port1,host2:port2,…이어야 합니다. 이러한 서버는 초기 연결에서 전체 클러스터 멤버십을 검색하는 데만 사용되므로(동적으로 변경될 수 있음) 이 목록에는 전체 서버 세트가 포함되지 않아도 됩니다(서버가 다운된 경우 하나 이상 필요).exactly.once.source.support유형: 문자열
default: disabled
유효한 값: (대소문자 구분) [DISABLED, ENABLED, PREPARING]
중요도: high
트랜잭션을 사용하여 소스 레코드와 소스 오프셋을 작성하고 새 작업 생성을 사전에 펜싱하여 클러스터의 소스 커넥터를 정확하게 지원할지 여부입니다. 새 클러스터에서 정확하게 소스 지원을 활성화하려면 이 속성을 'enabled'로 설정합니다. 기존 클러스터에 대한 지원을 활성화하려면 먼저 클러스터의 모든 작업자에서 'preparing'으로 설정한 다음 'enabled'로 설정합니다. 롤링 업그레이드는 두 변경 사항에 모두 사용할 수 있습니다. 이 기능에 대한 자세한 내용은 exactly-once 소스 지원 설명서를 참조하십시오.
heartbeat.interval.ms유형: int
기본값: 3000 (3초)
중요도: high
Kafka의 그룹 관리 기능을 사용할 때 하트비트 간 그룹 코디네이터 간 예상 시간입니다. 하트비트는 작업자의 세션이 활성 상태를 유지하고 새 멤버가 그룹에 참여하거나 나가면 재조정을 용이하게 하는 데 사용됩니다. 값은
session.timeout.ms보다 작아야 하지만 일반적으로 해당 값의 1/3 이상을 설정하지 않아야 합니다. 정상적인 리밸런스에 필요한 시간을 제어하도록 더욱 낮게 조정할 수 있습니다.rebalance.timeout.ms유형: int
기본값: 60000(1분)
중요도: high
리밸런스가 시작된 후 각 작업자가 그룹에 참여할 수 있는 최대 시간입니다. 이는 기본적으로 모든 작업에서 보류 중인 데이터 및 커밋 오프셋을 플러시하는 데 필요한 시간 제한입니다. 시간 초과를 초과하면 작업자가 그룹에서 제거되어 오프셋 커밋이 실패합니다.
session.timeout.ms유형: int
기본값: 10000(10초)
중요도: high
작업자 오류를 감지하는 데 사용되는 타임아웃입니다. 작업자는 주기적인 하트비트를 전송하여 브로커에 활성을 나타냅니다. 이 세션이 만료되기 전에 브로커가 하트비트를 수신하지 않으면 브로커는 그룹에서 작업자를 제거하고 재조정을 시작합니다. 값은 브로커 구성에 구성된 대로 허용 범위에 있어야 합니다
.min.session.timeout.ms 및.ms .group.max.session.timeout.msssl.key.password유형: password
기본값: null
Importance: high
키 저장소 파일의 개인 키 또는 'ssl.keystore.key'에 지정된 PEM 키의 암호입니다.
ssl.keystore.certificate.chain유형: password
기본값: null
Importance: high
'ssl.keystore.type'에 지정된 형식의 인증서 체인입니다. 기본 SSL 엔진 팩토리에서는 X.509 인증서 목록이 있는 PEM 형식만 지원합니다.
ssl.keystore.key유형: password
기본값: null
Importance: high
'ssl.keystore.type'에 지정된 형식의 개인 키입니다. 기본 SSL 엔진 팩토리에서는 PKCS#8 키가 있는 PEM 형식만 지원합니다. 키가 암호화된 경우 'ssl.key.password'를 사용하여 키 암호를 지정해야 합니다.
ssl.keystore.location유형: 문자열
기본값: null
Importance: high
키 저장소 파일의 위치입니다. 클라이언트의 경우 선택 사항이며 클라이언트의 양방향 인증에 사용할 수 있습니다.
ssl.keystore.password유형: password
기본값: null
Importance: high
키 저장소 파일의 저장소 암호입니다. 이는 클라이언트에 선택 사항이며 'ssl.keystore.location'이 구성된 경우에만 필요합니다. PEM 형식에는 키 저장소 암호가 지원되지 않습니다.
ssl.truststore.certificates유형: password
기본값: null
Importance: high
'ssl.truststore.type'에서 지정한 형식의 신뢰할 수 있는 인증서입니다. 기본 SSL 엔진 팩토리에서는 X.509 인증서가 있는 PEM 형식만 지원합니다.
ssl.truststore.location유형: 문자열
기본값: null
Importance: high
신뢰 저장소 파일의 위치입니다.
ssl.truststore.password유형: password
기본값: null
Importance: high
신뢰 저장소 파일의 암호입니다. 암호를 설정하지 않으면 구성된 신뢰 저장소 파일이 계속 사용되지만 무결성 검사가 비활성화됩니다. PEM 형식에 대해 신뢰 저장소 암호가 지원되지 않습니다.
client.dns.lookuptype : string
default: use_all_dns_ips
유효한 값: [use_all_dns_ips, resolve_canonical_bootstrap_servers_only]
Importance: medium
클라이언트에서 DNS 조회를 사용하는 방법을 제어합니다.
use_all_dns_ips로 설정된 경우 성공적인 연결이 설정될 때까지 반환된 각 IP 주소에 순서대로 연결합니다. 연결 해제 후 다음 IP가 사용됩니다. 모든 IP가 한 번 사용되면 클라이언트는 호스트 이름에서 IP를 다시 확인합니다(JVM 및 OS 캐시 DNS 이름 조회 모두).resolve_canonical_bootstrap_servers_only로 설정된 경우 각 부트스트랩 주소를 정식 이름 목록으로 확인합니다. 부트스트랩 단계 후use_all_dns_ips와 동일하게 작동합니다.connections.max.idle.ms유형: long
기본값: 540000 (9 분)
중요도: 중간
이 구성에서 지정한 시간(밀리초) 후에 유휴 연결을 종료합니다.
connector.client.config.override.policy유형: 문자열
기본값: All
Importance: medium
ConnectorClientConfigOverridePolicy의 구현의 클래스 이름 또는 별칭입니다. 커넥터로 재정의할 수 있는 클라이언트 구성을 정의합니다. 기본 구현은모두입니다. 즉, 커넥터 구성이 모든 클라이언트 속성을 재정의할 수 있습니다. 프레임워크의 다른 가능한 정책에는 클라이언트 속성을 재정의하지 못하도록 하는None이 포함되며, 커넥터가 클라이언트주체만 재정의할 수 있도록 하는 보안 주체가 포함됩니다.receive.buffer.bytes유형: int
기본값: 32768(32 키비바이트)
유효한 값: [-1,…]
Importance: medium
데이터를 읽을 때 사용할 TCP 수신 버퍼(SO_RCVBUF)의 크기입니다. 값이 -1이면 OS 기본값이 사용됩니다.
request.timeout.ms유형: int
기본값: 40000(40초)
유효한 값: [0,…]
Importance: medium
구성은 클라이언트가 요청 응답을 기다리는 최대 시간을 제어합니다. 시간 초과가 경과하기 전에 응답을 수신하지 않으면 필요한 경우 클라이언트가 요청을 다시 전송하거나 재시도가 소진되면 요청을 다시 보냅니다.
sasl.client.callback.handler.class유형: class
Default: null
Importance: medium
AuthenticateCallbackHandler 인터페이스를 구현하는 SASL 클라이언트 콜백 처리기 클래스의 정규화된 이름입니다.
sasl.jaas.config유형: password
기본값: null
Importance: medium
JAAS 구성 파일에서 사용하는 형식의 SASL 연결에 대한 JAAS 로그인 컨텍스트 매개변수입니다. JAAS 구성 파일 형식은 여기에 설명되어 있습니다. 값 형식은
loginModuleClass controlFlag (optionName=optionValue)*;입니다. 브로커의 경우 구성 앞에 리스너 접두사 및 SASL 메커니즘 이름 앞에 소문자를 붙여야 합니다. 예를 들어 listener.name.sasl_ssl.scram-sha-256.sasl.jaas.config=com.example.ScramLoginModule이 필요합니다.sasl.kerberos.service.name유형: 문자열
기본값: null
Importance: medium
Kafka가 실행되는 Kerberos 주체 이름입니다. Kafka의 JAAS config 또는 Kafka의 config에서 정의할 수 있습니다.
sasl.login.callback.handler.class유형: class
Default: null
Importance: medium
AuthenticateCallbackHandler 인터페이스를 구현하는 SASL 로그인 콜백 처리기 클래스의 정규화된 이름입니다. 브로커의 경우 로그인 콜백 처리기 구성 앞에 리스너 접두사 및 SASL 메커니즘 이름 앞에 소문자를 붙여야 합니다. 예를 들어 listener.name.sasl_ssl.scram-sha-256.sasl.login.callback.handler.class=com.example.CustomScramLoginCallbackHandler입니다.
sasl.login.class유형: class
Default: null
Importance: medium
로그인 인터페이스를 구현하는 클래스의 정규화된 이름입니다. 브로커의 경우 로그인 구성 앞에는 리스너 접두사와 SASL 메커니즘 이름 앞에 소문자를 붙여야 합니다. 예를 들어 listener.name.sasl_ssl.scram-sha-256.sasl.login.class=com.example.CustomScramLogin입니다.
sasl.mechanism유형: 문자열
기본값: GSSAPI
Importance: medium
클라이언트 연결에 사용되는 SASL 메커니즘입니다. 이는 보안 공급자를 사용할 수 있는 메커니즘일 수 있습니다. GSSAPI는 기본 메커니즘입니다.
sasl.oauthbearer.jwks.endpoint.url유형: 문자열
기본값: null
Importance: medium
공급자의 JWKS(JSON 웹 키 세트) 를 검색할 수 있는 OAuth/OIDC 공급자 URL입니다. URL은 HTTP(S) 기반 또는 파일 기반일 수 있습니다. URL이 HTTP(S) 기반인 경우 브로커 시작 시 구성된 URL을 통해 OAuth/OIDC 제공업체에서 JWKS 데이터가 검색됩니다. 이후의 모든 최신 키는 들어오는 요청을 위해 브로커에 캐시됩니다. 캐시에 아직 없는 "kid" 헤더 클레임 값을 포함하는 JWT에 대한 인증 요청이 수신되면 필요에 따라 JWKS 엔드포인트가 다시 쿼리됩니다. 그러나 브로커는 모든 sasl.oauthbearer.jwks.endpoint.refresh.ms 밀리초를 폴링하여 해당 URL을 포함하는 JWT 요청이 수신되기 전에 향후 키로 캐시를 새로 고칩니다. URL이 파일 기반이면 브로커는 시작 시 구성된 위치에서 JWKS 파일을 로드합니다. JWT에 JWKS 파일에 없는 "kid" 헤더 값이 포함된 경우 브로커는 JWT를 거부하고 인증이 실패합니다.
sasl.oauthbearer.token.endpoint.url유형: 문자열
기본값: null
Importance: medium
OAuth/OIDC ID 공급자의 URL입니다. URL이 HTTP(S) 기반인 경우 sasl.jaas.config의 구성에 따라 로그인할 요청의 발행자 토큰 끝점 URL입니다. URL이 파일 기반인 경우 권한 부여에 사용할 OAuth/OIDC ID 공급자가 발행한 액세스 토큰( JWT로 직렬화된 양식)이 포함된 파일을 지정합니다.
security.protocol유형: 문자열
기본값: PLAINTEXT
유효한 값: (대소문자 구분) [SASL_SSL, PLAINTEXT, SSL, SASL_PLAINTEXT]
Importance: medium
브로커와 통신하는 데 사용되는 프로토콜입니다. 유효한 값은 PLAINTEXT, SSL, SASL_PLAINTEXT, SASL_SSL입니다.
send.buffer.bytes유형: int
기본값: 131072(128 kibibytes)
유효한 값: [-1,…]
Importance: medium
데이터를 전송할 때 사용할 TCP 전송 버퍼(SO_SNDBUF)의 크기입니다. 값이 -1이면 OS 기본값이 사용됩니다.
ssl.enabled.protocolstype: list: list
default: TLSv1.2,TLSv1.3
Importance: medium
SSL 연결에 활성화된 프로토콜 목록입니다. Java 11 이상에서 실행하는 경우 기본값은 'TLSv1.2,TLSv1.3'이며, 그렇지 않으면 'TLSv1.2'입니다. Java 11의 기본값을 사용하면 클라이언트와 서버는 TLSv1.2를 지원하고 그 대신 TLSv1.2를 모두 지원하는 경우 TLSv1.3을 선호합니다(적어도 TLSv1.2 이상 지원). 대부분의 경우 이 기본값은 정상이어야 합니다.
ssl.protocol의 구성 문서를 참조하십시오.ssl.keystore.type유형: 문자열
기본값: JKS
중요도: 중간
키 저장소 파일의 파일 형식입니다. 클라이언트에는 선택 사항입니다. 현재 기본
ssl.engine.factory.class에서 지원하는 값은 [JKS, PKCS12, PEM]입니다.ssl.protocol유형: 문자열
기본값: TLSv1.3
중요도: 중간
SSLContext를 생성하는 데 사용되는 SSL 프로토콜입니다. Java 11 이상에서 실행하는 경우 기본값은 'TLSv1.3'이며, 그렇지 않으면 'TLSv1.2'입니다. 이 값은 대부분의 사용 사례에 적합해야 합니다. 최근 JVM에서 허용되는 값은 'TLSv1.2' 및 'TLSv1.3'입니다. 'TLS', 'TLSv1.1', 'SSL', 'SSLv2' 및 'SSLv3'은 이전 JVM에서 지원되지 않을 수 있지만 알려진 보안 취약점으로 인해 사용이 권장되지 않습니다. 이 구성 및 'ssl.enabled.protocols'의 기본값을 사용하면 서버가 'TLSv1.3'을 지원하지 않는 경우 클라이언트가 'TLSv1.2'로 다운그레이드됩니다. 이 구성이 'TLSv1.2'로 설정된 경우 클라이언트는 ssl.enabled.protocols의 값 중 하나이고 서버가 'TLSv1.3'만 지원하는 경우에도 'TLSv1.3'을 사용하지 않습니다.
ssl.provider유형: 문자열
기본값: null
Importance: medium
SSL 연결에 사용되는 보안 공급자의 이름입니다. 기본값은 JVM의 기본 보안 공급자입니다.
ssl.truststore.type유형: 문자열
기본값: JKS
중요도: 중간
신뢰 저장소 파일의 파일 형식입니다. 현재 기본
ssl.engine.factory.class에서 지원하는 값은 [JKS, PKCS12, PEM]입니다.worker.sync.timeout.ms유형: int
기본값: 3000 (3초)
중요도: 중간
작업자가 다른 작업자와 동기화되지 않고 구성을 다시 동기화해야 하는 경우, 포기하기 전에 이 시간까지 기다린 후 그룹을 종료한 후 다시 가입하기 전에 백오프 기간을 기다립니다.
worker.unsync.backoff.ms유형: int
기본값: 300000 (5분)
중요도: 중간
작업자가 다른 작업자와 동기화되지 않고 worker.sync.timeout.ms 내에서 catch하지 못하면 다시 가입하기 전에 이 기간 동안 연결 클러스터를 남겨 둡니다.
access.control.allow.methods유형: 문자열
기본값: ""
중요도: 낮음
Access-Control-Allow-Methods 헤더를 설정하여 교차 원본 요청에 지원되는 메서드를 설정합니다. Access-Control-Allow-Methods 헤더의 기본값은 GET, POST 및 HEAD에 대한 교차 원본 요청을 허용합니다.
access.control.allow.origin유형: 문자열
기본값: ""
중요도: 낮음
값을 REST API 요청에 대해 Access-Control-Allow-Origin 헤더를 설정하여 교차 원본 액세스를 활성화하려면 이 헤더를 API에 액세스하도록 허용하거나 '*'를 사용하여 모든 도메인의 액세스를 허용합니다. 기본값은 REST API의 도메인에서만 액세스할 수 있습니다.
admin.listenerstype: list
default: null
유효한 값: 쉼표로 구분된 URL 목록, 예: http://localhost:8080,https://localhost:8443.
가져오기: 낮음
Admin REST API가 수신 대기할 쉼표로 구분된 URI 목록입니다. 지원되는 프로토콜은 HTTP 및 HTTPS입니다. 빈 문자열 또는 빈 문자열은 이 기능을 비활성화합니다. 기본 동작은 일반 리스너를 사용하는 것입니다( 'listeners' 속성으로 지정됨).
auto.include.jmx.reporter유형: 부울
기본값: true
Importance: low
더 이상 사용되지 않습니다.
metric.reporters에 나열되지 않은 경우에도 JmxReporter를 자동으로 포함할지 여부입니다. 이 구성은 Kafka 4.0에서 제거되며 대신 JmxReporter를 활성화하려면metric.reporters에org.apache.kafka.common.metrics.JmxReporter를 포함해야 합니다.client.id유형: 문자열
기본값: ""
중요도: 낮음
요청을 수행할 때 서버에 전달할 id 문자열입니다. 이를 위해 논리적 애플리케이션 이름을 서버 측 요청 로깅에 포함하도록 허용하여 ip/port 이외의 요청 소스를 추적할 수 있습니다.
config.providerstype: list
default: ""
Importance: low
ConfigProvider클래스의 쉼표로 구분된 이름은 지정된 순서로 로드 및 사용됩니다.ConfigProvider인터페이스를 구현하면 외부화된 보안과 같은 커넥터 구성에서 변수 참조를 교체할 수 있습니다.config.storage.replication.factor유형: short
default: 3
유효한 값: Kafka 클러스터의 브로커 수보다 크지 않은 잠재적 숫자 또는 -1을 입력하여 브로커의 기본값
가져오기를 사용합니다.
구성 스토리지 주제를 생성할 때 사용되는 복제 요인입니다.
connect.protocol유형: 문자열
기본값: sessioned
유효한 값: [eager, compatible, sessioned]
Importance: low
Kafka Connect 프로토콜의 호환성 모드입니다.
header.converter유형: class
Default: org.apache.kafka.connect.storage.SimpleHeaderConverter
Importance: low
Kafka Connect 형식과 Kafka에 작성된 직렬화 형식 간에 변환하는 데 사용되는 HeaderConverter 클래스입니다. 이는 Kafka로 작성되거나 읽혀진 메시지의 헤더 값 형식을 제어하며, 커넥터가 커넥터와 독립적이므로 모든 커넥터가 직렬화 형식으로 작동할 수 있습니다. 일반적인 형식의 예로는 JSON 및 Avro가 있습니다. 기본적으로 SimpleHeaderConverter는 헤더 값을 문자열로 직렬화하고 스키마를 유추하여 역직렬화하는 데 사용됩니다.
inter.worker.key.generation.algorithm유형: 문자열
기본값: HmacSHA256
유효한 값: 작업자 JVM에서 지원하는 모든 키 생성기 알고리즘
Importance: low
내부 요청 키를 생성하는 데 사용할 알고리즘입니다. 알고리즘 'HmacSHA256'은 이를 지원하는 JVM에서 기본값으로 사용됩니다. 다른 JVM에서는 기본값이 사용되지 않으며 이 속성의 값은 작업자 구성에 수동으로 지정해야 합니다.
inter.worker.key.size유형: int
default: null
Importance: low
내부 요청에 서명하는 데 사용할 키의 크기(비트)입니다. null인 경우 키 생성 알고리즘의 기본 키 크기가 사용됩니다.
inter.worker.key.ttl.ms유형: int
Default: 3600000 (1 hour)
유효한 값: [0,…,2147483647]
Importance: low
내부 요청 검증(밀리초)에 사용되는 생성된 세션 키의 TTL입니다.
inter.worker.signature.algorithm유형: 문자열
기본값: HmacSHA256
유효한 값: 작업자 JVM에서 지원하는 모든 MAC 알고리즘
Importance: low
내부 요청에 서명하는 데 사용되는 알고리즘은 알고리즘 'inter.worker.signature.algorithm'이 이를 지원하는 JVM에서 기본값으로 사용됩니다. 다른 JVM에서는 기본값이 사용되지 않으며 이 속성의 값은 작업자 구성에 수동으로 지정해야 합니다.
inter.worker.verification.algorithmstype: list: list
Default: HmacSHA256
Valid Values: 하나 이상의 MAC 알고리즘 목록으로, 각각 작업자 JVM에서 지원하는중요도: 낮음
내부 요청을 확인하기 위해 허용된 알고리즘 목록으로, inter.worker.signature.algorithm 속성에 사용되는 알고리즘을 포함해야 합니다. 알고리즘(s) '[HmacSHA256]'은 이를 제공하는 JVM에서 기본값으로 사용됩니다. 다른 JVM에서는 기본값이 사용되지 않으며 이 속성의 값은 작업자 구성에 수동으로 지정해야 합니다.
리스너type: list
default: http://:8083
유효한 값: 쉼표로 구분된 URL 목록, 예: http://localhost:8080,https://localhost:8443.
Importance: low
REST API가 수신 대기할 쉼표로 구분된 URI 목록입니다. 지원되는 프로토콜은 HTTP 및 HTTPS입니다. 모든 인터페이스에 바인딩하려면 호스트 이름을 0.0.0.0으로 지정합니다. 기본 인터페이스에 바인딩하려면 호스트 이름을 비워 둡니다. 법적 리스너 목록의 예: HTTP://myhost:8083,HTTPS://myhost:8084.
metadata.max.age.ms유형: long
기본값: 300000 (5분)
유효한 값: [0,…]
중요: 낮음
파티션 리더십 변경 사항을 보지 못하더라도 새 브로커 또는 파티션을 사전에 검색하지 못한 경우에도 메타데이터를 강제로 새로 고침한 후 밀리초 단위입니다.
metric.reporterstype: list
default: ""
Importance: low
메트릭 보고자로 사용할 클래스 목록입니다.
org.apache.kafka.common.metrics.MetricsReporter인터페이스를 구현하면 새 메트릭 생성을 알리는 클래스를 연결할 수 있습니다. JmxReporter는 항상 statistics를 등록하기 위해 포함되어 있습니다.metrics.num.samples유형: int
기본값: 2
유효한 값: [1,…]
중요도: 낮음
컴퓨팅 메트릭에 유지 관리되는 샘플 수입니다.
metrics.recording.level유형: 문자열
기본값: INFO
유효한 값: [INFO, DEBUG]
Importance: low
메트릭의 가장 높은 레코딩 수준입니다.
metrics.sample.window.ms유형: long
기본값: 30000(30초)
유효한 값: [0,…]
중요도: 낮음
메트릭 샘플이 계산되는 시간입니다.
offset.flush.interval.ms유형: long
기본값: 60000(1분)
중요도: 낮음
작업에 대한 오프셋을 커밋하는 간격입니다.
offset.flush.timeout.ms유형: long
기본값: 5000 (5초)
중요도: 낮음
레코드를 플러시하고 파티션 오프셋 데이터가 프로세스를 취소하고 나중에 커밋할 오프셋 데이터를 복원하기 전에 레코드가 플러시 및 파티션 오프셋 데이터를 커밋할 때까지 대기하는 최대 시간(밀리초)입니다. 이 속성은 정확하게 지원되는 소스 커넥터에는 영향을 미치지 않습니다.
offset.storage.partitions유형: int
default: 25
유효한 값: Positive number 또는 -1 to use the broker's default
Importance: low
오프셋 스토리지 주제를 생성할 때 사용되는 파티션 수입니다.
offset.storage.replication.factor유형: short
default: 3
유효한 값: Kafka 클러스터의 브로커 수보다 크지 않은 잠재적 숫자 또는 -1을 입력하여 브로커의 기본값
가져오기를 사용합니다.
오프셋 스토리지 주제를 생성할 때 사용되는 복제 요인입니다.
plugin.discoverytype : string
default: hybrid_warn
Valid Values: ( case insensitive) [ONLY_SCAN, SERVICE_LOAD, HYBRID_WARN, HYBRID_FAIL]
Importance: low
classpath 및 plugin.path 구성에 있는 플러그인을 검색하는 데 사용하는 방법입니다. 이는 다음과 같은 의미가 있는 여러 값 중 하나일 수 있습니다. * only_scan: 리플렉션을 통해서만 플러그인을 검색합니다. ServiceLoader에서 검색할 수 없는 플러그인은 작업자 시작에 영향을 미치지 않습니다. * hybrid_warn: 반영 및 ServiceLoader에 의해 플러그인을 검색합니다. ServiceLoader에서 검색할 수 없는 플러그인은 작업자 시작 중에 경고를 출력합니다. * hybrid_fail: ServiceLoader에 의해 플러그인을 검색합니다. ServiceLoader에서 검색할 수 없는 플러그인은 작업자 시작에 실패합니다. * service_load: ServiceLoader에서만 플러그인을 검색합니다. 다른 모드보다 더 빨리 시작 ServiceLoader에서 검색할 수 없는 플러그인은 사용할 수 없습니다.
plugin.pathtype: list
default: null
Importance: low
플러그인(연결자, 변환기, 변환)을 포함하는 쉼표(,)로 구분된 경로 목록입니다. 목록은 플러그인과 종속 항목 b가 있는 KubeletConfigs를 즉시 포함하는 상위 수준 디렉터리로 구성되어야 합니다. b) 플러그인 및 종속 항목 c가 포함된 uber-jars는 플러그인 클래스의 패키지 디렉토리 구조와 해당 종속 항목 Note: symlinks를 검색하여 종속 항목 또는 플러그인을 검색하도록 따릅니다. 예: plugin.path=/usr/local/share/java,/usr/local/share/kafka/plugins,/opt/connectors 구성 공급자 변수를 사용하지 않습니다. 구성 공급자가 초기화되고 변수를 교체하기 전에 작업자의 스캐너에서 원시 경로를 사용하므로 이 속성의 구성 공급자 변수를 사용하지 않습니다.
reconnect.backoff.max.ms유형: long
기본값: 1000 (1 second)
유효한 값: [0,…]
중요도: 낮음
반복적으로 연결하지 못한 브로커에 다시 연결할 때 대기하는 최대 시간(밀리초)입니다. 제공된 경우 호스트당 백오프는 연속되는 각 연결 오류에 대해 이 최대값까지 기하급수적으로 증가합니다. 백오프 증가를 계산한 후 연결 측정을 방지하기 위해 20%의 임의 지터가 추가됩니다.
reconnect.backoff.ms유형: long
기본값: 50
유효한 값: [0,…]
중요도: 낮음
지정된 호스트에 다시 연결하기 전에 대기하는 기본 시간입니다. 이렇게 하면 하드 루프로 호스트에 반복적으로 연결하는 것을 방지할 수 있습니다. 이 백오프는 클라이언트가 브로커에 대한 모든 연결 시도에 적용됩니다. 이 값은 초기 backoff 값이며,
reconnect.backoff.max.ms값까지 연속된 각 연결 오류에 대해 기하급수적으로 증가합니다.response.http.headers.configtype : string
Default: ""
Valid Values: Comma-separated header rules, 여기서 각 헤더 규칙은 '[action] [header name]:[header name]:[header value]' 형식으로 묶고, 필요에 따라 헤더 규칙의 일부가 쉼표
Importance 가 포함된 경우 큰따옴표로 묶습니다.
REST API HTTP 응답 헤더에 대한 규칙입니다.
rest.advertised.host.name유형: 문자열
기본값: null
Importance: low
이 값이 설정되면 연결할 다른 작업자에게 제공되는 호스트 이름입니다.
rest.advertised.listener유형: 문자열
기본값: null
Importance: low
사용할 다른 작업자에게 제공될 공개된 리스너(HTTP 또는 HTTPS)를 설정합니다.
rest.advertised.port유형: int
default: null
Importance: low
이 값이 설정되면 연결할 다른 작업자에게 제공될 포트입니다.
rest.extension.classestype: list
default: ""
Importance: low
ConnectRestExtension클래스의 쉼표로 구분된 이름은 지정된 순서로 로드 및 호출됩니다.ConnectRestExtension인터페이스를 구현하면 필터와 같은 Connect의 REST API 사용자 정의 리소스에 삽입할 수 있습니다. 일반적으로 로깅, 보안 등과 같은 사용자 지정 기능을 추가하는 데 사용됩니다.retry.backoff.max.ms유형: long
기본값: 1000 (1 second)
유효한 값: [0,…]
중요도: 낮음
반복적으로 실패한 브로커에 대한 요청을 재시도할 때 대기하는 최대 시간(밀리초)입니다. 제공된 경우 클라이언트당 백오프는 실패한 각 요청에 대해 이 최대값까지 기하급수적으로 증가합니다. 재시도 시 모든 클라이언트가 동기화되지 않도록 0.2의 비율을 가진 임의의 지터가 백오프에 적용되므로 계산된 값보다 20% 이하에서 20% 사이의 백오프가 백오프됩니다.
retry.backoff.ms가retry.backoff.max.ms보다 높게 설정된 경우retry.backoff.max.ms는 기하급수적으로 증가하지 않고 처음부터 일정한 백오프로 사용됩니다.retry.backoff.ms유형: long
기본값: 100
유효한 값: [0,…]
중요도: 낮음
지정된 주제 파티션에 대한 실패한 요청을 재시도하기 전에 대기하는 시간입니다. 이렇게 하면 일부 실패 시나리오에서 엄격한 루프로 요청을 반복적으로 보내는 것을 방지할 수 있습니다. 이 값은 초기 backoff 값이며,
retry.backoff.max.ms값까지 실패한 각 요청에 대해 기하급수적으로 증가합니다.sasl.kerberos.kinit.cmd유형: 문자열
기본값: /usr/bin/kinit
Importance: low
Kerberos kinit 명령 경로입니다.
sasl.kerberos.min.time.before.relogin유형: long
기본값: 60000
중요도: 낮음
새로 고침 시도 사이의 로그인 스레드 수면 시간입니다.
sasl.kerberos.ticket.renew.jitter유형: 두 번
기본값: 0.05
중요도: 낮음
갱신 시간에 임의 지터의 백분율이 추가되었습니다.
sasl.kerberos.ticket.renew.window.factor유형: double
기본값: 0.8
중요도: 낮음
로그인 스레드는 지정된 시간 요소가 마지막으로 새로 고침에서 티켓 만료로 도달할 때까지 유휴 상태가 되고 이 기간 동안 티켓을 갱신하려고 합니다.
sasl.login.connect.timeout.ms유형: int
default: null
Importance: low
외부 인증 공급자 연결 시간 초과의 (선택 사항) 값(선택 사항)입니다. 현재 OAUTHBEARER에만 적용됩니다.
sasl.login.read.timeout.ms유형: int
default: null
Importance: low
외부 인증 공급자의 (선택 사항) 값(선택 사항)은 시간 초과입니다. 현재 OAUTHBEARER에만 적용됩니다.
sasl.login.refresh.buffer.seconds유형: short
기본값: 300
유효한 값: [0,…,3600]
중요도: 낮음
인증 정보를 새로 고칠 때 유지 관리하는 인증 정보 만료 전의 버퍼 시간(초)입니다. 새로 고침이 버퍼 초 수보다 만료되는 경우 새로 고침은 가능한 한 많은 버퍼 시간을 유지하기 위해 이동합니다. 법적 값은 0에서 3600(1시간) 사이입니다. 값이 지정되지 않은 경우 기본값 300(5분)이 사용됩니다. 이 값과 sasl.login.refresh.min.period.seconds 값은 합계가 인증 정보의 나머지 수명을 초과하면 둘 다 무시됩니다. 현재 OAUTHBEARER에만 적용됩니다.
sasl.login.refresh.min.period.seconds유형: short
기본값: 60
유효한 값: [0,…,900]
중요도: 낮음
로그인 새로 고침 스레드가 인증 정보를 새로 고치기 전에 대기하는 최소 시간(초)입니다. 법적 값은 0에서 900 (15 분) 사이입니다. 값이 지정되지 않은 경우 기본값 60 (1 분)이 사용됩니다. 이 값과 sasl.login.refresh.buffer.seconds 값은 합계가 인증 정보의 나머지 수명을 초과하면 둘 다 무시됩니다. 현재 OAUTHBEARER에만 적용됩니다.
sasl.login.refresh.window.factor유형: double
기본값: 0.8
유효한 값: [0.5,…,1.0]
중요: 낮음
로그인 새로 고침 스레드는 인증 정보의 수명을 기준으로 지정된 창 요인에 도달할 때까지 유휴 상태가 되어 인증 정보를 새로 고치려고 합니다. 법적 값은 0.5(50%)와 1.0(100%)을 포함합니다. 값이 지정되지 않은 경우 기본값 0.8(80%)가 사용됩니다. 현재 OAUTHBEARER에만 적용됩니다.
sasl.login.refresh.window.jitter유형: double
기본값: 0.05
유효한 값: [0.0,…,0.25]
중요도: 낮음
로그인 새로 고침 스레드의 수면 시간에 추가되는 인증 정보의 수명을 기준으로 임의 지터의 최대 양입니다. 법적 값은 0에서 0.25 (25 %) 사이이며, 값이 지정되지 않은 경우 기본값 0.05 (5%)가 사용됩니다. 현재 OAUTHBEARER에만 적용됩니다.
sasl.login.retry.backoff.max.ms유형: long
기본값: 10000(10초)
중요도: 낮음
(선택 사항) 외부 인증 공급자에 대한 로그인 시도 사이의 최대 대기 시간(밀리초)입니다. login은 sasl.login.retry.backoff.ms 설정을 기반으로 초기 대기와 함께 지수 백오프 알고리즘을 사용하고 sasl.login.retry.max.ms 설정에 의해 지정된 최대 대기 길이까지의 대기 길이를 두 배로 늘립니다. 현재 OAUTHBEARER에만 적용됩니다.
sasl.login.retry.backoff.ms유형: long
기본값: 100
중요도: 낮음
(선택 사항) 초기 대기 시간(선택 사항) 값(선택 사항)을 외부 인증 공급자로 시도하는 경우 초기 대기 시간(밀리초)입니다. login은 sasl.login.retry.backoff.ms 설정을 기반으로 초기 대기와 함께 지수 백오프 알고리즘을 사용하고 sasl.login.retry.max.ms 설정에 의해 지정된 최대 대기 길이까지의 대기 길이를 두 배로 늘립니다. 현재 OAUTHBEARER에만 적용됩니다.
sasl.oauthbearer.clock.skew.seconds유형: int
기본값: 30
Importance: low
OAuth/OIDC ID 공급자와 브로커 간의 차이점을 허용하는 (선택 사항) 값(초)입니다.
sasl.oauthbearer.expected.audiencetype: list
default: null
Importance: low
브로커에서 JWT가 예상 대상 중 하나에 대해 발행되었는지 확인하는 데 사용할 (선택 사항) 쉼표로 구분된 설정입니다. JWT는 표준 OAuth "aud" 클레임을 검사하고 이 값이 설정되면 브로커가 JWT의 "aud" 클레임의 값과 일치하여 정확히 일치하는지 확인합니다. 일치하는 항목이 없으면 브로커는 JWT를 거부하고 인증이 실패합니다.
sasl.oauthbearer.expected.issuer유형: 문자열
기본값: null
Importance: low
브로커가 JWT가 예상 발행자에 의해 생성되었는지 확인하는 데 사용할 (선택 사항) 설정입니다. JWT는 표준 OAuth "iss" 클레임을 검사하고 이 값이 설정되면 브로커는 JWT의 "iss" 클레임에 있는 것과 정확히 일치합니다. 일치하는 항목이 없으면 브로커는 JWT를 거부하고 인증이 실패합니다.
sasl.oauthbearer.jwks.endpoint.refresh.ms유형: long
기본값: 3600000(1시간)
중요도: 낮음
브로커가 JWT의 서명을 확인하는 키가 포함된 JWKS(JSON 웹 키 세트) 캐시 새로 고침 사이에 대기하는 (선택 사항) 시간(선택 사항)입니다.
sasl.oauthbearer.jwks.endpoint.retry.backoff.max.ms유형: long
기본값: 10000(10초)
중요도: 낮음
(선택 사항) 외부 인증 공급자에서 JWKS(JSON Web Key Set)를 검색하려는 시도 사이의 최대 대기 시간(밀리초)입니다. JWKS 검색에서는 sasl.oauthbearer.jwks.endpoint.retry.backoff.ms 설정을 기반으로 초기 대기와 함께 지수 백오프 알고리즘을 사용하며 sasl.oauthbearer.jwks.endpoint.retry.max.ms 설정으로 지정된 최대 대기 길이까지의 대기 길이를 두 배로 늘릴 것입니다.
sasl.oauthbearer.jwks.endpoint.retry.backoff.ms유형: long
기본값: 100
중요도: 낮음
JWKS(JSON Web Key Set) 검색 사이의 초기 대기 시간(선택 사항)에서 외부 인증 공급자의 (선택 사항) 값(밀리초)입니다. JWKS 검색에서는 sasl.oauthbearer.jwks.endpoint.retry.backoff.ms 설정을 기반으로 초기 대기와 함께 지수 백오프 알고리즘을 사용하며 sasl.oauthbearer.jwks.endpoint.retry.max.ms 설정으로 지정된 최대 대기 길이까지의 대기 길이를 두 배로 늘릴 것입니다.
sasl.oauthbearer.scope.claim.name유형: 문자열
기본값: 범위
중요: 낮음
범위에 대한 OAuth 클레임은 종종 "scope"로 지정되지만 이(선택 사항) 설정은 OAuth/OIDC 공급자가 해당 클레임에 다른 이름을 사용하는 경우 JWT 페이로드의 클레임에 포함된 범위에 사용할 다른 이름을 제공할 수 있습니다.
sasl.oauthbearer.sub.claim.name유형: 문자열
기본값: sub
Importance: low
주체에 대한 OAuth 클레임은 종종 "sub"라고 하지만 이(선택 사항) 설정은 OAuth/OIDC 공급자가 해당 클레임에 다른 이름을 사용하는 경우 JWT 페이로드의 클레임에 포함된 주체에 사용할 다른 이름을 제공할 수 있습니다.
scheduled.rebalance.max.delay.ms유형: int
기본값: 300000 (5분)
유효한 값: [0,…,2147483647]
Importance: low
커넥터와 작업을 그룹에 재조정하고 다시 할당하기 전에 하나 이상의 분리된 작업자의 반환을 대기하도록 예약된 최대 지연입니다. 이 기간 동안 분리된 작업자의 커넥터와 작업은 할당되지 않은 상태로 유지됩니다.
socket.connection.setup.timeout.max.ms유형: long
기본값: 30000(30초)
유효한 값: [0,…]
중요도: 낮음
클라이언트가 소켓 연결이 설정될 때까지 대기하는 최대 시간입니다. 연결 설정 시간 초과는 연속 연결 오류마다 이 최대값까지 기하급수적으로 증가합니다. 연결 불란을 방지하기 위해 0.2의 무작위화 요소가 시간 초과에 적용되어 계산된 값보다 20% 이하에서 20% 사이의 임의 범위가 됩니다.
socket.connection.setup.timeout.ms유형: long
기본값: 10000(10초)
유효한 값: [0,…]
중요도: 낮음
클라이언트가 소켓 연결이 설정될 때까지 대기하는 시간입니다. 시간 초과가 경과하기 전에 연결이 빌드되지 않으면 클라이언트가 소켓 채널을 종료합니다. 이 값은 초기 백오프 값이며
socket.connection.setup.timeout.max.ms값까지 연속된 각 연결 오류에 대해 기하급수적으로 증가합니다.ssl.cipher.suitestype: list
default: null
Importance: low
암호화 제품군 목록입니다. 이는 TLS 또는 SSL 네트워크 프로토콜을 사용하여 네트워크 연결에 대한 보안 설정을 협상하는 데 사용되는 인증, 암호화, MAC 및 키 교환 알고리즘의 이름이 지정된 조합입니다. 기본적으로 사용 가능한 모든 암호화 제품군이 지원됩니다.
ssl.client.authtype: string
default: none
유효한 값: [required, requested, none]
Importance: low
클라이언트 인증을 요청하도록 kafka 브로커를 구성합니다. 다음은 일반적인 설정입니다.
-
SSL.client.auth=required필수 클라이언트 인증으로 설정된 경우. -
SSL.client.auth=requested이는 클라이언트 인증이 선택 사항임을 의미합니다. 이 옵션이 설정된 경우 클라이언트는 자체적으로 인증 정보를 제공하지 않도록 선택할 수 있습니다. -
SSL.client.auth=none이는 클라이언트 인증이 필요하지 않음을 의미합니다.
-
ssl.endpoint.identification.algorithm유형: 문자열
기본값: https
Importance: low
서버 인증서를 사용하여 서버 호스트 이름을 확인하는 끝점 식별 알고리즘입니다.
ssl.engine.factory.class유형: class
Default: null
Importance: low
SSLEngine 개체를 제공하는 org.apache.kafka.common.security.auth.SslEngineFactory 유형의 클래스입니다. 기본값은 org.apache.kafka.common.security.ssl.DefaultSslEngineFactory입니다. 또는 이를 org.apache.kafka.common.security.ssl.CommonNameLoggingSslEngineFactory로 설정하면 클라이언트가 로그 수준 INFO를 가진 브로커에서 인증하기 위해 클라이언트가 사용하는 만료된 SSL 인증서의 공통 이름을 기록합니다. 이로 인해 클라이언트가 제공하는 인증서 체인을 검사하기 위한 추가 코드로 인해 mTLS 클라이언트에서 브로커로의 새 연결을 설정하는 동안 약간의 지연이 발생합니다. 구현에서는 표준 Java 신뢰 저장소를 기반으로 사용자 정의 신뢰 저장소를 사용하므로 표준 클라이언트만큼 완성되지 않기 때문에 보안 위험으로 간주될 수 있습니다.
ssl.keymanager.algorithm유형: 문자열
기본값: SunX509
중요: 낮음
SSL 연결에 대해 키 관리자 팩토리에서 사용하는 알고리즘입니다. 기본값은 Java Virtual Machine에 대해 구성된 키 관리자 팩토리 알고리즘입니다.
ssl.secure.random.implementation유형: 문자열
기본값: null
Importance: low
SSL 암호화 작업에 사용할 SecureRandom PRNG 구현
ssl.trustmanager.algorithm유형: 문자열
기본값: PKIX
Importance: low
SSL 연결에 대해 신뢰 관리자 팩토리에서 사용하는 알고리즘입니다. 기본값은 Java 가상 머신에 대해 구성된 신뢰 관리자 팩토리 알고리즘입니다.
status.storage.partitions유형: int
default: 5
유효한 값: Positive number, -1 to use the broker's default
Importance: low
상태 스토리지 주제를 생성할 때 사용되는 파티션 수입니다.
status.storage.replication.factor유형: short
default: 3
유효한 값: Kafka 클러스터의 브로커 수보다 크지 않은 잠재적 숫자 또는 -1을 입력하여 브로커의 기본값
가져오기를 사용합니다.
상태 스토리지 주제를 생성할 때 사용되는 복제 요인입니다.
task.shutdown.graceful.timeout.ms유형: long
기본값: 5000 (5초)
중요도: 낮음
작업이 정상적으로 종료될 때까지 대기하는 시간입니다. 이는 작업이 아닌 총 시간입니다. 모든 작업이 중단된 후 순차적으로 대기합니다.
topic.creation.enable유형: 부울
기본값: true
Importance: low
소스 커넥터에서 사용하는 주제 자동 생성을 허용할지 여부, 소스 커넥터가
topic.creation.속성으로 구성되는 경우. 각 작업에서는 관리 클라이언트를 사용하여 주제를 생성하고 Kafka 브로커에 따라 주제를 자동으로 생성하지 않습니다.topic.tracking.allow.reset유형: 부울
기본값: true
Importance: low
true로 설정하면 사용자 요청이 커넥터당 활성 항목 집합을 재설정할 수 있습니다.
topic.tracking.enable유형: 부울
기본값: true
Importance: low
런타임 중에 커넥터당 활성 항목 집합을 추적할 수 있습니다.