7.6. Kafka 브로커로 로그 전달
기본 Elasticsearch 로그 저장소에 추가하거나 대신 외부 Kafka 브로커로 로그를 전달할 수 있습니다.
외부 Kafka 인스턴스에 대한 로그 전달을 구성하려면 해당 인스턴스에 대한 출력과 이 출력을 사용하는 파이프라인이 있는 ClusterLogForwarder
사용자 정의 리소스(CR)를 생성합니다. 출력에 특정 Kafka 주제를 포함하거나 기본값을 사용할 수 있습니다. Kafka 출력은 TCP(비보안) 또는 TLS(보안 TCP) 연결을 사용할 수 있습니다.
프로세스
다음과 유사한
ClusterLogForwarder
CR YAML 파일을 생성합니다.apiVersion: logging.openshift.io/v1 kind: ClusterLogForwarder metadata: name: instance 1 namespace: openshift-logging 2 spec: outputs: - name: app-logs 3 type: kafka 4 url: tls://kafka.example.devlab.com:9093/app-topic 5 secret: name: kafka-secret 6 - name: infra-logs type: kafka url: tcp://kafka.devlab2.example.com:9093/infra-topic 7 - name: audit-logs type: kafka url: tls://kafka.qelab.example.com:9093/audit-topic secret: name: kafka-secret-qe pipelines: - name: app-topic 8 inputRefs: 9 - application outputRefs: 10 - app-logs parse: json 11 labels: logType: "application" 12 - name: infra-topic 13 inputRefs: - infrastructure outputRefs: - infra-logs labels: logType: "infra" - name: audit-topic inputRefs: - audit outputRefs: - audit-logs - default 14 labels: logType: "audit"
- 1
ClusterLogForwarder
CR의 이름은instance
여야 합니다.- 2
ClusterLogForwarder
CR의 네임스페이스는openshift-logging
이어야 합니다.- 3
- 출력 이름을 지정합니다.
- 4
kafka
유형을 지정합니다.- 5
- Kafka 브로커의 URL과 포트를 유효한 절대 URL로 지정하고 선택적으로 특정 주제를 사용합니다.
tcp
(비보안) 또는tls
(보안 TCP) 프로토콜을 사용할 수 있습니다. CIDR 주석을 사용하는 클러스터 전체 프록시가 활성화된 경우 출력은 IP 주소가 아닌 서버 이름 또는 FQDN이어야 합니다. - 6
tls
접두사를 사용하는 경우 TLS 통신을 위해 끝점에서 요구하는 시크릿 이름을 지정해야 합니다. 시크릿은openshift-logging
프로젝트에 있어야 하며 각각의 인증서를 가리키는 tls.crt, tls.key 및 ca-bundle.crt 키가 있어야 합니다.- 7
- 선택 사항: 안전하지 않은 출력을 보내려면 URL 앞에 있는
tcp
접두사를 사용합니다. 이 출력에서secret
키와 해당name
을 생략합니다. - 8
- 선택 사항: 파이프라인의 이름을 지정합니다.
- 9
application,
infrastructure
, 또는audit
등 해당 파이프라인을 사용하여 전달해야 하는 로그 유형을 지정합니다.- 10
- 로그 전달을 위해 해당 파이프라인과 함께 사용할 출력을 지정합니다.
- 11
- 선택 사항: 구조화된 필드의 JSON 오브젝트로
구조화된
JSON 로그 항목을 전달합니다. 로그 항목에 유효한 구조화된 JSON이 포함되어야 합니다. 그렇지 않으면 OpenShift Logging이structured
필드를 제거하고 대신 기본 인덱스인app-00000x
로 로그 항목을 보냅니다. - 12
- 선택 사항: 문자열. 로그에 추가할 하나 이상의 레이블입니다.
- 13
- 선택 사항: 지원되는 유형의 다른 외부 로그 집계기로 로그를 전달하도록 다중 출력을 구성합니다.
- 선택 사항: 파이프라인을 설명하는 이름입니다.
-
inputRefs
는application,
infrastructure
또는audit
등 해당 파이프라인을 사용하여 전달할 로그 유형입니다. -
outputRefs
는 사용할 출력의 이름입니다. - 선택 사항: 문자열. 로그에 추가할 하나 이상의 레이블입니다.
- 14
- 선택 사항: 내부 Elasticsearch 인스턴스로 로그를 전달하려면
기본값
을 지정합니다.
선택 사항: 단일 출력을 여러 Kafka 브로커로 전달하려면 다음 예와 같이 Kafka 브로커 배열을 지정합니다.
... spec: outputs: - name: app-logs type: kafka secret: name: kafka-secret-dev kafka: 1 brokers: 2 - tls://kafka-broker1.example.com:9093/ - tls://kafka-broker2.example.com:9093/ topic: app-topic 3 ...
CR 오브젝트를 생성합니다.
$ oc create -f <file-name>.yaml
Red Hat OpenShift Logging Operator는 Fluentd Pod를 재배포합니다. Pod가 재배포되지 않으면 Fluentd Pod를 삭제하여 강제로 재배포할 수 있습니다.
$ oc delete pod --selector logging-infra=fluentd