728x90 Fluentd2 [Fluentd] Kafka 로컬 파이프라인 구축 Docker Container로 간단히 구동하기참고: https://minimilab.tistory.com/62 Docker Image Pulldocker pull fluent/fluentd:edge-debian Fluentd 설정 파일 생성http input을 stdout으로 출력하는 형식 $ sudo vi fluentd.conf @type http port 9880 bind 0.0.0.0 @type stdout Docker Run# RUN$ sudo docker run -d --name fluentd -p 9880:9880 -v $(pwd):/fluentd/etc fluent/fluentd:edge-debian -c /fluentd/etc/fluentd.conf # http call$ cu.. 2024. 8. 8. Fluentd 개념정리 Fluentd로그 수집기 (주로 로그 수집의 목적으로 사용하나 다양한 데이터 소스로부터 데이터를 받아 처리할 수 있음)C와 Ruby로 개발됨.fluentd로 전달된 데이터는 tag, time, record (JSON)으로 구성된 이벤트로 처리됨.원하는 형태로 가공 후 다양한 목적지 (ES, Kafka etc..)로 전달 될 수 있음.Filter, Buffer, Parser, Formatter를 직접 설정할 수 있는 것이 가장 큰 장점.데이터 유실을 막기 위해 메모리와 파일 기반의 버퍼 시스템을 사용.Failover를 위한 HA구성도 가능. Use-CasesApplication Log 수집mongodb와 같은 DB에 데이터 수집 스트림 데이터 처리 Tagfluentd에서는 Tag를 통해 이벤트가 흘러가.. 2024. 8. 8. 이전 1 다음 728x90
