728x90 전체 글196 [Fluentd] Kafka 로컬 파이프라인 구축 Docker Container로 간단히 구동하기참고: https://minimilab.tistory.com/62 Docker Image Pulldocker pull fluent/fluentd:edge-debian Fluentd 설정 파일 생성http input을 stdout으로 출력하는 형식 $ sudo vi fluentd.conf @type http port 9880 bind 0.0.0.0 @type stdout Docker Run# RUN$ sudo docker run -d --name fluentd -p 9880:9880 -v $(pwd):/fluentd/etc fluent/fluentd:edge-debian -c /fluentd/etc/fluentd.conf # http call$ cu.. 2024. 8. 8. Fluentd 개념정리 Fluentd로그 수집기 (주로 로그 수집의 목적으로 사용하나 다양한 데이터 소스로부터 데이터를 받아 처리할 수 있음)C와 Ruby로 개발됨.fluentd로 전달된 데이터는 tag, time, record (JSON)으로 구성된 이벤트로 처리됨.원하는 형태로 가공 후 다양한 목적지 (ES, Kafka etc..)로 전달 될 수 있음.Filter, Buffer, Parser, Formatter를 직접 설정할 수 있는 것이 가장 큰 장점.데이터 유실을 막기 위해 메모리와 파일 기반의 버퍼 시스템을 사용.Failover를 위한 HA구성도 가능. Use-CasesApplication Log 수집mongodb와 같은 DB에 데이터 수집 스트림 데이터 처리 Tagfluentd에서는 Tag를 통해 이벤트가 흘러가.. 2024. 8. 8. Ubuntu E: unable to locate package 에러를 해결하는 방법 위 에러는 설치하려는 패키지를 찾을 수 없을 때 나타납니다. 다음 3가지 방법을 통해 문제를 해결합니다. 1. 저장소 업데이트 sudo apt update 해당 명령어는 사용 가능한 패키지의 로컬 캐시를 구축하며, install 명령을 사용하면 apt 패키지 매니저가 캐시를 검색하여 패키지 및 버전 정보를 가져온 후 네트워크를 통해 저장소에서 다운로드 합니다. 내가 설치하려는 패키지가 해당 캐시에 없으면 설치할 수 없습니다. 새로 설치된 ubuntu 시스템은 캐시가 비어있는 상태입니다. 새로 설치한다면 apt update를 실행해주어야 하며, 새로 설치되지 않았더라도 오래된 캐시를 업데이트하기 위해 자주 실행해주면 좋습니다. 2. 패키지 확인 사용하는 Ubuntu 버전에서 내가 설치하고자 하는 패키지를 .. 2024. 3. 15. 리눅스 watch 명령어 누가 서버에 작업을 해줘야 하는데, 언제 해줄지 몰라서 상태 확인 명령어를 5초에 한번 씩 치고 있을 때.. 이 상황에 쓸만한 명령어로, 리눅스의 watch 명령어를 소개한다. watch 명령어는 지정된 간격으로 다른 명령어를 실행하고 그 결과를 실시간으로 갱신한다. 예를 들어, 간단한 디스크 용량 확인을 5초마다 갱신하는 명령어는 다음과 같다. watch -n 5 df -h 2024. 1. 29. [Git] SSL: no alternative certificate subject name matches target host name 사내 github 주소 변경되었을때 사내 github 주소가 변경되어 git pull 등이 되지 않았다. 새로운 url 로 변경해보자. [에러] Update failed. unable to access 'github 주소'': SSL: no alternative certificate subject name matches target host name matches target host name ' github 주소' [해결] git remote -v git remote set-url origin 새로운_주소 git pull origin 브랜치명 2023. 12. 21. 던킨도넛🍩 도라에몽 초코크림도넛 [내돈내산 리뷰] 아침에 집 앞 던킨도넛에서 산 도라에몽 초코크림도넛. 오늘 새로 나온 메뉴인 모양입니다. 초코코팅 위에 초코 도라에몽이 올라가 있네요. 역시나 초코크림은 저 안 깊숙히 있는 것 같지만😂 초코코팅이 진하고 맛있었어요 초코크림은 모두가 예상하는 조금 느끼한 크림 맛. 도라에몽을 좋아한다면 한번 먹어보기 좋을 것 같습니다! 2023. 11. 1. Elasticsearch 특정 인덱스 데이터 확인하는 API - Elasticsearch 특정 인덱스 확인 API: GET /{인덱스명}/_search - 특정 필드의 값을 가지는 데이터만 검색 API: GET /{인덱스명}/_search?q={필드명}:{값} 2023. 6. 2. Elasticsearch version 버전 확인 방법 1 curl "localhost:9200" (이걸 추천한다고 한다) 방법 2 /usr/share/elasticsearch/bin/elasticsearch -version 2023. 2. 28. [Git] Make sure you configure your 'user.name' and 'user.email' in git. Git을 설치하고 가장 먼저 해야 하는 사용자 정보인 사용자 이름과 사용자 이메일 주소를 설정을 해야되는데, 사용자 정보 설정을 하지 않아서 발생하는 오류. 아래 명령어를 사용해 사용자 정보를 세팅해주면 해결된다. git config --global user.name "사용자이름" git config --global user.email "사용자메일주소" 프로젝트마다 다른 이름과 다른 메일주소를 사용하고 싶다면 --global 옵션을 빼고 명령어를 실행. 2023. 2. 21. 이전 1 2 3 4 ··· 22 다음 728x90
