본문 바로가기
728x90

ES8

Elasticsearch Hot–Warm 아키텍처 설정 방법, ILM 적용하기 앞선 글에서 Hot–Warm 아키텍처와 ILM 개념을 살펴봤습니다. Elasticsearch 운영 Hot–Warm 아키텍처와 ILM(Index Lifecycle Management)온프레미스 환경에서 Elasticsearch 클러스터를 운영하다 보면서비스 규모가 커질수록 수집되는 로그는 기하급수적으로 늘어나고, 그에 따라 클러스터도 점점 복잡해집니다.클러스터가 커질수록sudo-minz.tistory.com 이번에는 실제로 이를 클러스터에 적용했던 과정을 정리해보려 합니다. 적용하는 법은 Elasticsearch 버전에 따라 꽤 다른데, Elasticsearch 7.10 이상에서는 아예 데이터 티어(Data tiers)라는 공식 개념이 추가되었습니다. 이번 포스팅에서는 7.10 이상에서 적용하는 방법에 .. 2025. 9. 22.
Elasticsearch 운영 Hot–Warm 아키텍처와 ILM(Index Lifecycle Management) 온프레미스 환경에서 Elasticsearch 클러스터를 운영하다 보면서비스 규모가 커질수록 수집되는 로그는 기하급수적으로 늘어나고, 그에 따라 클러스터도 점점 복잡해집니다.클러스터가 커질수록 상면 공간과 관리 부담이 함께 늘어나면서효율적인 구성이 필요하다는 사실을 체감하게 되었습니다.Elasticsearch 운영 패턴과 Hot–Warm 아키텍처Elasticsearch 클러스터는 크게 마스터 노드와 데이터 노드로 나눌 수 있죠.마스터 노드는 클러스터 상태를 관리하고, 샤드 배치나 노드 헬스체크 등을 총괄하며 데이터 노드는 실제 인덱스를 저장하고, 검색·집계를 처리하는 핵심 역할을 맡습니다.운영 패턴을 보면, 로그 검색과 분석은 대부분 최근 데이터에 집중되고 오래된 로그는 단순히 보관의 성격이 강합니다. 모.. 2025. 9. 22.
Elasticsearch 데이터는 어떻게 저장되고 검색될까? Elasticsearch 데이터는 어떻게 저장되고 검색될까? Elasticsearch 구조 대규모 로그 처리 환경에서는 매일 수십억 건의 데이터가 발생합니다.이러한 데이터는 단순 보관이 아니라 검색과 분석까지 가능해야 하며,안정적으로 수평 확장이 가능한 구조가 필요합니다.Elasticsearch는 이러한 요구에 맞춰 로그 수집과 분석에 널리 사용되는 분산 검색 엔진입니다.이번 글에서는 Elasticsearch 내부에서 데이터가 어떻게 저장되고, 검색되는지를 구조적으로 살펴보겠습니다. 클러스터 기본 구조데이터 노드 3대를 가진 Elasticsearch 클러스터를 가정합니다.마스터 후보는 별도(여기선 설명 단순화 위해 생략), 코디네이터 역할은 모든 노드 가능인덱스(products): number_of_.. 2025. 9. 19.
Elasticsearch 구조와 기본 용어 Cluster, Node, Index, Shard, Segment, Document, Field, Mapping Elasticsearch를 제대로 활용하려면 먼저 Elasticsearch 구조와 기본 용어를 이해하는 것이 중요합니다.Index, Shard, Node, Cluster 같은 개념은 처음엔 낯설지만,검색 엔진의 핵심을 파악하는 데 꼭 필요한 기초 지식입니다.이번 글에서는 이러한 기본 개념들을 하나씩 정리해 보고Elasticsearch 구조에 대해 살펴보겠습니다. 1. Elasticsearch 구조도Cluster, Node, Index, Shard, Segment, Document, Field, Mapping 1. Cluster: 노드들의 집합(최상위 단위)Cluster(클러스터) 는 하나 이상의 노드로 이루어진 최상위 단위로, Elasticsearch 전체 시스템을 의미합니다.같은 클러스터 이름을 공유하.. 2025. 9. 18.
Elasticsearch 역색인이란? Inverted Index Elasticsearch 역색인, 엘라스틱서치 역인덱스 Elasticsearch가 빠르게 검색할 수 있는 이유는 바로 elasticsearch 역색인 구조 덕분입니다. 보통 데이터베이스는 단순히 행과 열로 데이터를 저장하지만,엘라스틱서치 역색인은 단어 중심으로 데이터를 색인하여 빠른 검색을 가능하게 합니다. 검색 엔진의 심장이라 할 수 있는 이 elasticsearch 역인덱싱 구조는 실무 면접에서도 나올법한 중요한 내용이죠.이번 글에서는 역색인이 무엇인지, 왜 중요한지, 그리고 어떻게 Elasticsearch에서 활용되는지 알아보겠습니다. 1. 색인과 역색인의 차이일반적인 색인(Forward Index)은 문서가 어느 위치에 있는지 알려주는 책의 목차와 같습니다.보통 색인의 목적은 “문서의 위치를 빠.. 2025. 9. 17.
Elasticsearch 비밀번호 변경 초기화 하는 법 Elasticsearch 비밀번호 변경 하는 법우분투 / ES 7.6.2 1. 먼저 ElasticSearch 서버에 루트 사용자로 액세스해야 합니다.다음 명령을 사용하여 필요한 패키지를 설치합니다. apt-get updateapt-get install curl jq mlocate 2. ElasticSearch 서비스를 중지합니다.systemctl stop elasticsearch 3. 이름 있는 명령 찾기: elasticsearch-usersupdatedblocate elasticsearch-users 다음은 명령 출력입니다./usr/share/elasticsearch/bin/elasticsearch-users 4. ElasticSearch 서버에서 새 로컬 관리자 계정을 만듭니다./usr/sha.. 2025. 9. 17.
Elasticsearch란? 개요와 ELK 스택 Elasticsearch란? (개요와 ELK 스택)최근 데이터가 폭발적으로 늘어나면서, 빠르게 검색하고 분석할 수 있는 도구에 대한 필요성이 커지고 있습니다.이런 상황에서 자주 언급되는 검색 엔진이 바로 Elasticsearch(엘라스틱서치) 입니다. 🔎 1. Elasticsearch란 무엇인가?Elasticsearch는 Apache Lucene(아파치 루씬) 기반으로 만들어진 Java 오픈소스 분산 검색 엔진입니다.특징은 방대한 양의 데이터를 거의 실시간(NRT, Near Real Time) 으로 저장하고, 검색하고, 분석할 수 있다는 점이에요.단순한 데이터베이스가 아니라 검색과 분석에 특화된 엔진정형 데이터뿐만 아니라 비정형 데이터(로그, 문서, 트랜잭션 등) 도 처리 가능분산 방식으로 데이터를 .. 2025. 9. 16.
Elasticsearch SSLHandshakeException: PKIX path building failed 해결 Elasticsearch를 Docker Compose로 띄우고Java 애플리케이션에서 연결을 시도하는 과정에서 에러를 맞닥뜨렸습니다. 에러 메시지:javax.net.ssl.SSLHandshakeException: PKIX path building failed: sun.security.provider.certpath.SunCertPathBuilderException: unable to find valid certification path to requested target 처음에는 단순히 SSL 인증서 문제겠지 정도로 생각했는데, 막상 해결하려고 보니 몇 가지 함정이 숨어 있었습니다.이번 글에서는 제가 겪은 상황과 해결 방법을 정리해 보겠습니다. 1. 환경 구성Elasticsearch 버전: 7.. 2025. 9. 16.
728x90

티스토리툴바