본문 바로가기
728x90

전체 글217

Elasticsearch Hot–Warm 아키텍처 설정 방법, ILM 적용하기 앞선 글에서 Hot–Warm 아키텍처와 ILM 개념을 살펴봤습니다. Elasticsearch 운영 Hot–Warm 아키텍처와 ILM(Index Lifecycle Management)온프레미스 환경에서 Elasticsearch 클러스터를 운영하다 보면서비스 규모가 커질수록 수집되는 로그는 기하급수적으로 늘어나고, 그에 따라 클러스터도 점점 복잡해집니다.클러스터가 커질수록sudo-minz.tistory.com 이번에는 실제로 이를 클러스터에 적용했던 과정을 정리해보려 합니다. 적용하는 법은 Elasticsearch 버전에 따라 꽤 다른데, Elasticsearch 7.10 이상에서는 아예 데이터 티어(Data tiers)라는 공식 개념이 추가되었습니다. 이번 포스팅에서는 7.10 이상에서 적용하는 방법에 .. 2025. 9. 22.
Elasticsearch 운영 Hot–Warm 아키텍처와 ILM(Index Lifecycle Management) 온프레미스 환경에서 Elasticsearch 클러스터를 운영하다 보면서비스 규모가 커질수록 수집되는 로그는 기하급수적으로 늘어나고, 그에 따라 클러스터도 점점 복잡해집니다.클러스터가 커질수록 상면 공간과 관리 부담이 함께 늘어나면서효율적인 구성이 필요하다는 사실을 체감하게 되었습니다.Elasticsearch 운영 패턴과 Hot–Warm 아키텍처Elasticsearch 클러스터는 크게 마스터 노드와 데이터 노드로 나눌 수 있죠.마스터 노드는 클러스터 상태를 관리하고, 샤드 배치나 노드 헬스체크 등을 총괄하며 데이터 노드는 실제 인덱스를 저장하고, 검색·집계를 처리하는 핵심 역할을 맡습니다.운영 패턴을 보면, 로그 검색과 분석은 대부분 최근 데이터에 집중되고 오래된 로그는 단순히 보관의 성격이 강합니다. 모.. 2025. 9. 22.
Elasticsearch 데이터는 어떻게 저장되고 검색될까? Elasticsearch 데이터는 어떻게 저장되고 검색될까? Elasticsearch 구조 대규모 로그 처리 환경에서는 매일 수십억 건의 데이터가 발생합니다.이러한 데이터는 단순 보관이 아니라 검색과 분석까지 가능해야 하며,안정적으로 수평 확장이 가능한 구조가 필요합니다.Elasticsearch는 이러한 요구에 맞춰 로그 수집과 분석에 널리 사용되는 분산 검색 엔진입니다.이번 글에서는 Elasticsearch 내부에서 데이터가 어떻게 저장되고, 검색되는지를 구조적으로 살펴보겠습니다. 클러스터 기본 구조데이터 노드 3대를 가진 Elasticsearch 클러스터를 가정합니다.마스터 후보는 별도(여기선 설명 단순화 위해 생략), 코디네이터 역할은 모든 노드 가능인덱스(products): number_of_.. 2025. 9. 19.
Elasticsearch 구조와 기본 용어 Cluster, Node, Index, Shard, Segment, Document, Field, Mapping Elasticsearch를 제대로 활용하려면 먼저 Elasticsearch 구조와 기본 용어를 이해하는 것이 중요합니다.Index, Shard, Node, Cluster 같은 개념은 처음엔 낯설지만,검색 엔진의 핵심을 파악하는 데 꼭 필요한 기초 지식입니다.이번 글에서는 이러한 기본 개념들을 하나씩 정리해 보고Elasticsearch 구조에 대해 살펴보겠습니다. 1. Elasticsearch 구조도Cluster, Node, Index, Shard, Segment, Document, Field, Mapping 1. Cluster: 노드들의 집합(최상위 단위)Cluster(클러스터) 는 하나 이상의 노드로 이루어진 최상위 단위로, Elasticsearch 전체 시스템을 의미합니다.같은 클러스터 이름을 공유하.. 2025. 9. 18.
Elasticsearch 역색인이란? Inverted Index Elasticsearch 역색인, 엘라스틱서치 역인덱스 Elasticsearch가 빠르게 검색할 수 있는 이유는 바로 elasticsearch 역색인 구조 덕분입니다. 보통 데이터베이스는 단순히 행과 열로 데이터를 저장하지만,엘라스틱서치 역색인은 단어 중심으로 데이터를 색인하여 빠른 검색을 가능하게 합니다. 검색 엔진의 심장이라 할 수 있는 이 elasticsearch 역인덱싱 구조는 실무 면접에서도 나올법한 중요한 내용이죠.이번 글에서는 역색인이 무엇인지, 왜 중요한지, 그리고 어떻게 Elasticsearch에서 활용되는지 알아보겠습니다. 1. 색인과 역색인의 차이일반적인 색인(Forward Index)은 문서가 어느 위치에 있는지 알려주는 책의 목차와 같습니다.보통 색인의 목적은 “문서의 위치를 빠.. 2025. 9. 17.
Elasticsearch 비밀번호 변경 초기화 하는 법 Elasticsearch 비밀번호 변경 하는 법우분투 / ES 7.6.2 1. 먼저 ElasticSearch 서버에 루트 사용자로 액세스해야 합니다.다음 명령을 사용하여 필요한 패키지를 설치합니다. apt-get updateapt-get install curl jq mlocate 2. ElasticSearch 서비스를 중지합니다.systemctl stop elasticsearch 3. 이름 있는 명령 찾기: elasticsearch-usersupdatedblocate elasticsearch-users 다음은 명령 출력입니다./usr/share/elasticsearch/bin/elasticsearch-users 4. ElasticSearch 서버에서 새 로컬 관리자 계정을 만듭니다./usr/sha.. 2025. 9. 17.
도커가 결국 리눅스인 이유 (Docker 컨테이너 네트워크 격리의 원리) 저번 포스팅 에서는 리눅스에서 네트워크 격리와 연결을 직접 다뤄보며 컨테이너 네트워크가 어떻게 구현되는지를 확인했습니다. ​ 도커 리눅스 비교 (Docker 컨테이너 네트워크 격리의 원리)도커란, 결국 하나의 리눅스 커널 위에서여러 개의 격리된 실행 환경을 제공하는 기술입니다. docker run 한 줄로 띄우는 컨테이너도 사실리눅스 내부에서 이미 존재하던 기능들이 자동으로 설정sudo-minz.tistory.com 이번 포스팅에서는 실제로 도커를 설치해서정말 수동으로 설정했을 때와 비슷하게 네트워크가 격리가 되어있는지 확인해 보겠습니다. 준비가상머신 두 대를 준비해서 한 대에는 도커를 설치하고,한 대에는 도커를 설치하지 않은 상태로 만든 후둘을 비교해 보겠습니다. VM A (도커 설치 리눅스): d.. 2025. 9. 17.
도커 리눅스 비교 (Docker 컨테이너 네트워크 격리의 원리) 도커란, 결국 하나의 리눅스 커널 위에서여러 개의 격리된 실행 환경을 제공하는 기술입니다. docker run 한 줄로 띄우는 컨테이너도 사실리눅스 내부에서 이미 존재하던 기능들이 자동으로 설정된 결과물인 것이죠. 이번 글에서는 이러한 과정을직접 리눅스 명령어로 따라 해보며,Docker가 컨테이너를 띄울 때어떤 네트워크 동작을 수행하는지 확인해 보겠습니다. 리눅스 네임스페이스(Network Namespace), 브리지(Bridge), NAT 기능들을 수동으로 설정하면서,컨테이너 네트워크의 원리를 이해해 봅니다. 🏋🏻‍♀️ 1. 리눅스로 컨테이너 네트워크 알아보기리눅스 네임스페이스 + 브리지 + NAT 실습 목차 한 대의 리눅스에서 2개의 네트워크 네임스페이스(ns1, ns2)를 생성네임스페이스: .. 2025. 9. 17.
Elasticsearch와 RDB 비교 Elasticsearch와 RDB 비교 우리가 흔히 사용하는 데이터베이스는 RDB(Relational Database, 관계형 데이터베이스) 입니다.MySQL, Oracle, PostgreSQL 같은 DB들이 대표적인 예죠.하지만 최근 빅데이터 환경에서 빠른 검색과 분석을 위해 많이 사용되는 것이 Elasticsearch(엘라스틱서치) 입니다. 두 기술 모두 데이터를 저장하고 조회한다는 점에서는 같지만, 데이터를 바라보는 관점과 처리 방식이 크게 다릅니다.오늘은 Elasticsearch와 RDB를 비교하면서, Elasticsearch가 어떤 특성을 가지고 있는지 쉽게 이해해보겠습니다. 1. 데이터 구조 매핑먼저, Elasticsearch와 RDBMS의 데이터 구조를 대응시켜 보면 이렇게 정리할 수 있.. 2025. 9. 16.
728x90

티스토리툴바