ELK란 무엇인가?
ELK는 Elasticsearch, Logstash, Kibana의 앞글자를 따와서 만든 약어이다.
간단하게 말해서
1. Elasticsearch는 검색 및 분석 엔진이고
2. Logstash는 데이터를 수집하여 변환 후 Elasticsearch같은 서버로 전송하는 데이터 처리 파이프라인이며
3. Kibana는 사용자가 수집한 데이터를 시각화하여 볼 수 있다.
즉, 데이터를 수집해 시각화 하는 오픈소스라 생각하면 된다.
https://www.elastic.co/kr/what-is/elk-stack
ELK Stack: Elasticsearch의 개발자들이 제공합니다
ELK Stack이란 무엇인가요? ELK Stack은 널리 알려진 세 개의 오픈 소스 프로젝트인 E=Elasticsearch(Lucene 기반), L=Logstash, K=Kibana의 머리글자를 합친 것입니다. Beats가 추가되어 이제 ELK Stack을 Elastic Stack이
www.elastic.co
ELK는 오픈소스로, 무료로 사용이 가능하다.
클라우드 같이 많은 데이터를 수집하는 서버는 로그가 많아 분석하는데 어려움이 존재하는데,
로그 파일의 용량이 커져 디스크 공간이 부족하거나, 특정 로그를 검색하기엔 너무 데이터가 많아 찾기 어려운 부분이 있다.
그래서 ELK를 사용하여 로그의 분석 및 검색을 효율적으로 할 수 있다는 장점이 있다.
여기에 데이터 수집을 하는 Filebeat가 추가되면서 ELK Stack으로 불리게 됬다.
ELK Stack을 하나씩 보자면 다음과 같다.
1. Elastic search
- Apache Lucene 기반의 Java 오픈소스 분산 검색 엔진이다.
- Elasticsearch는 Logstash로부터 받은 데이터를 검색 및 분석하여 필요한 정보를 얻을 수 있다.
- Elasticsearch는 단독으로 사용하기도 하며 주로 빅데이터같이 많은 양의 데이터를 검색, 분석, 저장할 수 있다.
- 얼마나 빠르냐면 10년치 데이터를 OracleDB에서 검색하면 1달정도를 기다려야 결과를 볼 수 있는데, Elasticsearch를 사용하여 검색하니 결과가 단 몇분만에 나온 경험이 있다. 그정도로 Elasticsearch는 빠르다.
2. Logstash
- csv, DB 등 다양한 소스에서 로그 등의 데이터를 수집, 집계, 파싱하여 Elasticsearch로 전달한다.
- 서버측 데이터 처리 파이프 라인으로 데이터 수집 엔진이다.
3.Kibana
- Elasticsearch와 함께 동작하도록 설계된 오픈소스 분석 및 시각화 플랫폼이다.
- 히스토그램, 선형 그래프, 원형 차트 등 다양한 차트 및 분석에 대해 시각화할 수 있는 기능을 제공한다.
4. Filebeat
- 서버에 에이저트로 설치하여 다양한 유형의 데이터를 Elasticsearch 또는 Logstash에 전송하는 데이터 전달자이다.
- Filebeat는 로그 데이터를 지정하는 inputs을 가지는데, 여기서 데이터가 발생할 때마다 수집하여 전송한다.
'클라우드(AWS+Azure+GCP+etc)' 카테고리의 다른 글
| Docker GUI로 사용하기 (0) | 2022.03.05 |
|---|---|
| Windows 10 Home에서 Docker 설치하기 (0) | 2022.03.05 |
| Azure - AD(Active Directory) 생성 방법 (0) | 2022.02.22 |
| Azure - Blob 생성 방법 (0) | 2022.02.22 |
| Azure - VM(가상머신) 생성 방법 (0) | 2022.02.22 |
