ELK

 

ELK Stack 훑어보기

 

✏️ elastic Search

검색엔진. 클러스터 구조로 분산. restfulAPI 로 데이터 추가, 검색. 

sql문이 rest 기반의 엘라스틱 서치에서 각각 get, post, put, delete 에 대응. 

database, table, row, column, schema > index, type, document, field, mapping 

 

 

검색엔진에 쓰이는 엘라스틱서치 Elasticsearch에 대해 알아보자!

 

https://velog.io/@yukina1418/%EA%B2%80%EC%83%89%EC%97%94%EC%A7%84-Elasticsearch%EC%97%90-%EB%8C%80%ED%95%98%EC%97%AC

검색엔진 Elasticsearch에 대하여

 

1. 토큰 > 분석기에서 토크나이저를 통해 필터링된 문자열이 잘림 :: 잘린 단위 : 토큰 

2. 토큰 필터 > 최종으로 정제되어 인덱스에 저장 :: 용어 

 

자주 사용되는 분석기 : standard, simple, stop 

존재하는 캐릭터 필터 : html_strip, mapping, pattern_replace 

대표적 토크나이저 : standard, leetter, whitespace, ngram, uax_url_email

자주 사용하는 토큰 필터 : lowercase, uppercase, stop, stemmer 

✏️ logstash

데이터 처리 파이프라인 도구.

특정한 데이터를 입력받아, 데이터를 가공한 후 엘라스틱서치에 데이터를 집어넣어줄 수 있는 파이프라인. 

플러그인 기반 시스템 

Json, xml, 관계형 데이터 베이스, nosql 데이터를 받아 마이그레이션 가능.

 

input > filter > output 순서. 데이터 수집, 가공, 전달 

 

input 

- 수집 데이터 소스 : Beats, File, TCP, HTTP, Kafka, Redis 등 

- 다수의 데이터 소스로부터 동시에 로그 혹은 메트릭 데이터 수집 

 

filter 

- grok 플러그인을 사용하여 정규표현식으로 비정형 데이터로부터 구조 도출 가능.

- ip 주소로부터 위치 좌표를 얻어올 수 있음. 

- 개인 식별 정보를 익명화, 완전히 제외 가능. 

 

output 

- 다양한 데이터 소스로 출력할 수 있음. 

 

✏️kibana

- 데이터 시각화 대시보드 

- 엘라스틱 서치만으로 데이터 검색을 할 수 있지만, 단독으로 사용 시 restful API 호출해야만 해서 불편.

- 저장된 데이터를 분석 및 시각화할 도구로.

- HTML + Javascrpit 엔진 . 

- 텍스트 데이터 포함.

 

Elastic 가이드 북 | Elastic 가이드북