[생초보를 위한 엘라스틱서치 가이드] Elasticstack으로 생초보도 할 수 있는 데이터 시각화

2019-09-07(토) 폭풍속에서 성대히 치뤄진 "[JavaCafe] 생초보를 위한 엘라스틱서치 가이드" 강의에 대한 메모입니다.

 

03. Elasticstack으로 생초보도 할 수 있는 데이터시각화 [김흥래 자바카페 운영진]

https://www.slideshare.net/ssuser4889dc/ss-144814667

데이터 수집부터 시각화까지

 

이번 시간에는 Elasticstack에 대한 소개와 Elasticstack 설치에 대한 라이브코딩을 보여주셨다.

 

데이터수집의 목적

-로그중앙화 : 다양한 서비스, 분산된 어플리케이션. 로그확인의 불편함 해결을 위해.

-사용자행동분석 : 추천서비스

-이상징후탐지 : 데이터수치위 급격한 차이 등 시스템 오류 확인

 

데이터파이프라인

데이터소스 - 로그스태시파이프라인 - 엘라스틱서치

ETL과정(EXTRACT TRANSFOR LOAD)

elasticstack은 etl도구중 하나.

 

데이터수집

비정형데이터 수집 - 가공(데이터정제, 첨가 등) - 저장(엘라스틱서치 - 분석및 시각화

비츠 - 로그스태시 - 키바나

 

비츠

특징 : 에이전트형태, 가벼움, 모듈제공

Filebeat - 파일수집

Heartbeat - 서버상태정보 수집

MetricBeat - 라이프사이클cpu memory 등(aws클라우드와처)

 

로그스태시

인풋플러그인

필토플러그인

아웃풋플러그인

 

키바나

텍스트 차트 등으로 시각화. 대쉬보드도 만들 수 있음.

 

 

훠~~~씬 상세한 설명이 있는 공유해주신 링크.

Demo http://bit.ly/2XWTP26

ElasticStack 실습 #1 (Logstash)

https://www.notion.so/ElasticStack-1-Logstash-847d4f6378a7477bbcacbe63ecbe9133

ElasticStack 실습 #1 (Logstash)