Kibana Sample Data

Loading Sample Data

• 윌리엄 셰익스피어 (William Shakespeare)의 전체 작품은 적절하게 필드로 파싱 shakespeare json
• 무작위로 생성된 데이터로 구성된 가상 계정 집합 accounts json
• 임의로 생성된 로그 파일 세트 logs jsonl
• 데이터를 로드하기 전에 매핑을 먼저 수행
  • 매핑을 수행하지 않은 경우에는 임의의 데이터 형태로 매핑
• 매핑이란
  인덱스의 문서를 논리적 그룹으로 나누고 필드의 검색 가능성 또는 토큰화 되었는지 또는 별도의 단어로 분리되는
  지와 같은 필드의 특성을 지정
• account 데이터 세트에는 매핑이 필요하지 않음
• 벌크 데이터를 사용하여 Elasticsearch에 데이터 세트를 로드

Index패턴 정의하기

• Elasticsearch에 로드된 각 데이터 세트에는 인덱스 패턴 존재
  • shakespeare 데이터 세트 shakespeare라는 인덱스 (shakes*)
  • account 데이터 세트 bank라는 인덱스 (ba*)
  • logs 데이터 세트 YYYY.MM.DD 형식의 날짜가 포함 (5 월에 대한 색인 패턴, logstash 2015 05)

Index 패턴 정의하기

• Management 탭을 클릭 한 다음 Index Patterns 탭을 클릭
• +Add New 새로 추가를 클릭하여 새 인덱스 패턴을 정의

Kibana 메뉴

Discover	결과를 탐색하고 Visualize에서 저장된 검색의 시각화
Visualize	여러 가지 방법으로 데이터를 시각화
Dashboard	각종 시각화자리를 커스터마이징할 수 있는 대시보드
Timelion	데이터 발생량 타임라인
Management	인덱스, 오브젝트, 및 각종 기능 관리 탭

 

accoutns.zip, shakespeare.json, logs.jsonl.zip 파일을 다운로드하였다.

그림 1-1 Kibana Sampel data

accounts.zip, logs.jsonl.gz 압축파일을 풀었다.

그림 1-2 압축파일

shakespeare 파일을 매핑했다.

그림 1-3 shakespeare

logstash-2015.05.18 파일을 매핑했다.

그림 1-4 logstash-2015.05.18

logstash-2015.05.19 파일을 매핑했다.

그림 1-15 logstash-2015.05.19

logstash-2015.05.20 파일을 매핑했다.

그림 1-16 logstash-2015.05.20

curl -H 'Content-Type: application/x-ndjson' -XPOST 'localhost:9200/bank/account/_bulk?pretty' --data-binary @accounts.json 데이터가 조회되는 것을 알 수 있다.

그림 1-17 accounts.json

Index Management 메뉴에서도 확인할 수 있다.

그림 1-18 Index Management

curl -H 'Content-Type: application/x-ndjson' -XPOST 'localhost:9200/_bulk?pretty' --data-binary @logs.jsonl 데이터가 조회되는 것을 알 수 있다.

그림 1-19 logs . jsonl

curl -H 'Content-Type: application/x-ndjson' -XPOST 'localhost:9200/shakespeare/_bulk?pretty' --data-binary @shakespeare.json 데이터가 조회되는 것을 알 수 있다.

그림 1-20 shakespeare .json

Docs count를 보면 데이터가 제대로 올라온 것을 알 수 있다.

그림 1-21 Docs count

ba*라는 Index Patterns 만들었다.

그림 1-22 ba*

shakes*라는 Index Patterns 만들었다.

그림 1-23 shakes*

logstash-2015.05.*라는 utc_time을 설정해 IndexPatterns 만들었다.

그림 1-24 logstash-2015.05.*