Information Security

filebeat 실행 후 해당 디렉터리 확인을 한다. /etc/logstash 설정 파일을 확인할 수 있다. /etc/filebeat 설정파일을 확인할 수 있다. stdin 콘솔 키보드 입력, stdout 콘솔에 직접 출력하여콘솔을 이용해 logstash를 출력할 수 있다. 123 데이터를 입력하면 바로 출력이 되는 것을 알 수 있다. filebeat설정 파일에서 Elasticsearch output을 주석 처리하고 Logstash output 주석을 해제를 해준다. Filebeat를 사용하기 위해 enabled 옵션을 true로 변경해준다. logstash 파일에서 piplines.yml 설정파을 보면 파일이 하나도 없는 conf.d 폴더 내용을 참조하는 것을 알 수 있다. logstash-sample..

Visualizations 메뉴를 선택한다. Create new visualization를 생성하려고 한다. 가장 쉬운 Metric을 선택한다. ba*를 선택하면 1,000개의 document를 가지고 있다. ba* Data의 집성을 설정할 수 있다. Title을 bank_count를 설정했다. bank_count가 생성된 것을 알 수 있다. Dashboards 메뉴를 볼 수 있다. Dashboard에서 Add 메뉴를 선택해 bank_count를 만들면 Count를 관찰할 수 있다. 이번에는 Pie 차트를 만들었다. pie 차트에 아래와 같이 옵션을 주었다. 아래와 같이 Pie 차트가 생성된 것을 알 수 있다. Significatn Terms 범위를 나타내주고 Field는 state.keyword, Si..

Loading Sample Data 윌리엄 셰익스피어 (William Shakespeare)의 전체 작품은 적절하게 필드로 파싱 shakespeare json 무작위로 생성된 데이터로 구성된 가상 계정 집합 accounts json 임의로 생성된 로그 파일 세트 logs jsonl 데이터를 로드하기 전에 매핑을 먼저 수행 매핑을 수행하지 않은 경우에는 임의의 데이터 형태로 매핑 매핑이란 인덱스의 문서를 논리적 그룹으로 나누고 필드의 검색 가능성 또는 토큰화 되었는지 또는 별도의 단어로 분리되는 지와 같은 필드의 특성을 지정 account 데이터 세트에는 매핑이 필요하지 않음 벌크 데이터를 사용하여 Elasticsearch에 데이터 세트를 로드 Index패턴 정의하기 Elasticsearch에 로드된 각 ..

소개 Kibana는 Elasticsearch와 함께 작동하도록 설계된 오픈 소스 분석 및 시각화 플랫폼 Kibana를 사용하여 Elasticsearch 색인에 저장된 데이터를 검색 보기 및 상호 작용 고급 데이터 분석을 쉽게 수행하고 다양한 차트 테이블 및 맵에서 데이터를 시각화 간단한 브라우저 기반의 인터페이스를 통해 실시간으로 Elasticsearch 쿼리의 변경 사항을 표시하는 동적 대시 보드를 신속하게 만들고 공유 Kibana 접근 방법 kibana는 포트 5601을 통해 액세스 하는 웹 응용 프로그램 예 localhost 5601 또는 http :://YOURDOMAIN com 5601 시간 필터는 지난 15 분으로 설정되고 검색 쿼리는 완전 일치로 설정 Kibana 서버의 상태 페이지 접근 l..

검색(_search) API 엘라스틱서치에서의 검색은 인덱스 또는 타입 단위로 수행 _search API 사용 질의는 q 매개변수의 값으로 입력 hamlet이라는 검색어로 검색 질의 질의문 books 인덱스 , book 타입에서 hamlet 검색 localhost:9200/books/book/_ search?q =hamlet books 인덱스에서 hamlet 검색 localhost:9200/books/_ search?q =hamlet 전체 인덱스에서 time 검색 localhost:9200/_search?q =time 특정 필드 검색 q 매개변수에 입력 질의 질의문 전체 인덱스의 title 필드에서 time 검색 /_search?q=title:time 다중 조건 검색 and와 or를 사용하여 다수의 조건..

Kibana Sample Data를 설치했다. GET _cat/indices Query를 통해 sample_data를 확인했다. kibana_sample_data_fligths 데이터를 조회했다. AvgTicketPrice 오름차순으로 정렬했다. AvgTicketPrice 오름차순으로 10개 출력된 것을 알 수 있다. DestCountry: AU, AvgTicketPrice, FlightNum을 내림차순으로 정렬했다. FlightNum: BKVUOVI를 제외하고 데이터가 출력한다.

간단한 검색을 시작해봅시다. 검색을 하기 위해서는 두 개의 기본 방법이 있습니다. REST request URI을 통해 검색 파라미터를 보내는 방법입니다. REST request body를 통해서 검색어를 보내는 방법입니다. request body 메소드는 많은 표현이 가능하게 하고, 읽기 쉬운 JSON 포맷상에서 검색어를 정의할 수 있습니다. request URL 메소드의 예제를 하도록 할 건데, 하지만 튜토리얼의 나머지를 위해, 여기서는 request body 메서드를 사용하도록 하겠습니다. 검색을 위한 REST API는 _search 엔드 포인트로부터 접근 가능합니다. 이 예제는 bank 인덱스에서 모든 documents를 리턴합니다. GET /bank/_search?q=*&sort=account_..

Batch Processing란 일괄 처리라고도 하는 과정으로서 실시간으로 요청에 의해서 처리되는 방식이 아닌 일괄적으로 한꺼번에 대량의 프로세스를 처리하는 방식이다. 대량의 데이터를 처리한다. 특정 시간에 프로그램을 실행한다. 일괄적으로 처리한다. Bulk API 여러 명령을 배치로 수행하기 위해서 _bulk API의 사용이 가능합니다. _bulk API로 index, create, update, delete의 동작이 가능하며 delete를 제외하고는 명령문과 데이터 문을 한 줄씩 순서대로 입력해야 합니다. delete는 내용 입력이 필요 없기 때문에 명령문만 있습니다. Bulk API에 데이터를 입력했다. 기존 Bulk API에 age를 추가했고 id 2를 삭제 처리했다. customer/type1/..