Information Security

Batch Processing란 일괄 처리라고도 하는 과정으로서 실시간으로 요청에 의해서 처리되는 방식이 아닌 일괄적으로 한꺼번에 대량의 프로세스를 처리하는 방식이다. 대량의 데이터를 처리한다. 특정 시간에 프로그램을 실행한다. 일괄적으로 처리한다. Bulk API 여러 명령을 배치로 수행하기 위해서 _bulk API의 사용이 가능합니다. _bulk API로 index, create, update, delete의 동작이 가능하며 delete를 제외하고는 명령문과 데이터 문을 한 줄씩 순서대로 입력해야 합니다. delete는 내용 입력이 필요 없기 때문에 명령문만 있습니다. Bulk API에 데이터를 입력했다. 기존 Bulk API에 age를 추가했고 id 2를 삭제 처리했다. customer/type1/..

REST API Elasticsearch는 클러스터와 상호작용하는 데 사용할 수 있는 강력한 REST API를 제공 클러스터, 노드 및 색인 상태, 상태 및 통계 확인 클러스터, 노드 및 색인 데이터 및 메타 데이터 관리 CURD(Create, Read, Update, Delete) 및 인덱스에 대한 검색 작업 수행 구성요소: 리소스, 메서드, 메시지 HTTP POST , http://myweb/users/ { "users":{ "name":"test" } } 클러스터 상태 (Health) 클러스터가 어떻게 진행되고 있는지 기본적인 확인 HTTP/REST 호출을 수행할 수 있는 모든 도구를 사용 가능 클러스터 상태를 확인하기 위해 _cat API를 사용 녹색 모든 것이 좋음 클러스터가 완전히 작동함 노란..

defulat-jdk 자바를 설치해준다. elasticsearch를 설치 파일을 다운로드했다. Kibana를 설치파일을 다운로드했다. filebeat를 설치 파일을 다운로드했다. logstash를 설치 파일을 다운로드했다. elasticsearch, kibana, filebeat, logstash가 설치된 것을 알 수 있다. elasticsearch를 설치했다. kibana를 설치했다. logstash를 설치했다. filebeat를 설치했다. elasticsearch 실행하고 9200 포트로 열린 것을 알 수 있다. http://127.0.01:9200 포트로 접속하면 elasticsearch가 동작하는 것을 알 수 있다. kibana 실행하고 5601포트로 열린 것을 알 수 있다. http://127...

Near Realtime(NRT) Elasticsearch는 거의 실시간 검색 플랫폼 문서를 색인할 때부터 검색 가능할 때까지 약간의 대기 시간 매우 짧음 클러스터(Cluster) 하나 이상의 노드(서버)가 모인 것이며, 이를 통해 전체 데이터를 저장하고 모든 노드를 포괄하는 통합 색인화 및 검색 기능을 제공합니다. 클러스터는 고유한 이름으로 식별되는데, 기본 이름은 "elasticsearch"입니다. 어떤 노드가 어느 클러스터에 포함되기 위해서는 이름에 의해 클러스터의 구성원이 되도록 설정되기 때문에 중요하다. 노드(Node) 클러스터의 일부이며 데이터를 클러스터의 인덱싱 및 검색 기능을 참여하는 단일 서버 단일 클러스터에서 원하는 만큼의 노드를 소유 가능 네트워크에서 다수의 노드를 시작할 경우 (각각..

ELK 스택 Elasticsearch, Kibana, Beats, Logstash 모든 형식의 모든 소스에서 안정적으로 수집 데이터를 가져온 다음 실시간으로 검색, 분석, 시각화 Elasticsearch는 검색 및 분석 엔진입니다. Logstash는 여러 소스에서 동시에 데이터를 수집하여 변환한 후 Elasticsearch 같은 “stash”로 전송하는 서버 사이드 데이터 처리 파이프라인입니다. Kibana는 사용자가 Elasticsearch에서 차트와 그래프를 이용해 데이터를 시각화할 수 있게 해 줍니다. ELK 장점 무료 오픈 소스 빠른 설치가 가능 유연성 있는 실시간 데이터 수집 간단한 분산 네트워크 환경

- 감사 및 액세스 로그를 통해 침해 발생 분석 및 침해 시도 여부 모니터링 elasticsearch.yml 파일에서 아래와 같이 보안감사를 설정해준다. Dev Tools 메뉴에서 query를 보낸다. Logs 폴더에 [clustername]_audit-[날짜].json 파일이 생성되는 것을 알 수 있다. elasticsearch_audit.json 파일을 보면 전부 기록되는 것을 알 수 있다.

- Node간 통신 암호화 적용 elasticsearch-certgen 명령어 실행하여 인증서를 생성했다. elasticsearch 폴더 위치에서 config/certs 인증서 압축파일을 풀었다. elasticsearch.yml 파일에서 아래와 같이 인증서 경로를 설정해준다. Elasticsearch 페이지 접속 시 SSL 적용된 것을 알 수 있다. kibana.yml 설정 파일에서 SSL 인증서 경로를 설정했다. elasticsearch.hosts 파일을 설정해주지 않으면 아래와 같은 오류가 발생한다. Kibana 페이지 접속 시 SSL 적용되어 있는 것을 알 수 있다.

- default 계정 외 별도의 관리자 계정 생성 및 관리 curl 명령어를 이용해 superuser 권한의 계정을 생성했다. elasticsearch-users 명령어를 이용해 superuser 권한 계정을 생성할 수 있다. 생성한 superuser 권한을 가진 test2 계정으로 로그인 Kibana Users 메뉴에 보이지 않는 것을 알 수 있다. list 옵션을 사용하면 test2 : superuser을 확인할 수 있다. config/users_roles 파일에서도 superuser : test2에서도 확인할 수 있다. superuser 권한의 계정을 가진 elastic을 비활성화시켰다. elastic 계정이 Disabeld로 설정되어 있는 것을 알 수 있다.