SECURITY/보안기술(SECOPS)

elasticsearch 활용 사례 보안 위협 탐지

ELK 활용 사례 / 엘라스틱서치 활용사례 전체 서비스 평일 평균 엘라스틱서치 클러스터로 쌓이는 전체 보안 이벤트 로그는 아래와 같은 상황이다. 날짜별 Document 수는 3억2천~3억4천건 정도... 가끔 불특정 다수 해외 IP에서 지속적으로 스캔성 공격 시도를 할때는 늘어나는 경우도 있다. 사람이 일일이 이렇게 방대한 로그를 다 들여다보기란 바닷가 백사장에서 바늘 찾기다. 어떻게 하면 좀더 효율적으로 보안 위협 로그를 선별 할수 있을까? 현재 구성은 IDC 전체 구간 각 서비스별 보안장비 -> arcsight -> ELK 스택(elasticsearch) 이다. 요약하자면, 모든 보안 이벤트 로그를 엘라스틱서치로 받고 있다. 여유가 있다면 xpack 을 유료로 구매하여 Watcher (알림 통보)를 ..

2018. 11. 6. 16:57

SECURITY/보안기술(SECOPS)

elasticsearch 성능 최적화 및 보안 위협 분석

elasticsearch 구성 IDC내 모든 중요 보안 이벤트 로그 -> arcsight -> ELK Stack (Elasticsearch +Logstah + Kibana) Data Index Rate : 평균 5400/s 평일 Event : 358,177,040 hits (GET /_cat/count/xxxx-2018.05.29?v) 일별 index 용량 : 평균 100G~120G 이슈1 arcsight 에서 log format을 CEF 형식으로 -> elastic 으로 전송시 엘라스틱 디스크 용량 감당 노답. 예) arcsight 일별 100G VS elasticsearch 300G ~ 400G 정도 해결 arcsight 에서 엘라스틱으로 data 전송시 cef, syslog 두가지 형태로 분류하여 ..

2018. 5. 30. 14:07