SECURITY/보안기술(SECOPS)

elasticsearch 활용 사례 보안 위협 탐지

ELK 활용 사례 / 엘라스틱서치 활용사례 전체 서비스 평일 평균 엘라스틱서치 클러스터로 쌓이는 전체 보안 이벤트 로그는 아래와 같은 상황이다. 날짜별 Document 수는 3억2천~3억4천건 정도... 가끔 불특정 다수 해외 IP에서 지속적으로 스캔성 공격 시도를 할때는 늘어나는 경우도 있다. 사람이 일일이 이렇게 방대한 로그를 다 들여다보기란 바닷가 백사장에서 바늘 찾기다. 어떻게 하면 좀더 효율적으로 보안 위협 로그를 선별 할수 있을까? 현재 구성은 IDC 전체 구간 각 서비스별 보안장비 -> arcsight -> ELK 스택(elasticsearch) 이다. 요약하자면, 모든 보안 이벤트 로그를 엘라스틱서치로 받고 있다. 여유가 있다면 xpack 을 유료로 구매하여 Watcher (알림 통보)를 ..

2018. 11. 6. 16:57

SECURITY/보안기술(SECOPS)

elasticsearch 성능 최적화 및 보안 위협 분석

elasticsearch 구성 IDC내 모든 중요 보안 이벤트 로그 -> arcsight -> ELK Stack (Elasticsearch +Logstah + Kibana) Data Index Rate : 평균 5400/s 평일 Event : 358,177,040 hits (GET /_cat/count/xxxx-2018.05.29?v) 일별 index 용량 : 평균 100G~120G 이슈1 arcsight 에서 log format을 CEF 형식으로 -> elastic 으로 전송시 엘라스틱 디스크 용량 감당 노답. 예) arcsight 일별 100G VS elasticsearch 300G ~ 400G 정도 해결 arcsight 에서 엘라스틱으로 data 전송시 cef, syslog 두가지 형태로 분류하여 ..

2018. 5. 30. 14:07

SECURITY/보안기술(SECOPS)

elasticsearch elktail script 활용 TIP

현재 아래와 같이 구성하여 운영중 몇 가지 불편한점에 대한 개선책 구성보안 이벤트 로그(F/W, IPS, WAF, 중요 보안장비) -> Arcsight -> ELK Stack (일일 평균 약 400G) 불편한점1. kibana 검색 화면으로 특정 Query에 대한 결과를 볼때 스크롤에 대한 압박 (row 수가 많을때) 특정 시간대를 기준으로 검색시 (예: 1시간 이전 부터, 5분 전부터) 2. 결과 값에 대한 text 형태로 file 저장이 필요할때가 많음 3. 특정 Query에 대해 저장 후 불러오기는 가능하나, 스케쥴 등록 기능으로 지속적으로 특정 쿼리를 실행하고 결과를 보고 싶을때 (무료 버전은 불가) 위와 같이 몇 가지 불편한 사항에 대하여 리눅스 스크립트 + elktail 을 활용하면 개선책을 ..

2018. 3. 29. 13:20