SECURITY/보안기술(SECOPS)

elasticsearch 성능 최적화 및 보안 위협 분석

elasticsearch 구성 IDC내 모든 중요 보안 이벤트 로그 -> arcsight -> ELK Stack (Elasticsearch +Logstah + Kibana) Data Index Rate : 평균 5400/s 평일 Event : 358,177,040 hits (GET /_cat/count/xxxx-2018.05.29?v) 일별 index 용량 : 평균 100G~120G 이슈1 arcsight 에서 log format을 CEF 형식으로 -> elastic 으로 전송시 엘라스틱 디스크 용량 감당 노답. 예) arcsight 일별 100G VS elasticsearch 300G ~ 400G 정도 해결 arcsight 에서 엘라스틱으로 data 전송시 cef, syslog 두가지 형태로 분류하여 ..

2018. 5. 30. 14:07

SECURITY/보안기술(SECOPS)

elasticsearch elktail script 활용 TIP

현재 아래와 같이 구성하여 운영중 몇 가지 불편한점에 대한 개선책 구성보안 이벤트 로그(F/W, IPS, WAF, 중요 보안장비) -> Arcsight -> ELK Stack (일일 평균 약 400G) 불편한점1. kibana 검색 화면으로 특정 Query에 대한 결과를 볼때 스크롤에 대한 압박 (row 수가 많을때) 특정 시간대를 기준으로 검색시 (예: 1시간 이전 부터, 5분 전부터) 2. 결과 값에 대한 text 형태로 file 저장이 필요할때가 많음 3. 특정 Query에 대해 저장 후 불러오기는 가능하나, 스케쥴 등록 기능으로 지속적으로 특정 쿼리를 실행하고 결과를 보고 싶을때 (무료 버전은 불가) 위와 같이 몇 가지 불편한 사항에 대하여 리눅스 스크립트 + elktail 을 활용하면 개선책을 ..

2018. 3. 29. 13:20

SYSTEM/TECH

elktail 사용 및 활용

elktail 사용하기 1. elktail 은 ELK(elasticsearch+logstash+kibana) 기반 로그에 대한 명령줄 (Command Line) 유틸리티. 2. CLI 기반에서 Lucene Query 및 tail 기능으로 오류 및 특정 이벤트를 검색 할수 있음. kibana 웹 인터페이스를 사용하여 로그 검색이 가능하나 가끔 아래와 같은 상황에서 유용하게 사용할수 있음. - 실시간으로 CLI 에서 로그 분석을 원할때 - 검색 결과를 파일로 직접 Redirection 하고 싶을때 - CLI 명령행으로 특정 기간 및 특정 index 로그를 출력할때 * curl + json 으로 가능하나 좀더 간결한 문법을 원할때 - 개인적으로는 X-Pack (모니터링 알람기능 등등) 대안으로 사용중 1) 설..

2017. 6. 5. 11:45