SECURITY/보안기술(SECOPS)

elasticsearch 성능 최적화 및 보안 위협 분석

elasticsearch 구성 IDC내 모든 중요 보안 이벤트 로그 -> arcsight -> ELK Stack (Elasticsearch +Logstah + Kibana) Data Index Rate : 평균 5400/s 평일 Event : 358,177,040 hits (GET /_cat/count/xxxx-2018.05.29?v) 일별 index 용량 : 평균 100G~120G 이슈1 arcsight 에서 log format을 CEF 형식으로 -> elastic 으로 전송시 엘라스틱 디스크 용량 감당 노답. 예) arcsight 일별 100G VS elasticsearch 300G ~ 400G 정도 해결 arcsight 에서 엘라스틱으로 data 전송시 cef, syslog 두가지 형태로 분류하여 ..

2018. 5. 30. 14:07

SYSTEM/TECH

elktail 사용 및 활용

elktail 사용하기 1. elktail 은 ELK(elasticsearch+logstash+kibana) 기반 로그에 대한 명령줄 (Command Line) 유틸리티. 2. CLI 기반에서 Lucene Query 및 tail 기능으로 오류 및 특정 이벤트를 검색 할수 있음. kibana 웹 인터페이스를 사용하여 로그 검색이 가능하나 가끔 아래와 같은 상황에서 유용하게 사용할수 있음. - 실시간으로 CLI 에서 로그 분석을 원할때 - 검색 결과를 파일로 직접 Redirection 하고 싶을때 - CLI 명령행으로 특정 기간 및 특정 index 로그를 출력할때 * curl + json 으로 가능하나 좀더 간결한 문법을 원할때 - 개인적으로는 X-Pack (모니터링 알람기능 등등) 대안으로 사용중 1) 설..

2017. 6. 5. 11:45