logstash 사용법 elasticsearch 연동 사례

logstash 사용법 및 활용 사례에 대하여 알아보겠습니다. Logstash로 보안 로그 데이터 전처리를 하고있으며 elastic stack 연동하여 사용중입니다. 모든 서비스 보안 이벤트 로그(Firewall, IPS, WAF 등)를 logstash로 전처리하고 elastic stack으로 저장하고 있습니다. 일평균 처리량은 elastic indices 기준 일별 4억 2천건 ~ 4억 5천건 (Document Count 기준) logstash filter 플러그인을 적용하여 꼭 필요한 부분만 저장중이며 실제 일평균 저장되는 스토리지 용량은 60GB~75GB 정도입니다. logstash filter 부분 실제 운영 사례 drop filter plugin 보안 이벤트 로그의 deviceCustomStri..