SECURITY/보안기술(SECOPS)

elasticsearch 성능 최적화 및 보안 위협 분석

elasticsearch 구성 IDC내 모든 중요 보안 이벤트 로그 -> arcsight -> ELK Stack (Elasticsearch +Logstah + Kibana) Data Index Rate : 평균 5400/s 평일 Event : 358,177,040 hits (GET /_cat/count/xxxx-2018.05.29?v) 일별 index 용량 : 평균 100G~120G 이슈1 arcsight 에서 log format을 CEF 형식으로 -> elastic 으로 전송시 엘라스틱 디스크 용량 감당 노답. 예) arcsight 일별 100G VS elasticsearch 300G ~ 400G 정도 해결 arcsight 에서 엘라스틱으로 data 전송시 cef, syslog 두가지 형태로 분류하여 ..

2018. 5. 30. 14:07

SECURITY/보안기술(SECOPS)

elasticsearch elktail script 활용 TIP

현재 아래와 같이 구성하여 운영중 몇 가지 불편한점에 대한 개선책 구성보안 이벤트 로그(F/W, IPS, WAF, 중요 보안장비) -> Arcsight -> ELK Stack (일일 평균 약 400G) 불편한점1. kibana 검색 화면으로 특정 Query에 대한 결과를 볼때 스크롤에 대한 압박 (row 수가 많을때) 특정 시간대를 기준으로 검색시 (예: 1시간 이전 부터, 5분 전부터) 2. 결과 값에 대한 text 형태로 file 저장이 필요할때가 많음 3. 특정 Query에 대해 저장 후 불러오기는 가능하나, 스케쥴 등록 기능으로 지속적으로 특정 쿼리를 실행하고 결과를 보고 싶을때 (무료 버전은 불가) 위와 같이 몇 가지 불편한 사항에 대하여 리눅스 스크립트 + elktail 을 활용하면 개선책을 ..

2018. 3. 29. 13:20

SYSTEM/TECH

Elastic Stack Packetbeat

Packetbeat 네트워크 flow , Packet 정보 및 프로토콜에 대한 실시간 모니터링 메트릭을 볼수 있음. 활용 사례 * windows hyper-v 환경에서 호스트 서버 "가상 스위치"의 네트워크 packet metric 분석 A. 설치 방법은 인터넷 참고 B. 모니터링 Network Interface 선택 윈도우 호스트 서버(블레이드) 에서는 네트워크 인터페이스가 여러개 -> .\packetbeat.exe -devices 아래 리스트중 "가상 스위치"를 찾아서 환경파일(packetbeat.yml) -> packetbeat.interfaces.device: 2 ( 2:번이 가상스위치 ) 목적: 윈도우 hyper-v 호스트의 가상 스위치를 선택 -> Guest OS (VM) 의 모든 네트워크 트..

2017. 6. 16. 09:50