SYSTEM/TECH

Storage 통합 모니터링

스토리지 CPU 상태 모니터링 (이외 IOPS,Latency,Bandwidth,DISK 용량 모두 모니터링중) 10여대 스토리지 운영중 (대략 800TB) (다양한 벤더) (VM 10,000대 이상 운영중) 여러가지 벤더라 cli 명령도 다 틀리고 제공되는 모니터링 툴도 벤더별로 다 제각각이라 관리적인 측면이나 모니터링 측면에서 짜증남... 스토리지 이슈 발생시.... VM 전체가 영향을 받아 서비스에 큰 문제 발생... 스토리지 모니터링이 상당히 중요한 서비스임.. Point : 아래 스크립트를 크론에 등록하여 -> curl을 사용하여 -> influxdb 로 넣고 -> kapacitor 로 실시간 감시 -> -> 임계치 부합되면 alert -> 화면은 grafana 모니터링중.... script #!..

2017. 3. 29. 15:59

SYSTEM/TECH

saltstack command example

Saltstack 특징 / 명령어 예제 비슷한 종류의 인프라 자동화 관리툴 (devops tools) 들이 많지만 saltstack 지향점은 아래와 같다. " Infrastructure as data, not code " pupet,chef,ansible : Infrastructure as Code 특정 언어를 이해해야함 , 구성 및 관리가 복잡함 (사용자별 느끼는 차이는 있을수있음 ) saltstack : Infrastructure as Data python 으로 작성 되었지만, 특정 언어에 구애받지 않으며 단순하고 사람이 쉽게 읽을 수있는 YAML 파일과 Jinja 템플릿을 사용 saltstack 지향점은 "Infrastructure as Data" -> 최대한 덜 복잡하게 (단순하게) 관리하며, 쉽..

2017. 3. 29. 15:23

SYSTEM/TECH

saltstack 사용법 및 최적화 팁

Saltstack Large Scale tuning Point 현재 아래 스펙으로 문제없이 운영중 Single master (24 core / mem 32G) VM (syndic node 추가 예정) Minions 11,000 VM (윈도우:리눅스 8:2) 적절한 튜닝이 꼭 필요함 (튜닝 안하면 여러가지 문제점이 발생됨 / 특히 windows minion 이 많으면...) 아래 설정값 이외 에도 각 환경설정 파일 및 튜닝 포인트를 참고하여 인프라 scale에 맞게 운영해야 한다. ※ 아래 saltstack 튜닝 포인트는 참고 용도로 사용 바랍니다. 서비스 환경(minions 수, master spec, 네트워크 환경)이 틀릴 경우 다양한 이슈가 발생 할수도 있습니다. - Minion 수천대 ~ 만대이상 ..

2017. 3. 29. 13:50