클라우드 개발자 앙몬드

헬름차트로 예거를 설치하고 프로메테우스를 설치하면, 프로메테우스가 기동되지 않는 상태

예거 헬름차트 설치 후, 프로메테우스 파드 재기동이 안됨 ㅇㅇ;

• 추정 사유 : 예거 에이전트가 환경변수를 프로메테우스 파드로 주입 시, 프로메테우스 측에서 이를 명시하지 않을 경우 오류 발생 
• 프로메테우스 커뮤니티 측에서는 예거보다는 프로메테우스의 버그로 취급하는 모양이며, 명확한 솔루션이 제공되어 있음 → 예거에이전트 환경변수를 명시적으로 프로메테우스 파드에 추가
• 레퍼런스
  • https://github.com/prometheus/prometheus/issues/7286 
  • https://github.com/helm/charts/issues/22769

오퍼레이터와 CRD를 그렇게 좋아하지 않는 개인 입장에서, 가장 바닐라틱하게 쓰기 위해 예거를 헬름으로 설치했댜

근데 이 상태에서 프로메테우스 재기동할 때 이슈가 생겼던 부분이었는데, 한번 동일 이슈일경우 참고해보도록 하쟈 ㅇㅇㅇ

https://kubernetes.io/ko/docs/concepts/workloads/pods/pod-lifecycle/

조금 유의할 사항으로, 파드 상태와 파드 내부를 구성하는 컨테이너의 상태는 다르다는 것을 기억하자굳

sum(kube_pod_status_phase{namespace=~".*", phase="Pending"})
# 쿠버 파드 상태 페이즈. 펜딩이 지속되면, 워커노드를 못찾았거나 노드 리소스가 없거나.. 혹은 볼륨 미스매치.
# 파드의 펜딩 걸리는 사유는 대개 노드에 파드를 배치시키지 못할 때 발생한다 ㅇㅇ

sum(kube_pod_status_phase{namespace=~".*", phase!="Running", phase!="Pending"})
# 컨테이너 내부 상태중 Run / Pend가 아닌 애들은 전부 Fail로 취급하였음
# kubectl events로 어느정도 비벼볼 수 있는 메트릭 쿼리가 있을 것으로 예상되나, 현재는 못찾았음
# 해당 부분은 딥 다이브 필요해보임 굳