Kubernetes Monitoring Deployment

monitoring_deployment.md

deployments/
├── base
....
....
│   ├── logging ===============> THIS IS BASE logging SETUP
│   │   ├── filebeat
│   │   │   ├── filebeat-config.yml
│   │   │   ├── filebeat-daemonset.yaml
│   │   │   └── kustomization.yaml
│   │   ├── filebeat-env.yaml
│   │   ├── kustomization.yaml
│   │   ├── namespace.yaml
│   │   └── service-account.yaml
│   ├── monitoring ===============> THIS IS BASE metrics SETUP
│   │   ├── kube-state-metrics
│   │   │   └── kustomization.yaml
│   │   ├── kustomization.yaml
│   │   ├── telegraf-env.yaml
│   │   ├── node ===============> THIS IS DAEMONSET TELEGRAF (ONE PER EC2 MACHINE)
│   │   │   ├── conntrack_metrics.sh
│   │   │   ├── kustomization.yaml
│   │   │   ├── telegraf-daemonset.yaml
│   │   │   └── telegraf.conf
│   │   ├── service =======> THIS IS SERVICE TELEGRAF (ONE FOR ENTIRE EKS CLUSTER)
│   │   │   ├── aws_custom_metrics.rb
│   │   │   ├── kustomization.yaml
│   │   │   ├── telegraf-deployment.yaml
│   │   │   └── telegraf.conf
│   │   └── service-account.yaml
│   ├── security
│   │   ├── gatekeeper
│   │   └── kustomization.yaml
│   └── shell
│       ├── bg
│       ├── fg
│       ├── kustomization.yaml
│       └── telegraf.conf ======================> THIS IS SIDECAR TELEGRAF
....
....
├── production
│   ├── ap-south-1
....
....
│   │   │   ├── logging ===============> THIS INHERITS FROM logging BASE
│   │   │   │   ├── filebeat-env.yaml
│   │   │   │   └── kustomization.yaml
│   │   │   ├── monitoring ===============> THIS INHERITS FROM monitoring BASE
│   │   │   │   ├── add-redis-labs-conf.yaml
│   │   │   │   ├── kustomization.yaml
│   │   │   │   ├── telegraf-env.yaml
│   │   │   │   └── redis-labs.conf
....
....
│   ├── ap-southeast-2
....
....
│   │   │   ├── logging ===============> THIS INHERITS FROM logging BASE
│   │   │   │   ├── filebeat-env.yaml
│   │   │   │   └── kustomization.yaml
│   │   │   ├── monitoring ===============> THIS INHERITS FROM monitoring BASE
│   │   │   │   ├── add-redis-labs-conf.yaml
│   │   │   │   ├── kustomization.yaml
│   │   │   │   ├── telegraf-env.yaml
│   │   │   │   └── redis-labs.conf
....
....
│   ├── eu-central-1
....
....
│   │   │   ├── logging ===============> THIS INHERITS FROM logging BASE
│   │   │   │   ├── filebeat-env.yaml
│   │   │   │   └── kustomization.yaml
│   │   │   ├── monitoring ===============> THIS INHERITS FROM monitoring BASE
│   │   │   │   ├── add-redis-labs-conf.yaml
│   │   │   │   ├── kustomization.yaml
│   │   │   │   ├── telegraf-env.yaml
│   │   │   │   └── redis-labs.conf
....
....
│   └── us-east-1
....
....
│       │   ├── logging ===============> THIS INHERITS FROM logging BASE
│       │   │   ├── filebeat-env.yaml
│       │   │   └── kustomization.yaml
│       │   ├── monitoring
│       │   │   ├── add-redis-labs-conf.yaml
│       │   │   ├── kustomization.yaml
│       │   │   ├── telegraf-env.yaml
│       │   │   └── redis-labs.conf
....
....
├── staging
....
....
│   │   ├── logging ===============> THIS INHERITS FROM logging BASE
│   │   │   ├── filebeat-env.yaml
│   │   │   └── kustomization.yaml
│   │   ├── monitoring ===============> THIS INHERITS FROM monitoring BASE
│   │   │   ├── kustomization.yaml
│   │   │   └── telegraf-env.yaml
....
....