Docker container metrics with prometheus and Grafana (CADVISOR)

Bu yazıda containerlarınızın metriklerini alıp grafanada nasıl göstereceğinizden bahsedeceğim.

Docker container çalıştırdığınız hostlarda containerlarınızın ne kadar resource kullandığını görmek istiyorsanız Cadvisor kullanmanız işinizi çok kolaylaştıracaktır.

docker-host

öncelikle örnek docker çalışan bir docker host ayarlayalım. docker-compose ile ayağa kaldırıcaz.

docker ve dockercompose yüklemek için repomda olan scripten faydalanabilirsiniz.

GitHub - alperen-selcuk/docker-install

daha sonra örnek bir uygulamayı ayağa kaldıralım.

docker compose up diyerek ayağa kaldıralım.

cAdvisor

cAdvisor docker contailerlarınız çalıştığı host üzerinde system pathlerine mount olarak dockerla ilgili metrikleri alır.

GitHub - google/cadvisor: Analyzes resource usage and performance characteristics of running…

bunu docker run diyerek çalıştıracağınız gibi docker-compose yamlda da çalıştırabilirsiniz.

  cadvisor:
    container_name: cadvisor
    image: gcr.io/cadvisor/cadvisor:latest
    network_mode: "host"
    ports:
      - "8888:8080"
    volumes:
      - "/:/rootfs"
      - "/var/run:/var/run"
      - "/sys:/sys"
      - "/var/lib/docker/:/var/lib/docker"
      - "/dev/disk/:/dev/disk"
    privileged: true

yukarıdaki örnek yetkili bir cAdvisor bunu daha az yetkili olarak da açabilirsiniz. mesela readonly olarak:

VERSION=v0.36.0 # use the latest release version from https://github.com/google/cadvisor/releases
sudo docker run \
  --volume=/:/rootfs:ro \
  --volume=/var/run:/var/run:ro \
  --volume=/sys:/sys:ro \
  --volume=/var/lib/docker/:/var/lib/docker:ro \
  --volume=/dev/disk/:/dev/disk:ro \
  --publish=8080:8080 \
  --detach=true \
  --name=cadvisor \
  --privileged \
  --device=/dev/kmsg \
  gcr.io/cadvisor/cadvisor:$VERSION

ben docker-compose file a ekleyip tekrar up yapacağım.

burda farkettiyseniz expose ettiğimiz 8888 portu bulunmuyor çünkü host network olarak seçtik.

prometheus

prometheus cadvisordan aldığı metrikleri grafana için ayarlayacak. bunun için binary sini yükleyip daha sonra config dosyasını hazırlayacağız.

GitHub - prometheus/prometheus: The Prometheus monitoring system and time series database.

daha sonra prometheus yaml dosyası eklememiz gerekiyor.

mkdir -p /etc/prometheus
touch /etc/prometheus/prometheus.yml

daha sonra içine cadvisor için config yapacağız.

global:
  scrape_interval:     15s
  evaluation_interval: 15s

scrape_configs:
  - job_name: 'node'
    static_configs:
      - targets: ['10.2.0.6:9100']

  - job_name: 'cadvisor'
    static_configs:
      - targets: ['10.2.0.6:8080']

private IP ile config gireceğiz. prometheus u service olarak ekleyip çalıştıracağız ki yeniden başladığında devam edebilsin.

systemd altına bir service açacağız.

touch /etc/systemd/system/prometheus.service

içine de confiği koyuyoruz.

[Unit]
Description=Prometheus
After=network.target

[Service]
ExecStart=/usr/local/bin/prometheus --config.file=/etc/prometheus/prometheus.yml
Restart=always

[Install]
WantedBy=default.target

daha sonra reload ve enable

sudo systemctl daemon-reload
sudo systemctl start prometheus
sudo systemctl enable prometheus

grafana

ben hızlıca docker üzerinde bir grafana ayaga kaldırıp datasource ekleyeceğim, hali hazırda kullandığınız grafanaya da koyabilirsiniz.

basitçe bir container olarak ayaga kaldırdım user pass admin/admin

docker run -d --name=grafana -p 3000:3000 grafana/grafana

grafanaya 3000 portundan bağlanacağım.

datasource eklemek için sırasıyla

connections -> data source -> add new datasource

diyerek prometheus u seçiyoruz. daha sonra docker host Ip si ve prometheus portu ekliyoruz.

şimdi bir tane dashboard import edeceğiz.

dashboard a gelerek import seçip ID kısmına 193 yazacağız bu bize hazır postgresql dashboardu verecek.

load dediğimiz anda dashboard gelecek ve datasource olarak eklediğimiz prometheus u göstereceğiz.

artık container metrikleriniz grafanada görebiliyorsunuz.

bir sonraki yazımda görüşmek üzere.

h.a.s.