Навигация

Проверка HTTP доступности доменов и кодов ответа Prometheus Blackbox и срок действия сертификатов SSL

Проверка HTTP доступности доменов и кодов ответа Prometheus Blackbox и срок действия сертификатов SSL

По мотивам статей:

https://domain.ru/checking-for-http-200s-with-the-blackbox-exporter/

https://itdraft.ru/2023/05/15/nastrojka-blackbox-exporter-dlja-monitoringa-http-tcp-icmp/

и серии статей про prometheus + alertmanager на своем сайте

Что есть Blackbox

Ниже адрес 192.168.1.15 - выдуманного сервера с установленным Blackbox Exporter

С помощью Blackbox Exporter можно легко проверить, работают ли конечные точки HTTP и HTTPS
Модули настраиваются в blackbox.yml
Принцип работы экспортера Blackbox заключается в том, что конечная точка /probe принимает параметры модуля и целевого URL
Конфигурация по умолчанию включает модуль http_2xx, который выполняет HTTP-проверку, которая считает любой HTTP-ответ 2xx успешным

Если вы зайдете по адресу 192.168.1.15:9115/probe?module=http_2xx&target=https://domain.ru/

то

увидите результат проверки https://domain.ru/

Показатель probe_success:

если проверка прошла успешно, будет равен 1

если проверка прошла неудачно, будет равен 0

Конфигурация blackbox

$ sudo useradd -M -s /bin/false blackbox

$ sudo mkdir /opt/blackbox

$ cat/opt/blackbox/blackbox.yml

Ручная установка и запуск blackbox_exporter

$ wget https://github.com/prometheus/blackbox_exporter/releases/download/v0.12.0/blackbox_exporter-0.12.0.linux-amd64.tar.gz

$ tar -xzf blackbox_exporter-*.linux-amd64.tar.gz

$ cd blackbox_exporter-*

$ sudo cp blackbox_exporter /usr/local/bin/

$ sync

$ sudo systemctl enable --now blackbox_exporter

Руками запуск:

$ blackbox_exporter

$ ./blackbox_exporter

blackbox_exporter как сервис

$ cat /etc/systemd/system/blackbox_exporter.service

$ sudo systemctl daemon-reload

$ sudo systemctl start blackbox_exporter

$ sudo systemctl status blackbox_exporter

Связка Blackbox с Prometheus на том-же сервере с проверкой HTTP TCP ICMP

wget https://github.com/prometheus/prometheus/releases/download/v2.4.2/prometheus-2.4.2.linux-amd64.tar.gz

tar -xzf prometheus-*.tar.gz

cd prometheus-*

cat <<'EOF' > prometheus.yml
global:
 scrape_interval: 10s
scrape_configs:
 - job_name: 'Blackbox-HTTP'
   scrape_interval: 5m
    metrics_path: /probe
    params:
      module: [http_2xx]
    file_sd_configs:
      - files:
        - /etc/prometheus/targets.d/blackbox-http.yml
    relabel_configs:
      - source_labels: [__address__]
        target_label: __param_target
      - source_labels: [__param_target]
        target_label: instance
      - target_label: __address__
        replacement: 127.0.0.1:9115

- job_name: 'Blackbox-ICMP'
    scrape_interval: 5m
    metrics_path: /probe
    params:
      module: [icmp]
    file_sd_configs:
      - files:
        - /etc/prometheus/targets.d/blackbox-icmp.yml
    relabel_configs:
      - source_labels: [__address__]
        target_label: __param_target
      - source_labels: [__param_target]
        target_label: instance
      - target_label: __address__
        replacement: 127.0.0.1:9115

- job_name: 'Blackbox-TCP'
    scrape_interval: 5m
    metrics_path: /probe
    params:
      module: [tcp_connect]
    file_sd_configs:
      - files:
        - /etc/prometheus/targets.d/blackbox-tcp.yml
    relabel_configs:
      - source_labels: [__address__]
        target_label: __param_target
      - source_labels: [__param_target]
        target_label: instance
      - target_label: __address__
        replacement: 127.0.0.1:9115
EOF

./prometheus

Настройки relabel_configs изменяют обычные целевые объекты на параметры URL в экспортере blackbox

Как вы можете видеть, пути могут быть включены, и HTTP и HTTPS обрабатываются таким же образом

Если вы подождете несколько секунд, то увидите результат probe_success в браузере

Вы можете столкнуться с неожиданным сбоем, если у вас не настроен IPv6

Экспортер Blackbox предпочтет использовать IPv6-адрес, если он будет возвращен DNS

Вы можете настроить это поведение, добавив preferred_ip_protocol: "ip4" в конфигурацию модуля blackbox.yml

Пример blackbox.yml:

Если вы хотите получать оповещения о сбоях датчиков, следует просмотреть показатели up и probe_success

Чтобы выявить проблемы либо у экспортера, либо у цели

Пример из blackbox.yml:

$ sudo systemctl restart prometheus

$ sudo systemctl status prometheus

Пример с docker-compose.yml

docker-compose.yml:

version: '2.1'

networks:
  monitor-net:
    driver: bridge

services:
  prometheus:
    image: prom/prometheus:latest
    container_name: prometheus
    volumes:
      - ./prometheus:/etc/prometheus
      - /data/prometheus/data:/prometheus
    command:
      - '--config.file=/etc/prometheus/prometheus.yml'
      - '--storage.tsdb.path=/prometheus'
      - '--web.console.libraries=/etc/prometheus/console_libraries'
      - '--web.console.templates=/etc/prometheus/consoles'
      - '--storage.tsdb.retention.time=60d'
      - '--web.enable-lifecycle'
    restart: unless-stopped
    user: root
    expose:
      - 9090
    networks:
      - monitor-net
    labels:
      org.label-schema.group: "monitoring"

alertmanager:
    image: prom/alertmanager:latest
    container_name: alertmanager
    volumes:
      - ./alertmanager:/etc/alertmanager
      - './telegram.tmpl:/etc/alertmanager/templates/telegram.tmpl'
    command:
      - '--config.file=/etc/alertmanager/config.yml'
      - '--storage.path=/alertmanager'
    restart: unless-stopped
    expose:
      - 9093
    networks:
      - monitor-net
    labels:
      org.label-schema.group: "monitoring"

blackbox:
    image: prom/blackbox-exporter:latest
    container_name: blackbox
    restart: unless-stopped
    command:
      - "--config.file=/etc/blackbox/blackbox.yml"
    volumes:
      - ./blackbox.yml:/etc/blackbox/blackbox.yml
    ports:
      - "9115:9115"
    networks:
      - monitor-net
    labels:
      org.label-schema.group: "monitoring"

domain_exporter:
    image: caarlos0/domain_exporter
    container_name: domain_exporter
    restart: unless-stopped
    ports:
      - "9222:9222"
    networks:
      - monitor-net
    labels:
      org.label-schema.group: "monitoring"

prometheus.yml:

global:
  scrape_interval:     5m
  evaluation_interval: 5m

rule_files:
  - "alerts/*.yml"

scrape_configs:
  - job_name: 'blackbox' # доступность и код статуса домена из списка domain.yml 
    scrape_interval: 1m
    scrape_timeout: 30s
    metrics_path: /probe
    params:
      module: [http_2xx] 
    file_sd_configs:
      - files:
        - domain.yml  
    relabel_configs:
      - source_labels: [__address__]
        target_label: __param_target
      - source_labels: [__param_target]
        target_label: instance
      - target_label: __address__
        replacement: 192.168.1.15:9115 # blackbox адрес
   
  - job_name: 'blackbox_404' # 404 код статуса домена из списка domain_404.yml
    scrape_interval: 1m
    scrape_timeout: 30s
    metrics_path: /probe
    params:
      module: [http_404]
    file_sd_configs:
      - files:
        - domain_404.yml
    relabel_configs:
      - source_labels: [__address__]
        target_label: __param_target
      - source_labels: [__param_target]
        target_label: instance
      - target_label: __address__
        replacement: 192.168.1.15:9115 # blackbox адрес

- job_name: domain_expire # срок действия сертификата домена из targets
    scrape_interval: 24h
    metrics_path: /probe
    relabel_configs:
      - source_labels: [__address__]
        target_label: __param_target
      - target_label: __address__
        replacement: 192.168.1.15:9222 # domain_exporter адрес
    static_configs:
      - targets:
        - domain1.ru
        - domain2.ru
        - domain3.ru

alerting:
  alertmanagers:
  - scheme: http
    static_configs:
    - targets:
      - 'alertmanager:9093'

domain.yml:

- targets:

- domain1.ru

- domain2.ru/check/

- domain3.ru/monitoring/check/

domain_404.yml:

- targets:

- domain1.ru

- domain2.ru

- domain3.ru

blackbox.yml:

groups:
  - name: blackbox
    rules:
      # Алерт job=blackbox - любой код кроме 2xx-3xx
      - alert: BlackboxProbeHttpFailure
        expr: probe_http_status_code <= 199 OR probe_http_status_code >= 400 and on(instance) probe_http_status_code{job="blackbox"}
        for: 5m
        labels:
          severity: critical
          env: blackbox
        annotations:
          summary: "HTTP status code is not 200-399\n  VALUE = {{ $value }}\n (instance {{ $labels.instance }})"

# Алерт job=blackbox_404 - только 5xx или недоступность
      - alert: BlackboxProbeHttpFailureApi
        expr: (probe_http_status_code >= 500 OR probe_http_status_code == 0) and on(instance) probe_http_status_code{job="blackbox_404"}
        for: 5m
        labels:
          severity: critical
          env: blackbox
        annotations:
          summary: "API Gateway error or unavailable\n  VALUE = {{ $value }}\n (instance {{ $labels.instance }})"

# Срок действия SSL-сертификата истекает через 3 дня
      - alert: BlackboxSslCertificateWillExpireVerySoon
        expr: probe_ssl_earliest_cert_expiry - time() < 86400 * 7
        for: 5m
        labels:
          severity: warning
          env: blackbox
        annotations:
          summary: Blackbox SSL certificate will expire soon (instance {{ $labels.instance }})
          description: "SSL certificate expires in 3 days\n  VALUE = {{ $value }}\n  LABELS: {{ $labels }}"

# Срок действия SSL-сертификата истек
      - alert: BlackboxSslCertificateExpired
        expr: probe_ssl_earliest_cert_expiry - time() <= 0
        for: 5m
        labels:
          severity: warning
          env: blackbox
        annotations:
          summary: Blackbox SSL certificate expired (instance {{ $labels.instance }})

config.yml:

telegram.tmpl:

Комментарии пользователей

Эту новость ещё не комментировалиНаписать комментарий

Анонимам нельзя оставоять комментарии, зарегистрируйтесь!

Главная	⇒ Статьи по тематикам ⇐	Видео IT	Контакты
Учебники по IT	Полезные команды Unix	Видео на разные темы	Карта сайта
Баллистический калькулятор: тип 1	Баллистический калькулятор: тип 2	Калькулятор поправок в MOA	Вычислитель СТП
Баллистический коэффициент пневматики	Файлы	NSLOOKUP	IP-Калькулятор

Контакты Группа ВК	Код обмена баннерами		Видео к IT статьям на YoutubeВидео на другие темы Смотреть
Мои друзья:			© Snakeproject.ru создан в 2013 году. При копировании материала с сайта - оставьте ссылку. Весь материал на сайте носит ознакомительный характер, за его использование другими людьми, автор ответственности не несет.
		Поддержать автора и проект