hackity hack hack loki now working
This commit is contained in:
decentral1se
parent
5ef8936388
commit
e7dd69f38b
@ -6,6 +6,8 @@
|
|||||||
- [p.monitor.autonomic.zone](https://p.monitor.autonomic.zone)
|
- [p.monitor.autonomic.zone](https://p.monitor.autonomic.zone)
|
||||||
- [l.monitor.autonomic.zone](https://l.monitor.autonomic.zone)
|
- [l.monitor.autonomic.zone](https://l.monitor.autonomic.zone)
|
||||||
|
|
||||||
|
## setup
|
||||||
|
|
||||||
```
|
```
|
||||||
printf $(pass show hosts/swarm.autonomic.zone/minio/secret_key) | docker secret create gp_monitoring_loki_aws_secret_access_key_v1 -
|
printf $(pass show hosts/swarm.autonomic.zone/minio/secret_key) | docker secret create gp_monitoring_loki_aws_secret_access_key_v1 -
|
||||||
printf password | docker secret create gp_monitoring_grafana_admin_password_v1 -
|
printf password | docker secret create gp_monitoring_grafana_admin_password_v1 -
|
||||||
@ -24,3 +26,8 @@ docker context use monitor.autonomic.zone
|
|||||||
|
|
||||||
docker stack deploy -c compose.yml gp_monitoring
|
docker stack deploy -c compose.yml gp_monitoring
|
||||||
```
|
```
|
||||||
|
|
||||||
|
## questions / TODO
|
||||||
|
|
||||||
|
- [ ] how to load in secrets from multiple hosts & keep a recipe generic?
|
||||||
|
- [ ] basic auth on gathering stack
|
||||||
|
|||||||
39
compose.yml
39
compose.yml
@ -10,16 +10,6 @@ services:
|
|||||||
- grafana_admin_password
|
- grafana_admin_password
|
||||||
- grafana_oauth_client_secret
|
- grafana_oauth_client_secret
|
||||||
configs:
|
configs:
|
||||||
- source: grafana_datasources_yml
|
|
||||||
target: /etc/grafana/provisioning/datasources/datasources.yml
|
|
||||||
- source: grafana_dashboards_yml
|
|
||||||
target: /etc/grafana/provisioning/dashboards/dashboards.yml
|
|
||||||
- source: grafana_swarm_dashboard_json
|
|
||||||
target: /var/lib/grafana/dashboards/docker-swarm-nodes.json
|
|
||||||
- source: grafana_stacks_dashboard_json
|
|
||||||
target: /var/lib/grafana/dashboards/docker-swarm-stacks.json
|
|
||||||
- source: grafana_traefik_dashboard_json
|
|
||||||
target: /var/lib/grafana/dashboards/traefik.json
|
|
||||||
- source: grafana_custom_ini
|
- source: grafana_custom_ini
|
||||||
target: /etc/grafana/grafana.ini
|
target: /etc/grafana/grafana.ini
|
||||||
networks:
|
networks:
|
||||||
@ -56,6 +46,7 @@ services:
|
|||||||
image: prom/prometheus:v2.34.0
|
image: prom/prometheus:v2.34.0
|
||||||
secrets:
|
secrets:
|
||||||
- prometheus_admin_password
|
- prometheus_admin_password
|
||||||
|
- prometheus_admin_password_hashed
|
||||||
volumes:
|
volumes:
|
||||||
- prometheus-data:/prometheus:rw
|
- prometheus-data:/prometheus:rw
|
||||||
configs:
|
configs:
|
||||||
@ -102,7 +93,6 @@ services:
|
|||||||
- ALERTMANAGER_SMTP_HOST
|
- ALERTMANAGER_SMTP_HOST
|
||||||
- ALERTMANAGER_SMTP_TO
|
- ALERTMANAGER_SMTP_TO
|
||||||
|
|
||||||
# Note(d1): https://grafana.com/docs/loki/latest/operations/authentication/
|
|
||||||
web:
|
web:
|
||||||
image: nginx:1.20.0
|
image: nginx:1.20.0
|
||||||
networks:
|
networks:
|
||||||
@ -117,7 +107,7 @@ services:
|
|||||||
- source: htpasswd_conf
|
- source: htpasswd_conf
|
||||||
target: /etc/nginx/conf.d/loki.htpasswd
|
target: /etc/nginx/conf.d/loki.htpasswd
|
||||||
secrets:
|
secrets:
|
||||||
- loki_admin_password
|
- loki_admin_password_hashed
|
||||||
deploy:
|
deploy:
|
||||||
restart_policy:
|
restart_policy:
|
||||||
condition: on-failure
|
condition: on-failure
|
||||||
@ -141,10 +131,11 @@ services:
|
|||||||
secrets:
|
secrets:
|
||||||
- loki_aws_secret_access_key
|
- loki_aws_secret_access_key
|
||||||
environment:
|
environment:
|
||||||
|
- LOKI_ACCESS_KEY_ID
|
||||||
- LOKI_AWS_ENDPOINT
|
- LOKI_AWS_ENDPOINT
|
||||||
- LOKI_AWS_REGION
|
- LOKI_AWS_REGION
|
||||||
- LOKI_ACCESS_KEY_ID
|
|
||||||
- LOKI_BUCKET_NAMES
|
- LOKI_BUCKET_NAMES
|
||||||
|
- STACK_NAME
|
||||||
|
|
||||||
configs:
|
configs:
|
||||||
grafana_custom_ini:
|
grafana_custom_ini:
|
||||||
@ -175,21 +166,6 @@ configs:
|
|||||||
template_driver: golang
|
template_driver: golang
|
||||||
name: ${STACK_NAME}_htpasswd_${HTPASSWD_CONFIG_VERSION}
|
name: ${STACK_NAME}_htpasswd_${HTPASSWD_CONFIG_VERSION}
|
||||||
file: loki.htpasswd.tmpl
|
file: loki.htpasswd.tmpl
|
||||||
grafana_datasources_yml:
|
|
||||||
name: ${STACK_NAME}_grafana_datasources_yml_${GRAFANA_DATASOURCES_YML_VERSION}
|
|
||||||
file: grafana-datasources.yml
|
|
||||||
grafana_dashboards_yml:
|
|
||||||
name: ${STACK_NAME}_grafana_dashboards_yml_${GRAFANA_DASHBOARDS_YML_VERSION}
|
|
||||||
file: grafana-dashboards.yml
|
|
||||||
grafana_swarm_dashboard_json:
|
|
||||||
name: ${STACK_NAME}_grafana_swarm_dashboard_json_${GRAFANA_SWARM_DASHBOARD_JSON_VERSION}
|
|
||||||
file: grafana-swarm-dashboard.json
|
|
||||||
grafana_stacks_dashboard_json:
|
|
||||||
name: ${STACK_NAME}_grafana_stacks_dashboard_json_${GRAFANA_STACKS_DASHBOARD_JSON_VERSION}
|
|
||||||
file: grafana-stacks-dashboard.json
|
|
||||||
grafana_traefik_dashboard_json:
|
|
||||||
name: ${STACK_NAME}_grafana_traefik_dashboard_json_${GRAFANA_TRAEFIK_DASHBOARD_JSON_VERSION}
|
|
||||||
file: grafana-traefik-dashboard.json
|
|
||||||
|
|
||||||
volumes:
|
volumes:
|
||||||
prometheus-data:
|
prometheus-data:
|
||||||
@ -212,12 +188,15 @@ secrets:
|
|||||||
grafana_oauth_client_secret:
|
grafana_oauth_client_secret:
|
||||||
external: true
|
external: true
|
||||||
name: ${STACK_NAME}_grafana_oauth_client_secret_${SECRET_GRAFANA_OAUTH_CLIENT_SECRET_VERSION}
|
name: ${STACK_NAME}_grafana_oauth_client_secret_${SECRET_GRAFANA_OAUTH_CLIENT_SECRET_VERSION}
|
||||||
|
prometheus_admin_password_hashed:
|
||||||
|
external: true
|
||||||
|
name: ${STACK_NAME}_prometheus_admin_password_hashed_${SECRET_PROMETHEUS_ADMIN_PASSWORD_HASHED_VERSION}
|
||||||
prometheus_admin_password:
|
prometheus_admin_password:
|
||||||
external: true
|
external: true
|
||||||
name: ${STACK_NAME}_prometheus_admin_password_${SECRET_PROMETHEUS_ADMIN_PASSWORD_VERSION}
|
name: ${STACK_NAME}_prometheus_admin_password_${SECRET_PROMETHEUS_ADMIN_PASSWORD_VERSION}
|
||||||
alertmanager_smtp_password:
|
alertmanager_smtp_password:
|
||||||
external: true
|
external: true
|
||||||
name: ${STACK_NAME}_alertmanager_smtp_password_${SECRET_ALERTMANAGER_SMTP_PASSWORD_VERSION}
|
name: ${STACK_NAME}_alertmanager_smtp_password_${SECRET_ALERTMANAGER_SMTP_PASSWORD_VERSION}
|
||||||
loki_admin_password:
|
loki_admin_password_hashed:
|
||||||
external: true
|
external: true
|
||||||
name: ${STACK_NAME}_loki_admin_password_${SECRET_LOKI_ADMIN_PASSWORD_VERSION}
|
name: ${STACK_NAME}_loki_admin_password_hashed_${SECRET_LOKI_ADMIN_PASSWORD_HASHED_VERSION}
|
||||||
|
|||||||
11
env
11
env
@ -31,9 +31,9 @@ LOKI_ACCESS_KEY_ID=bush-debrief-approval-robust-scraggly-molecule
|
|||||||
LOKI_BUCKET_NAMES=loki
|
LOKI_BUCKET_NAMES=loki
|
||||||
|
|
||||||
# NOTE(d1): abra.sh env vars, while we deploy things manually
|
# NOTE(d1): abra.sh env vars, while we deploy things manually
|
||||||
PROMETHEUS_YML_VERSION=v2
|
PROMETHEUS_YML_VERSION=v6
|
||||||
PROMTAIL_YML_VERSION=v1
|
PROMTAIL_YML_VERSION=v1
|
||||||
LOKI_YML_VERSION=v1
|
LOKI_YML_VERSION=v2
|
||||||
NODE_EXPORTER_ENTRYPOINT_VERSION=v1
|
NODE_EXPORTER_ENTRYPOINT_VERSION=v1
|
||||||
GRAFANA_DATASOURCES_YML_VERSION=v1
|
GRAFANA_DATASOURCES_YML_VERSION=v1
|
||||||
GRAFANA_DASHBOARDS_YML_VERSION=v1
|
GRAFANA_DASHBOARDS_YML_VERSION=v1
|
||||||
@ -41,9 +41,9 @@ GRAFANA_SWARM_DASHBOARD_JSON_VERSION=v1
|
|||||||
GRAFANA_STACKS_DASHBOARD_JSON_VERSION=v1
|
GRAFANA_STACKS_DASHBOARD_JSON_VERSION=v1
|
||||||
GRAFANA_TRAEFIK_DASHBOARD_JSON_VERSION=v1
|
GRAFANA_TRAEFIK_DASHBOARD_JSON_VERSION=v1
|
||||||
GRAFANA_CUSTOM_INI_VERSION=v1
|
GRAFANA_CUSTOM_INI_VERSION=v1
|
||||||
PROMETHEUS_WEB_YML_VERSION=v1
|
PROMETHEUS_WEB_YML_VERSION=v2
|
||||||
ALERTMANAGER_CONFIG_VERSION=v1
|
ALERTMANAGER_CONFIG_VERSION=v1
|
||||||
NGINX_CONFIG_VERSION=v1
|
NGINX_CONFIG_VERSION=v5
|
||||||
HTPASSWD_CONFIG_VERSION=v1
|
HTPASSWD_CONFIG_VERSION=v1
|
||||||
|
|
||||||
KEYCLOAK_AUTH_URL="https://id.autonomic.zone/auth/realms/autonomic/protocol/openid-connect/auth"
|
KEYCLOAK_AUTH_URL="https://id.autonomic.zone/auth/realms/autonomic/protocol/openid-connect/auth"
|
||||||
@ -54,8 +54,9 @@ SECRET_LOKI_AWS_SECRET_ACCESS_KEY_VERSION=v1
|
|||||||
SECRET_GRAFANA_ADMIN_PASSWORD_VERSION=v1
|
SECRET_GRAFANA_ADMIN_PASSWORD_VERSION=v1
|
||||||
SECRET_GRAFANA_OAUTH_CLIENT_SECRET_VERSION=v1
|
SECRET_GRAFANA_OAUTH_CLIENT_SECRET_VERSION=v1
|
||||||
SECRET_PROMETHEUS_ADMIN_PASSWORD_VERSION=v1
|
SECRET_PROMETHEUS_ADMIN_PASSWORD_VERSION=v1
|
||||||
|
SECRET_PROMETHEUS_ADMIN_PASSWORD_HASHED_VERSION=v1
|
||||||
SECRET_ALERTMANAGER_SMTP_PASSWORD_VERSION=v1
|
SECRET_ALERTMANAGER_SMTP_PASSWORD_VERSION=v1
|
||||||
SECRET_LOKI_ADMIN_PASSWORD_VERSION=v1
|
SECRET_LOKI_ADMIN_PASSWORD_HASHED_VERSION=v1
|
||||||
|
|
||||||
ALERTMANAGER_SMTP_FROM=noreply@autonomic.zone
|
ALERTMANAGER_SMTP_FROM=noreply@autonomic.zone
|
||||||
ALERTMANAGER_SMTP_HOST=mail.gandi.net:465
|
ALERTMANAGER_SMTP_HOST=mail.gandi.net:465
|
||||||
|
|||||||
@ -1,14 +0,0 @@
|
|||||||
---
|
|
||||||
apiVersion: 1
|
|
||||||
|
|
||||||
providers:
|
|
||||||
- name: 'default-dashboard-provider'
|
|
||||||
orgId: 1
|
|
||||||
folder: 'default-dashboards'
|
|
||||||
type: file
|
|
||||||
disableDeletion: false
|
|
||||||
updateIntervalSeconds: 10
|
|
||||||
allowUiUpdates: true
|
|
||||||
options:
|
|
||||||
path: /var/lib/grafana/dashboards
|
|
||||||
foldersFromFilesStructure: true
|
|
||||||
@ -1,11 +0,0 @@
|
|||||||
---
|
|
||||||
apiVersion: 1
|
|
||||||
|
|
||||||
datasources:
|
|
||||||
- name: Prometheus
|
|
||||||
type: prometheus
|
|
||||||
access: proxy
|
|
||||||
orgId: 1
|
|
||||||
url: http://prometheus:9090
|
|
||||||
isDefault: true
|
|
||||||
editable: false
|
|
||||||
@ -1,745 +0,0 @@
|
|||||||
{
|
|
||||||
"annotations": {
|
|
||||||
"list": [
|
|
||||||
{
|
|
||||||
"builtIn": 1,
|
|
||||||
"datasource": "-- Grafana --",
|
|
||||||
"enable": true,
|
|
||||||
"hide": true,
|
|
||||||
"iconColor": "rgba(0, 211, 255, 1)",
|
|
||||||
"name": "Annotations & Alerts",
|
|
||||||
"type": "dashboard"
|
|
||||||
}
|
|
||||||
]
|
|
||||||
},
|
|
||||||
"description": "Simple docker swarm monitoring with relation to individual stacks.",
|
|
||||||
"editable": true,
|
|
||||||
"gnetId": 7007,
|
|
||||||
"graphTooltip": 1,
|
|
||||||
"id": 2,
|
|
||||||
"iteration": 1626744694222,
|
|
||||||
"links": [],
|
|
||||||
"panels": [
|
|
||||||
{
|
|
||||||
"cacheTimeout": null,
|
|
||||||
"datasource": "Prometheus",
|
|
||||||
"fieldConfig": {
|
|
||||||
"defaults": {
|
|
||||||
"color": {
|
|
||||||
"mode": "thresholds"
|
|
||||||
},
|
|
||||||
"decimals": 1,
|
|
||||||
"mappings": [
|
|
||||||
{
|
|
||||||
"options": {
|
|
||||||
"match": "null",
|
|
||||||
"result": {
|
|
||||||
"text": "N/A"
|
|
||||||
}
|
|
||||||
},
|
|
||||||
"type": "special"
|
|
||||||
}
|
|
||||||
],
|
|
||||||
"thresholds": {
|
|
||||||
"mode": "absolute",
|
|
||||||
"steps": [
|
|
||||||
{
|
|
||||||
"color": "green",
|
|
||||||
"value": null
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"color": "red",
|
|
||||||
"value": 80
|
|
||||||
}
|
|
||||||
]
|
|
||||||
},
|
|
||||||
"unit": "s"
|
|
||||||
},
|
|
||||||
"overrides": []
|
|
||||||
},
|
|
||||||
"gridPos": {
|
|
||||||
"h": 3,
|
|
||||||
"w": 4,
|
|
||||||
"x": 0,
|
|
||||||
"y": 0
|
|
||||||
},
|
|
||||||
"id": 10,
|
|
||||||
"interval": null,
|
|
||||||
"links": [],
|
|
||||||
"maxDataPoints": 100,
|
|
||||||
"options": {
|
|
||||||
"colorMode": "none",
|
|
||||||
"graphMode": "none",
|
|
||||||
"justifyMode": "auto",
|
|
||||||
"orientation": "horizontal",
|
|
||||||
"reduceOptions": {
|
|
||||||
"calcs": [
|
|
||||||
"mean"
|
|
||||||
],
|
|
||||||
"fields": "",
|
|
||||||
"values": false
|
|
||||||
},
|
|
||||||
"text": {},
|
|
||||||
"textMode": "auto"
|
|
||||||
},
|
|
||||||
"pluginVersion": "8.0.6",
|
|
||||||
"targets": [
|
|
||||||
{
|
|
||||||
"expr": "(time() - min(container_start_time_seconds{container_label_com_docker_stack_namespace=~\"$stack\"}))",
|
|
||||||
"format": "time_series",
|
|
||||||
"intervalFactor": 1,
|
|
||||||
"legendFormat": "",
|
|
||||||
"refId": "A"
|
|
||||||
}
|
|
||||||
],
|
|
||||||
"title": "Stack Uptime",
|
|
||||||
"type": "stat"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"aliasColors": {},
|
|
||||||
"bars": false,
|
|
||||||
"dashLength": 10,
|
|
||||||
"dashes": false,
|
|
||||||
"datasource": "Prometheus",
|
|
||||||
"decimals": null,
|
|
||||||
"fill": 5,
|
|
||||||
"fillGradient": 0,
|
|
||||||
"gridPos": {
|
|
||||||
"h": 7,
|
|
||||||
"w": 20,
|
|
||||||
"x": 4,
|
|
||||||
"y": 0
|
|
||||||
},
|
|
||||||
"height": "270px",
|
|
||||||
"hiddenSeries": false,
|
|
||||||
"id": 1,
|
|
||||||
"legend": {
|
|
||||||
"alignAsTable": true,
|
|
||||||
"avg": false,
|
|
||||||
"current": true,
|
|
||||||
"hideEmpty": false,
|
|
||||||
"hideZero": true,
|
|
||||||
"max": true,
|
|
||||||
"min": true,
|
|
||||||
"rightSide": true,
|
|
||||||
"show": true,
|
|
||||||
"total": false,
|
|
||||||
"values": true
|
|
||||||
},
|
|
||||||
"lines": true,
|
|
||||||
"linewidth": 1,
|
|
||||||
"links": [],
|
|
||||||
"nullPointMode": "null as zero",
|
|
||||||
"options": {
|
|
||||||
"alertThreshold": true
|
|
||||||
},
|
|
||||||
"percentage": false,
|
|
||||||
"pluginVersion": "8.0.6",
|
|
||||||
"pointradius": 5,
|
|
||||||
"points": false,
|
|
||||||
"renderer": "flot",
|
|
||||||
"seriesOverrides": [],
|
|
||||||
"spaceLength": 10,
|
|
||||||
"stack": true,
|
|
||||||
"steppedLine": false,
|
|
||||||
"targets": [
|
|
||||||
{
|
|
||||||
"expr": "sum(rate(container_cpu_usage_seconds_total{container_label_com_docker_stack_namespace=~\"$stack\"}[$interval])) by (container_label_com_docker_swarm_service_name, container_label_com_docker_swarm_task_id)",
|
|
||||||
"format": "time_series",
|
|
||||||
"intervalFactor": 2,
|
|
||||||
"legendFormat": "{{ container_label_com_docker_swarm_service_name }} - {{ container_label_com_docker_swarm_task_id }}",
|
|
||||||
"refId": "A",
|
|
||||||
"step": 2
|
|
||||||
}
|
|
||||||
],
|
|
||||||
"thresholds": [],
|
|
||||||
"timeFrom": null,
|
|
||||||
"timeRegions": [],
|
|
||||||
"timeShift": null,
|
|
||||||
"title": "CPU Usage per Container",
|
|
||||||
"tooltip": {
|
|
||||||
"shared": true,
|
|
||||||
"sort": 0,
|
|
||||||
"value_type": "individual"
|
|
||||||
},
|
|
||||||
"type": "graph",
|
|
||||||
"xaxis": {
|
|
||||||
"buckets": null,
|
|
||||||
"mode": "time",
|
|
||||||
"name": null,
|
|
||||||
"show": true,
|
|
||||||
"values": []
|
|
||||||
},
|
|
||||||
"yaxes": [
|
|
||||||
{
|
|
||||||
"format": "percentunit",
|
|
||||||
"label": null,
|
|
||||||
"logBase": 1,
|
|
||||||
"max": null,
|
|
||||||
"min": null,
|
|
||||||
"show": true
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"format": "short",
|
|
||||||
"label": null,
|
|
||||||
"logBase": 1,
|
|
||||||
"max": null,
|
|
||||||
"min": null,
|
|
||||||
"show": false
|
|
||||||
}
|
|
||||||
],
|
|
||||||
"yaxis": {
|
|
||||||
"align": false,
|
|
||||||
"alignLevel": null
|
|
||||||
}
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"cacheTimeout": null,
|
|
||||||
"datasource": "Prometheus",
|
|
||||||
"fieldConfig": {
|
|
||||||
"defaults": {
|
|
||||||
"color": {
|
|
||||||
"mode": "thresholds"
|
|
||||||
},
|
|
||||||
"mappings": [
|
|
||||||
{
|
|
||||||
"options": {
|
|
||||||
"match": "null",
|
|
||||||
"result": {
|
|
||||||
"text": "N/A"
|
|
||||||
}
|
|
||||||
},
|
|
||||||
"type": "special"
|
|
||||||
}
|
|
||||||
],
|
|
||||||
"thresholds": {
|
|
||||||
"mode": "absolute",
|
|
||||||
"steps": [
|
|
||||||
{
|
|
||||||
"color": "green",
|
|
||||||
"value": null
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"color": "red",
|
|
||||||
"value": 80
|
|
||||||
}
|
|
||||||
]
|
|
||||||
},
|
|
||||||
"unit": "none"
|
|
||||||
},
|
|
||||||
"overrides": []
|
|
||||||
},
|
|
||||||
"gridPos": {
|
|
||||||
"h": 4,
|
|
||||||
"w": 4,
|
|
||||||
"x": 0,
|
|
||||||
"y": 3
|
|
||||||
},
|
|
||||||
"id": 3,
|
|
||||||
"interval": null,
|
|
||||||
"links": [],
|
|
||||||
"maxDataPoints": 100,
|
|
||||||
"options": {
|
|
||||||
"colorMode": "none",
|
|
||||||
"graphMode": "none",
|
|
||||||
"justifyMode": "auto",
|
|
||||||
"orientation": "horizontal",
|
|
||||||
"reduceOptions": {
|
|
||||||
"calcs": [
|
|
||||||
"lastNotNull"
|
|
||||||
],
|
|
||||||
"fields": "",
|
|
||||||
"values": false
|
|
||||||
},
|
|
||||||
"text": {},
|
|
||||||
"textMode": "auto"
|
|
||||||
},
|
|
||||||
"pluginVersion": "8.0.6",
|
|
||||||
"targets": [
|
|
||||||
{
|
|
||||||
"expr": "count(rate(container_last_seen{container_label_com_docker_stack_namespace=~\"$stack\"}[$interval]))",
|
|
||||||
"format": "time_series",
|
|
||||||
"intervalFactor": 2,
|
|
||||||
"refId": "B",
|
|
||||||
"step": 4
|
|
||||||
}
|
|
||||||
],
|
|
||||||
"title": "Containers",
|
|
||||||
"type": "stat"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"aliasColors": {},
|
|
||||||
"bars": false,
|
|
||||||
"dashLength": 10,
|
|
||||||
"dashes": false,
|
|
||||||
"datasource": "Prometheus",
|
|
||||||
"fill": 3,
|
|
||||||
"fillGradient": 0,
|
|
||||||
"gridPos": {
|
|
||||||
"h": 7,
|
|
||||||
"w": 24,
|
|
||||||
"x": 0,
|
|
||||||
"y": 7
|
|
||||||
},
|
|
||||||
"height": "270px",
|
|
||||||
"hiddenSeries": false,
|
|
||||||
"id": 5,
|
|
||||||
"legend": {
|
|
||||||
"alignAsTable": true,
|
|
||||||
"avg": false,
|
|
||||||
"current": true,
|
|
||||||
"hideZero": true,
|
|
||||||
"max": true,
|
|
||||||
"min": true,
|
|
||||||
"rightSide": true,
|
|
||||||
"show": true,
|
|
||||||
"sort": "current",
|
|
||||||
"sortDesc": true,
|
|
||||||
"total": false,
|
|
||||||
"values": true
|
|
||||||
},
|
|
||||||
"lines": true,
|
|
||||||
"linewidth": 2,
|
|
||||||
"links": [],
|
|
||||||
"nullPointMode": "null as zero",
|
|
||||||
"options": {
|
|
||||||
"alertThreshold": true
|
|
||||||
},
|
|
||||||
"percentage": false,
|
|
||||||
"pluginVersion": "8.0.6",
|
|
||||||
"pointradius": 5,
|
|
||||||
"points": false,
|
|
||||||
"renderer": "flot",
|
|
||||||
"seriesOverrides": [],
|
|
||||||
"spaceLength": 10,
|
|
||||||
"stack": true,
|
|
||||||
"steppedLine": false,
|
|
||||||
"targets": [
|
|
||||||
{
|
|
||||||
"expr": "sum(container_memory_rss{container_label_com_docker_stack_namespace=~\"$stack\"}) by (container_label_com_docker_swarm_service_name, container_label_com_docker_swarm_task_id)",
|
|
||||||
"format": "time_series",
|
|
||||||
"hide": false,
|
|
||||||
"intervalFactor": 2,
|
|
||||||
"legendFormat": "{{ container_label_com_docker_swarm_service_name }} - {{ container_label_com_docker_swarm_task_id }}",
|
|
||||||
"metric": "container_memory_rss",
|
|
||||||
"refId": "A",
|
|
||||||
"step": 2
|
|
||||||
}
|
|
||||||
],
|
|
||||||
"thresholds": [],
|
|
||||||
"timeFrom": null,
|
|
||||||
"timeRegions": [],
|
|
||||||
"timeShift": null,
|
|
||||||
"title": "Memory Usage per Container",
|
|
||||||
"tooltip": {
|
|
||||||
"shared": true,
|
|
||||||
"sort": 0,
|
|
||||||
"value_type": "individual"
|
|
||||||
},
|
|
||||||
"type": "graph",
|
|
||||||
"xaxis": {
|
|
||||||
"buckets": null,
|
|
||||||
"mode": "time",
|
|
||||||
"name": null,
|
|
||||||
"show": true,
|
|
||||||
"values": []
|
|
||||||
},
|
|
||||||
"yaxes": [
|
|
||||||
{
|
|
||||||
"format": "bytes",
|
|
||||||
"label": null,
|
|
||||||
"logBase": 1,
|
|
||||||
"max": null,
|
|
||||||
"min": null,
|
|
||||||
"show": true
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"format": "short",
|
|
||||||
"label": null,
|
|
||||||
"logBase": 1,
|
|
||||||
"max": null,
|
|
||||||
"min": null,
|
|
||||||
"show": true
|
|
||||||
}
|
|
||||||
],
|
|
||||||
"yaxis": {
|
|
||||||
"align": false,
|
|
||||||
"alignLevel": null
|
|
||||||
}
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"aliasColors": {},
|
|
||||||
"bars": false,
|
|
||||||
"dashLength": 10,
|
|
||||||
"dashes": false,
|
|
||||||
"datasource": "Prometheus",
|
|
||||||
"fill": 1,
|
|
||||||
"fillGradient": 0,
|
|
||||||
"gridPos": {
|
|
||||||
"h": 7,
|
|
||||||
"w": 24,
|
|
||||||
"x": 0,
|
|
||||||
"y": 14
|
|
||||||
},
|
|
||||||
"height": "270px",
|
|
||||||
"hiddenSeries": false,
|
|
||||||
"id": 6,
|
|
||||||
"legend": {
|
|
||||||
"alignAsTable": true,
|
|
||||||
"avg": false,
|
|
||||||
"current": true,
|
|
||||||
"hideEmpty": false,
|
|
||||||
"hideZero": true,
|
|
||||||
"max": true,
|
|
||||||
"min": true,
|
|
||||||
"rightSide": true,
|
|
||||||
"show": true,
|
|
||||||
"sort": "current",
|
|
||||||
"sortDesc": true,
|
|
||||||
"total": false,
|
|
||||||
"values": true
|
|
||||||
},
|
|
||||||
"lines": true,
|
|
||||||
"linewidth": 2,
|
|
||||||
"links": [],
|
|
||||||
"nullPointMode": "null as zero",
|
|
||||||
"options": {
|
|
||||||
"alertThreshold": true
|
|
||||||
},
|
|
||||||
"percentage": false,
|
|
||||||
"pluginVersion": "8.0.6",
|
|
||||||
"pointradius": 5,
|
|
||||||
"points": false,
|
|
||||||
"renderer": "flot",
|
|
||||||
"seriesOverrides": [],
|
|
||||||
"spaceLength": 10,
|
|
||||||
"stack": false,
|
|
||||||
"steppedLine": false,
|
|
||||||
"targets": [
|
|
||||||
{
|
|
||||||
"expr": "sum(rate(container_network_receive_bytes_total{container_label_com_docker_stack_namespace=~\"$stack\"}[$interval])) by (container_label_com_docker_swarm_service_name, container_label_com_docker_swarm_task_id)",
|
|
||||||
"format": "time_series",
|
|
||||||
"intervalFactor": 2,
|
|
||||||
"legendFormat": "{{ container_label_com_docker_swarm_service_name }} - {{ container_label_com_docker_swarm_task_id }}",
|
|
||||||
"refId": "A",
|
|
||||||
"step": 2
|
|
||||||
}
|
|
||||||
],
|
|
||||||
"thresholds": [],
|
|
||||||
"timeFrom": null,
|
|
||||||
"timeRegions": [],
|
|
||||||
"timeShift": null,
|
|
||||||
"title": "Incoming Network Traffic per Container",
|
|
||||||
"tooltip": {
|
|
||||||
"shared": true,
|
|
||||||
"sort": 0,
|
|
||||||
"value_type": "individual"
|
|
||||||
},
|
|
||||||
"type": "graph",
|
|
||||||
"xaxis": {
|
|
||||||
"buckets": null,
|
|
||||||
"mode": "time",
|
|
||||||
"name": null,
|
|
||||||
"show": true,
|
|
||||||
"values": []
|
|
||||||
},
|
|
||||||
"yaxes": [
|
|
||||||
{
|
|
||||||
"format": "Bps",
|
|
||||||
"label": null,
|
|
||||||
"logBase": 1,
|
|
||||||
"max": null,
|
|
||||||
"min": null,
|
|
||||||
"show": true
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"format": "short",
|
|
||||||
"label": null,
|
|
||||||
"logBase": 1,
|
|
||||||
"max": null,
|
|
||||||
"min": null,
|
|
||||||
"show": true
|
|
||||||
}
|
|
||||||
],
|
|
||||||
"yaxis": {
|
|
||||||
"align": false,
|
|
||||||
"alignLevel": null
|
|
||||||
}
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"aliasColors": {},
|
|
||||||
"bars": false,
|
|
||||||
"dashLength": 10,
|
|
||||||
"dashes": false,
|
|
||||||
"datasource": "Prometheus",
|
|
||||||
"fill": 1,
|
|
||||||
"fillGradient": 0,
|
|
||||||
"gridPos": {
|
|
||||||
"h": 7,
|
|
||||||
"w": 24,
|
|
||||||
"x": 0,
|
|
||||||
"y": 21
|
|
||||||
},
|
|
||||||
"height": "270px",
|
|
||||||
"hiddenSeries": false,
|
|
||||||
"id": 8,
|
|
||||||
"legend": {
|
|
||||||
"alignAsTable": true,
|
|
||||||
"avg": false,
|
|
||||||
"current": true,
|
|
||||||
"hideEmpty": false,
|
|
||||||
"hideZero": true,
|
|
||||||
"max": true,
|
|
||||||
"min": true,
|
|
||||||
"rightSide": true,
|
|
||||||
"show": true,
|
|
||||||
"sort": "current",
|
|
||||||
"sortDesc": true,
|
|
||||||
"total": false,
|
|
||||||
"values": true
|
|
||||||
},
|
|
||||||
"lines": true,
|
|
||||||
"linewidth": 1,
|
|
||||||
"links": [],
|
|
||||||
"nullPointMode": "null",
|
|
||||||
"options": {
|
|
||||||
"alertThreshold": true
|
|
||||||
},
|
|
||||||
"percentage": false,
|
|
||||||
"pluginVersion": "8.0.6",
|
|
||||||
"pointradius": 5,
|
|
||||||
"points": false,
|
|
||||||
"renderer": "flot",
|
|
||||||
"seriesOverrides": [],
|
|
||||||
"spaceLength": 10,
|
|
||||||
"stack": false,
|
|
||||||
"steppedLine": false,
|
|
||||||
"targets": [
|
|
||||||
{
|
|
||||||
"expr": "sum(rate(container_network_transmit_bytes_total{container_label_com_docker_stack_namespace=~\"$stack\"}[$interval])) by (container_label_com_docker_swarm_service_name, container_label_com_docker_swarm_task_id)",
|
|
||||||
"format": "time_series",
|
|
||||||
"intervalFactor": 2,
|
|
||||||
"legendFormat": "{{ container_label_com_docker_swarm_service_name }} - {{ container_label_com_docker_swarm_task_id }}",
|
|
||||||
"refId": "A",
|
|
||||||
"step": 2
|
|
||||||
}
|
|
||||||
],
|
|
||||||
"thresholds": [],
|
|
||||||
"timeFrom": null,
|
|
||||||
"timeRegions": [],
|
|
||||||
"timeShift": null,
|
|
||||||
"title": "Outgoing Network Traffic per Container",
|
|
||||||
"tooltip": {
|
|
||||||
"shared": true,
|
|
||||||
"sort": 0,
|
|
||||||
"value_type": "individual"
|
|
||||||
},
|
|
||||||
"type": "graph",
|
|
||||||
"xaxis": {
|
|
||||||
"buckets": null,
|
|
||||||
"mode": "time",
|
|
||||||
"name": null,
|
|
||||||
"show": true,
|
|
||||||
"values": []
|
|
||||||
},
|
|
||||||
"yaxes": [
|
|
||||||
{
|
|
||||||
"format": "Bps",
|
|
||||||
"label": null,
|
|
||||||
"logBase": 1,
|
|
||||||
"max": null,
|
|
||||||
"min": null,
|
|
||||||
"show": true
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"format": "short",
|
|
||||||
"label": null,
|
|
||||||
"logBase": 1,
|
|
||||||
"max": null,
|
|
||||||
"min": null,
|
|
||||||
"show": false
|
|
||||||
}
|
|
||||||
],
|
|
||||||
"yaxis": {
|
|
||||||
"align": false,
|
|
||||||
"alignLevel": null
|
|
||||||
}
|
|
||||||
}
|
|
||||||
],
|
|
||||||
"schemaVersion": 30,
|
|
||||||
"style": "dark",
|
|
||||||
"tags": [
|
|
||||||
"prometheus",
|
|
||||||
"cAdvisor",
|
|
||||||
"node-exporter",
|
|
||||||
"alertmanager"
|
|
||||||
],
|
|
||||||
"templating": {
|
|
||||||
"list": [
|
|
||||||
{
|
|
||||||
"allValue": null,
|
|
||||||
"current": {
|
|
||||||
"selected": false,
|
|
||||||
"text": "pretix",
|
|
||||||
"value": "pretix"
|
|
||||||
},
|
|
||||||
"datasource": "Prometheus",
|
|
||||||
"definition": "",
|
|
||||||
"description": null,
|
|
||||||
"error": null,
|
|
||||||
"hide": 0,
|
|
||||||
"includeAll": false,
|
|
||||||
"label": "Stack",
|
|
||||||
"multi": false,
|
|
||||||
"name": "stack",
|
|
||||||
"options": [],
|
|
||||||
"query": {
|
|
||||||
"query": "query_result(count(container_last_seen{container_label_com_docker_stack_namespace =~\".+\"}) by (container_label_com_docker_stack_namespace))",
|
|
||||||
"refId": "Prometheus-stack-Variable-Query"
|
|
||||||
},
|
|
||||||
"refresh": 1,
|
|
||||||
"regex": "/container_label_com_docker_stack_namespace=\"(.*)\"/",
|
|
||||||
"skipUrlSync": false,
|
|
||||||
"sort": 2,
|
|
||||||
"tagValuesQuery": "",
|
|
||||||
"tagsQuery": "",
|
|
||||||
"type": "query",
|
|
||||||
"useTags": false
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"auto": true,
|
|
||||||
"auto_count": 50,
|
|
||||||
"auto_min": "50s",
|
|
||||||
"current": {
|
|
||||||
"selected": false,
|
|
||||||
"text": "auto",
|
|
||||||
"value": "$__auto_interval_interval"
|
|
||||||
},
|
|
||||||
"description": null,
|
|
||||||
"error": null,
|
|
||||||
"hide": 0,
|
|
||||||
"label": "Interval",
|
|
||||||
"name": "interval",
|
|
||||||
"options": [
|
|
||||||
{
|
|
||||||
"selected": true,
|
|
||||||
"text": "auto",
|
|
||||||
"value": "$__auto_interval_interval"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"selected": false,
|
|
||||||
"text": "30s",
|
|
||||||
"value": "30s"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"selected": false,
|
|
||||||
"text": "1m",
|
|
||||||
"value": "1m"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"selected": false,
|
|
||||||
"text": "2m",
|
|
||||||
"value": "2m"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"selected": false,
|
|
||||||
"text": "3m",
|
|
||||||
"value": "3m"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"selected": false,
|
|
||||||
"text": "5m",
|
|
||||||
"value": "5m"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"selected": false,
|
|
||||||
"text": "7m",
|
|
||||||
"value": "7m"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"selected": false,
|
|
||||||
"text": "10m",
|
|
||||||
"value": "10m"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"selected": false,
|
|
||||||
"text": "30m",
|
|
||||||
"value": "30m"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"selected": false,
|
|
||||||
"text": "1h",
|
|
||||||
"value": "1h"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"selected": false,
|
|
||||||
"text": "6h",
|
|
||||||
"value": "6h"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"selected": false,
|
|
||||||
"text": "12h",
|
|
||||||
"value": "12h"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"selected": false,
|
|
||||||
"text": "1d",
|
|
||||||
"value": "1d"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"selected": false,
|
|
||||||
"text": "7d",
|
|
||||||
"value": "7d"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"selected": false,
|
|
||||||
"text": "14d",
|
|
||||||
"value": "14d"
|
|
||||||
},
|
|
||||||
{
|
|
||||||
"selected": false,
|
|
||||||
"text": "30d",
|
|
||||||
"value": "30d"
|
|
||||||
}
|
|
||||||
],
|
|
||||||
"query": "30s,1m,2m,3m,5m,7m,10m,30m,1h,6h,12h,1d,7d,14d,30d",
|
|
||||||
"refresh": 2,
|
|
||||||
"skipUrlSync": false,
|
|
||||||
"type": "interval"
|
|
||||||
}
|
|
||||||
]
|
|
||||||
},
|
|
||||||
"time": {
|
|
||||||
"from": "now-30m",
|
|
||||||
"to": "now"
|
|
||||||
},
|
|
||||||
"timepicker": {
|
|
||||||
"refresh_intervals": [
|
|
||||||
"5s",
|
|
||||||
"10s",
|
|
||||||
"30s",
|
|
||||||
"1m",
|
|
||||||
"5m",
|
|
||||||
"15m",
|
|
||||||
"30m",
|
|
||||||
"1h",
|
|
||||||
"2h",
|
|
||||||
"1d"
|
|
||||||
],
|
|
||||||
"time_options": [
|
|
||||||
"5m",
|
|
||||||
"15m",
|
|
||||||
"1h",
|
|
||||||
"6h",
|
|
||||||
"12h",
|
|
||||||
"24h",
|
|
||||||
"2d",
|
|
||||||
"7d",
|
|
||||||
"30d"
|
|
||||||
]
|
|
||||||
},
|
|
||||||
"timezone": "browser",
|
|
||||||
"title": "Swarm Stack Monitoring",
|
|
||||||
"uid": "KdVoGQm7z",
|
|
||||||
"version": 1
|
|
||||||
}
|
|
||||||
File diff suppressed because it is too large
Load Diff
File diff suppressed because it is too large
Load Diff
@ -1 +1 @@
|
|||||||
loki:{{ secret "loki_admin_password" }}
|
loki:{{ secret "loki_admin_password_hashed" }}
|
||||||
|
|||||||
@ -22,7 +22,7 @@ memberlist:
|
|||||||
abort_if_cluster_join_fails: false
|
abort_if_cluster_join_fails: false
|
||||||
bind_port: 7946
|
bind_port: 7946
|
||||||
join_members:
|
join_members:
|
||||||
- loki:7946
|
- {{ env "STACK_NAME" }}_loki:7946
|
||||||
max_join_backoff: 1m
|
max_join_backoff: 1m
|
||||||
max_join_retries: 10
|
max_join_retries: 10
|
||||||
min_join_backoff: 1s
|
min_join_backoff: 1s
|
||||||
|
|||||||
@ -7,14 +7,37 @@ events {
|
|||||||
http {
|
http {
|
||||||
include /etc/nginx/mime.types;
|
include /etc/nginx/mime.types;
|
||||||
|
|
||||||
|
map $http_upgrade $connection_upgrade {
|
||||||
|
default upgrade;
|
||||||
|
'' close;
|
||||||
|
}
|
||||||
|
|
||||||
server {
|
server {
|
||||||
listen 80;
|
listen 80;
|
||||||
server_name {{ env "LOKI_DOMAIN" }};
|
server_name {{ env "LOKI_DOMAIN" }};
|
||||||
|
|
||||||
location /loki/api/v1 {
|
|
||||||
auth_basic "loki";
|
auth_basic "loki";
|
||||||
auth_basic_user_file /etc/nginx/conf.d/loki.htpasswd;
|
auth_basic_user_file /etc/nginx/conf.d/loki.htpasswd;
|
||||||
proxy_pass http://{{ env "STACK_NAME" }}_loki:3100/loki/api/v1;
|
|
||||||
|
location / {
|
||||||
|
proxy_read_timeout 1800s;
|
||||||
|
proxy_connect_timeout 1600s;
|
||||||
|
proxy_pass http://{{ env "STACK_NAME" }}_loki:3100;
|
||||||
|
proxy_http_version 1.1;
|
||||||
|
proxy_set_header Upgrade $http_upgrade;
|
||||||
|
proxy_set_header Connection $connection_upgrade;
|
||||||
|
proxy_set_header Connection "Keep-Alive";
|
||||||
|
proxy_set_header Proxy-Connection "Keep-Alive";
|
||||||
|
proxy_redirect off;
|
||||||
|
}
|
||||||
|
|
||||||
|
location /ready {
|
||||||
|
proxy_pass http://{{ env "STACK_NAME" }}_loki:3100;
|
||||||
|
proxy_http_version 1.1;
|
||||||
|
proxy_set_header Connection "Keep-Alive";
|
||||||
|
proxy_set_header Proxy-Connection "Keep-Alive";
|
||||||
|
proxy_redirect off;
|
||||||
|
auth_basic "off";
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|||||||
@ -13,3 +13,6 @@ scrape_configs:
|
|||||||
static_configs:
|
static_configs:
|
||||||
- targets:
|
- targets:
|
||||||
- localhost:9090
|
- localhost:9090
|
||||||
|
basic_auth:
|
||||||
|
username: 'admin'
|
||||||
|
password: '{{ secret "prometheus_admin_password" }}'
|
||||||
|
|||||||
@ -1,2 +1,2 @@
|
|||||||
basic_auth_users:
|
basic_auth_users:
|
||||||
admin: {{ secret "prometheus_admin_password" }}
|
admin: {{ secret "prometheus_admin_password_hashed" }}
|
||||||
|
|||||||
Loading…
Reference in New Issue
Block a user