Aller au contenu

Log store : journal centralisé

Le log store est un service facultatif qui centralise les journaux de NGX Ops : accès Nginx, décisions du challenge, du WAF émulé, des blocklists et de CrowdSec. Il permet la recherche, les statistiques de visites, l'analyse de sécurité et l'historique par adresse IP.

Il se compose d'une API (Go) et d'une base PostgreSQL avec TimescaleDB. Il est autonome : ni le dashboard ni le Hub ne l'embarquent, ils le consultent en HTTPS.

analyseur / shipper ──lots gzip, HTTPS, jeton write──► log store (API) ──► PostgreSQL + TimescaleDB
dashboard / Hub ───────────── jeton read ────────────►        (le port de la base n'est jamais publié)

Sans log store, rien ne change pour le reste de la suite.

Installation

Le log store est livré avec un exemple de docker-compose (service API et base TimescaleDB). Copier le fichier d'exemple des variables, renseigner les deux valeurs obligatoires, puis démarrer :

cp sample.env logstore.env
# renseigner LOGSTORE_DB_PASSWORD et LOGSTORE_ADMIN_TOKEN (openssl rand -hex 32)
docker compose --env-file logstore.env -f docker-compose.example.yml up -d
curl -s localhost:8443/v1/health

La réponse attendue est {"status":"ok"}. Le jeton d'administration sert uniquement à créer les jetons d'accès : il est haché au premier démarrage.

TLS

Le log store exige TLS par défaut (LOGSTORE_TLS_CERT et LOGSTORE_TLS_KEY). LOGSTORE_INSECURE_HTTP=true est réservé à un réseau Docker interne ou à un reverse proxy TLS de confiance.

Les jetons

Deux rôles existent :

Rôle Usage Portée
write Envoyer des journaux (le shipper) Lié à une instance (instance_id)
read Consulter Avec instance_id : un dashboard ne voit que ses propres journaux. Sans instance_id : vue globale, réservée au Hub et à l'administration

Création d'un jeton (exemple pour un serveur web1) :

curl -s -H "Authorization: Bearer $LOGSTORE_ADMIN_TOKEN" \
  -d '{"label":"web1","role":"write","instance_id":"web1"}' \
  localhost:8443/v1/tokens

Le jeton n'est affiché qu'une seule fois. Il est stocké haché (SHA-256), comparé à temps constant, et peut être révoqué.

L'interface https://<log store>/ui/ permet de voir, créer et révoquer les jetons après saisie du jeton d'administration (conservé en mémoire dans l'onglet, jamais stocké). Elle se désactive avec LOGSTORE_UI=false. Si possible, restreindre /ui/ par adresse IP au niveau du reverse proxy.

Données personnelles : le mode des IP

Le mode est appliqué à l'ingestion, côté log store : aucun producteur ne peut le contourner. Il n'est pas rétroactif.

Mode Valeur stockée Recherche par IP
clear L'adresse Oui
truncated Le préfixe /24 (IPv4) ou /48 (IPv6) Oui, ramenée au préfixe
pseudonymized Une empreinte HMAC-SHA256 tronquée, sans adresse Oui, grâce à la clé

En mode pseudonymized, LOGSTORE_PSEUDO_KEY (32 caractères minimum) est obligatoire et le service refuse de démarrer sans elle. La changer casse la corrélation entre avant et après.

Aucune query string brute ni referer complet n'est stocké : seulement une empreinte et l'hôte.

Rétention

Réglage Plage
Journaux bruts 7 à 30 jours
Cumuls (agrégats horaires et journaliers) 30 à 800 jours

Les variables ne servent qu'à l'initialisation. Ensuite, la rétention et le mode des IP se modifient à chaud avec PUT /v1/settings (rôle administrateur).

Maintenance PostgreSQL

La purge, la compression et la rétention TimescaleDB sont automatiques. En plus, le service exécute un VACUUM (ANALYZE) des tables toutes les LOGSTORE_MAINTENANCE_HOURS (24 h par défaut, premier passage une dizaine de minutes après le démarrage). LOGSTORE_MAINTENANCE=false coupe cette tâche, l'autovacuum PostgreSQL restant actif.

L'état de la maintenance (lignes mortes, compression, rétention respectée) est visible dans la section « Maintenance PostgreSQL » de l'interface /ui/ et via GET /v1/maintenance ; POST /v1/maintenance la lance immédiatement.

Variables principales

Variable Rôle
LOGSTORE_DB_PASSWORD Mot de passe PostgreSQL (obligatoire)
LOGSTORE_ADMIN_TOKEN Jeton d'administration, 32 caractères minimum (obligatoire)
LOGSTORE_IP_MODE Mode initial des IP : clear, truncated, pseudonymized
LOGSTORE_PSEUDO_KEY Clé de pseudonymisation
LOGSTORE_RETENTION_DAYS Rétention initiale des journaux bruts (7 à 30)
LOGSTORE_TLS_CERT / LOGSTORE_TLS_KEY Certificat TLS monté dans le conteneur
LOGSTORE_INSECURE_HTTP HTTP clair, réseau interne uniquement
LOGSTORE_REQUIRE_TIMESCALE true : refuse de démarrer sans TimescaleDB
LOGSTORE_UI Interface /ui/ (true par défaut)
LOGSTORE_RATE_READ / LOGSTORE_RATE_WRITE Requêtes par seconde et par jeton (20 / 10)
LOGSTORE_MAX_BATCH_EVENTS Taille maximale d'un lot (5000)
LOGSTORE_QUERY_TIMEOUT_SECONDS Délai maximal d'une requête (15)

Deux rôles PostgreSQL séparés (lecture seule et écriture seule) sont possibles avec LOGSTORE_DATABASE_URL_READ et LOGSTORE_DATABASE_URL_WRITE.

Sécurité

  • TLS exigé par défaut, port PostgreSQL jamais publié, conteneur non-root avec système de fichiers en lecture seule.
  • Limitation de débit par jeton et frein sur les échecs d'authentification.
  • Tailles bornées partout (corps, lot, ligne, taille décompressée), SQL paramétré, fenêtre de recherche de 31 jours au plus.
  • Erreurs sans détail interne ; aucun jeton ni mot de passe dans les journaux.

Limites connues

  • Sans TimescaleDB, le log store fonctionne en mode « PostgreSQL simple » : ni compression ni cumuls longs. Réservé au développement et aux tests.
  • Le nombre de visiteurs distincts n'est disponible que sur la période encore stockée en brut.
  • Les cumuls sont calculés en UTC.

Pour envoyer les journaux vers le log store, voir Shipper et page Journaux. Pour les ordres de grandeur de volume et de performances, voir Capacité et performances.