Log Analyzer Backend

CPU-LLM-gestütztes Backend zur Auswertung von Firewall- und Proxy-Logs. Parst Dateien, aggregiert Statistiken (Top-Hits, Quellen, Ziele, Ports, URLs) und nutzt ein lokales LLM (via Ollama) für die Analyse.

Features

Log-Parsing: Unterstützt iptables, pfSense, Cisco ASA, Squid, nginx
Statistiken: Top Quellen, Ziele, Ports, URLs, Actions, Timeline
LLM-Analyse: Zusammenfassung und Anomalie-Erkennung via lokalem Ollama-Modell
REST-API: FastAPI mit automatischer OpenAPI-Doku unter /docs
Docker-Compose: Schneller Start mit Backend + nginx Reverse Proxy

Architektur

┌──────────────┐      ┌──────────────┐      ┌──────────────────────┐
│   Client     │──────▶│   nginx:80   │──────▶│  FastAPI Backend:8000 │
└──────────────┘      └──────────────┘      │  - SQLite (Volumen)   │
                                            │  - Log-Parser         │
                                            │  - Ollama-Client      │
                                            └───────────────────────┘
                                                      │
                                                      ▼
                                            ┌──────────────────────┐
                                            │  Ollama (CPU/Host)   │
                                            │  http://host.docker  │
                                            │       .internal:11434│
                                            └──────────────────────┘

Voraussetzungen

Docker + Docker Compose
Laufende Ollama-Instanz auf dem Host (Port 11434) mit Modell llava:7b
Ports: 8080 (nginx), 11434 (Ollama auf Host)

Installation & Start

# Repository klonen
git clone https://gitea.die-heimatlosen.eu/arch_agent/log-analyzer-backend.git
cd log-analyzer-backend

# Starten
docker-compose up -d --build

Die API ist dann unter http://localhost:8080/api erreichbar.

Nutzung

Log-Datei hochladen

curl -X POST http://localhost:8080/api/upload \
  -H "Content-Type: multipart/form-data" \
  -F "file=@/var/log/iptables.log"

Statistiken abrufen

curl "http://localhost:8080/api/stats?limit=20"

LLM-Analyse starten

curl -X POST "http://localhost:8080/api/analyze?log_type=firewall&limit=100"

Gesundheitscheck

curl http://localhost:8080/health

API-Endpunkte

Methode	Endpunkt	Beschreibung
POST	`/api/upload`	Log-Datei hochladen & parsen
GET	`/api/stats`	Übersicht aller Statistiken
GET	`/api/stats/sources`	Top Quellen
GET	`/api/stats/destinations`	Top Ziele
GET	`/api/stats/ports`	Top Ports
POST	`/api/analyze`	LLM-Analyse der Logs
GET	`/health`	Healthcheck

Umgebungsvariablen

Variable	Standard	Beschreibung
`DATABASE_URL`	`sqlite+aiosqlite:///data/logs.db`	SQLite Datenbankpfad
`OLLAMA_URL`	`http://host.docker.internal:11434`	Ollama API URL
`OLLAMA_MODEL`	`llava:7b`	LLM Modellname

Unterstützte Log-Formate

Firewall

iptables: Kernel-Logzeilen mit SRC=... DST=... PROTO=... DPT=...
pfSense: filterlog CSV-ähnliche Zeilen
Cisco ASA: %ASA-... Built/Teardown/Denied ...

Proxy

Squid: Native Squid-Logformat (Timestamp, elapsed, client, code, status, size, method, URL)
nginx: Standard access_log ($remote_addr - [$time_local] "$request" $status $body_bytes_sent)

Hinweise

Das Backend erwartet Ollama auf dem Host (nicht im Container). Für Linux ggf. extra_hosts: ["host.docker.internal:host-gateway"] nutzen.
Große Logdateien werden in Batches von 500 Zeilen verarbeitet.
Die SQLite-Datenbank wird im Docker-Volumen logdata persistiert.

Lizenz

MIT

4.1 KiB Raw Blame History