36 lines
1.3 KiB
Plaintext
36 lines
1.3 KiB
Plaintext
# Task für jcdickinson/wizardcoder:15b
|
|
|
|
Erstelle eine erweiterte VisionBridge für Natiris mit llava:7b Integration.
|
|
|
|
ANFORDERUNGEN:
|
|
|
|
1. LLAVA INTEGRATION:
|
|
- Nutze ollama API für llava:7b Modell
|
|
- Endpoint: http://localhost:11434/api/generate
|
|
- Bilder als base64 kodieren und an llava senden
|
|
- Emotionserkennung: "Describe the emotion/mood of this person"
|
|
- Gesichtsausdruck: "What facial expression do you see?"
|
|
- Körpersprache: "Describe the body language"
|
|
|
|
2. EMOTION-ANALYSE:
|
|
- Extrahiere: mood_score (1-10), anxiety_detected (bool)
|
|
- Gesichtsausdruck: happy, sad, neutral, surprised, angry, fearful
|
|
- Blickrichtung: looking_at_camera, looking_away, closed_eyes
|
|
- Körperhaltung: open, closed, defensive, relaxed
|
|
|
|
3. CORE-STATE UPDATE:
|
|
- Vision-Analyse aktualisiert core_state.json
|
|
- mood_delta basierend auf erkannter Emotion
|
|
- anxiety_delta bei stressigen Ausdrücken
|
|
- loneliness_delta bei distanziertem Verhalten
|
|
|
|
4. CODE STRUKTUR:
|
|
- Klasse: VisionAnalyzer
|
|
- Methoden: load_image(), encode_base64(), query_llava(), parse_response(), update_core()
|
|
- Fehlerbehandlung: Fallback auf Simulation wenn llava nicht verfügbar
|
|
|
|
5. INTEGRATION:
|
|
- Nach Bildgenerierung automatisch aufrufen
|
|
- Metadaten an bridges/vision_analysis.json anhängen
|
|
|
|
Generiere vollständigen Python-Code. |