Autonomer Robot fuer Butter-Erkennung und Aufnahme:
- Vision auf Raspberry Pi 5 + Hailo AI HAT+ (26 TOPS)
- Aktorik auf LEGO EV3 (ev3dev) via USB + RPyC
- Web-Ansicht mit Live-Stream und Robot-Status
- Fertiges Datenset und pretrained model (YOLOv11)
| Vorderseite | Detailansicht |
|---|---|
![]() |
![]() |
| Thema | Startpunkt |
|---|---|
| Installation komplett (inkl. Training/HEF) | docs/INSTALLATION.md |
| Programmablauf + Diagramme | docs/ARCHITEKTUR_UND_ABLAUF.md |
| Mermaid Ablaufdiagramm (direkt) | Zum Diagramm |
| HEF Hintergrund/Kompatibilitaet | HEF_ERSTELLUNG_RPI5_AI_HAT_PLUS_26TOPS.md |
| GitHub/SSH Setup | docs/GITHUB_SETUP.md |
# 1) Auf EV3
python3 ev3_start_rpyc_server.py --host 0.0.0.0 --port 18812
# 2) Auf Raspberry Pi (USB/RPyC Test)
sudo python3 pi_ev3_rpyc_usb_client.py --iface auto --oneshot --verbose
# 3) Robot starten (Web + Auto-Run)
./start_hailo_webserver.shWeb UI: http://<pi-ip>:8080
flowchart LR
A[Datensatz + Labeling] --> B[YOLO Training auf Ubuntu Desktop]
B --> C[ONNX Export]
C --> D[ONNX -> HEF mit Hailo Developer Suite]
D --> E[HEF auf Raspberry Pi]
E --> F[EV3 Verbindung per USB + RPyC]
F --> G[Robot Lauf: Suchen -> Anfahren -> Aufnehmen]
| Datei | Zweck |
|---|---|
| hailo_butter_ev3_alert.py | Autonomer Robot-Flow (State Machine) |
| hailo_robot_web_control.py | Web-UI, Config, Robot-Prozesssteuerung |
| hailo_web_detect_server.py | Reiner Detektions-Stream |
| pi_ev3_rpyc_usb_client.py | Robuste Pi -> EV3 USB/RPyC Verbindung |
| ev3_start_rpyc_server.py | EV3 rpyc_classic Start |
| start_hailo_webserver.sh | Haupt-Launcher fuer Webbetrieb |
| start_hailo_butter_alert.sh | Direktstart ohne Web |
| requirements-pi.txt | Pi Python Dependencies |
| requirements-ev3.txt | EV3 Python Dependencies |
Installationsdetails
- Datensatz erstellen/labeln (Klasse
butter) - YOLO auf Ubuntu Desktop trainieren
- ONNX exportieren
- ONNX zu HEF (
hailo8) kompilieren - HEF nach
/home/gast/model.hefauf dem Pi kopieren - Pi + EV3 verbinden und testen
- Robot mit echter Hardware validieren
- Vollanleitung: docs/INSTALLATION.md
- HEF-Details: HEF_ERSTELLUNG_RPI5_AI_HAT_PLUS_26TOPS.md
- EV3 USB/RPyC Setup: EV3_RPYC_USB_SETUP.md
- EV3 RPyC Library: EV3_RPYC_CONTROL_LIBRARY.md
Ablaufdetails
Robot-States:
SEARCH_RANDOMAPPROACH_BUTTERPICK_SEQUENCEDONE_STOP
Details und Mermaid:
Validierung und CI
python3 -m py_compile \
hailo_butter_ev3_alert.py \
hailo_web_detect_server.py \
hailo_robot_web_control.py \
pi_ev3_rpyc_usb_client.py \
ev3_start_rpyc_server.py
bash -n start_hailo_butter_alert.sh
bash -n start_hailo_robot_web.sh
bash -n start_hailo_webserver.shGitHub Action:
Weitere Dokumente und Artefakte
- Ursprungsskizze: butter_robot_sketch.md
- Alternative Setup-Notizen: EV3_raspberry-setup.md
- Aktivitaetsdiagramm-Dateien: butter-aktivitatsdiagramm/
- Projektdokumentation: Projektdokumenation-Butterbot.docx
- Protokollierung: Protokullierung.docx
- Interview Notiz: Interview Schreibplan.docx
.png)

