App en Flutter que segmenta objetos en tiempo real dentro del celular con YOLOv8 (TensorFlow Lite). Al tocar un objeto, lo recorta por su silueta y le pide a Gemini que lo identifique y lo describa.
Cámara ──► YOLOv8n-seg (TFLite, en el dispositivo) ──► máscaras poligonales sobre la vista previa
│ el usuario toca un objeto
▼
Recorte del objeto por su polígono (PNG)
│
▼
Gemini: { "nombre", "descripcion" } en español
- Inferencia local: la segmentación corre en el celular, sin enviar el video a ningún servidor.
- IA generativa solo cuando hace falta: a Gemini se envía únicamente el recorte del objeto elegido, junto con la etiqueta que detectó YOLO.
- Respuesta estructurada: el prompt exige JSON con nombre y descripción para mostrarlo directamente en la interfaz.
lib/
data/services/
yolo_processor.dart # carga el modelo TFLite y procesa cada frame
image_extractor.dart # recorta el objeto según su máscara
gemini_client.dart # consulta a Gemini con imagen + etiqueta
domain/models/ # PolygonMask
presentation/
pages/vision_page.dart # cámara + superposición de máscaras
widgets/mask_overlay.dart
assets/
yolov8n-seg.tflite # modelo cuantizado para móvil
flutter pub get
flutter run --dart-define=GEMINI_API_KEY=tu_api_key🔒 Sobre la API key: la llave se pasa solo al ejecutar en desarrollo y nunca se guarda en el repositorio. Este proyecto no publica builds: cualquier llave incluida en una app instalada puede extraerse del binario. Para distribuirla, la llamada a Gemini debe pasar por un backend propio que guarde la llave.
Hecho por Harold Camargo · LinkedIn