Skip to content

About

Flutter app that runs YOLOv8 instance segmentation on-device (TFLite); tap an object to crop it and have Gemini identify and describe it.

Topics

Resources

Stars

0 stars

Watchers

0 watching

Forks

Repository files navigation

👁️ app-vision-instance-segmentation

App en Flutter que segmenta objetos en tiempo real dentro del celular con YOLOv8 (TensorFlow Lite). Al tocar un objeto, lo recorta por su silueta y le pide a Gemini que lo identifique y lo describa.

Flutter Dart TensorFlow Lite YOLOv8 Gemini

✨ Flujo

Cámara ──► YOLOv8n-seg (TFLite, en el dispositivo) ──► máscaras poligonales sobre la vista previa
                                                              │ el usuario toca un objeto
                                                              ▼
                                       Recorte del objeto por su polígono (PNG)
                                                              │
                                                              ▼
                                  Gemini: { "nombre", "descripcion" } en español
  • Inferencia local: la segmentación corre en el celular, sin enviar el video a ningún servidor.
  • IA generativa solo cuando hace falta: a Gemini se envía únicamente el recorte del objeto elegido, junto con la etiqueta que detectó YOLO.
  • Respuesta estructurada: el prompt exige JSON con nombre y descripción para mostrarlo directamente en la interfaz.

📁 Estructura

lib/
  data/services/
    yolo_processor.dart     # carga el modelo TFLite y procesa cada frame
    image_extractor.dart    # recorta el objeto según su máscara
    gemini_client.dart      # consulta a Gemini con imagen + etiqueta
  domain/models/            # PolygonMask
  presentation/
    pages/vision_page.dart  # cámara + superposición de máscaras
    widgets/mask_overlay.dart
assets/
  yolov8n-seg.tflite        # modelo cuantizado para móvil

🚀 Ejecutar

flutter pub get
flutter run --dart-define=GEMINI_API_KEY=tu_api_key

🔒 Sobre la API key: la llave se pasa solo al ejecutar en desarrollo y nunca se guarda en el repositorio. Este proyecto no publica builds: cualquier llave incluida en una app instalada puede extraerse del binario. Para distribuirla, la llamada a Gemini debe pasar por un backend propio que guarde la llave.


Hecho por Harold Camargo · LinkedIn

About

Flutter app that runs YOLOv8 instance segmentation on-device (TFLite); tap an object to crop it and have Gemini identify and describe it.

Topics

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages