Skip to content

Evaluación con DeepSeek directo y decisión de la conexión mínima de M4 - #4

Merged
Ray86-dev merged 1 commit into
mainfrom
m4-conexion-minima
Nov 14, 2026
Merged

Ray86-dev merged 1 commit into
mainfrom
m4-conexion-minima

Conversation

@Ray86-dev

Copy link
Copy Markdown
Owner

Qué cambia

  • Adaptador de DeepSeek en packages/core/src/provider/deepseek.ts, detrás de la interfaz de proveedor y con las pruebas de contrato. Lo usa solo npm run eval: la app no lo ofrece.
  • Gastar exige un tope explícito. Un modelo de pago no arranca sin --max-cost, solo se admite con precio conocido, cada respuesta se cuenta a la tarifa más alta y la evaluación se detiene al llegar al tope o si una respuesta no dice cuánto usó. Muestra el saldo antes y después.
  • json.ts reúne el análisis de JSON que repetían los adaptadores de Ollama y OpenRouter.
  • ADR 0012: M4 incluye una conexión mínima con Ollama y OpenRouter. ROADMAP.md recoge el nuevo reparto entre M4 y M6.
  • ADR 0013: DeepSeek directo, solo para la evaluación, con sus resultados.

Resultados nuevos

Modelo la-veda la-feria (control)
deepseek-flash Supera: 8 de 8 Supera: 8 de 8 y 3 de 3 referencias
nvidia/nemotron-3.5-super-vl:free (ya medido) Supera: 6 de 8 y 3 de 3 referencias

DeepSeek costó unos 0,08 $ reales frente a 0,22 $ contados por el evaluador. Los prompts no se han tocado.

Comprobado

  • npm run check y npm run test:ts: 638 pruebas pasan.
  • npm run fixtures.
  • El adaptador de DeepSeek, contra el servicio real en las dos novelas.

No toca guardado, Yjs ni sync.

🤖 Generated with Claude Code

- Adaptador de DeepSeek en el core, usado solo por la evaluación.
- El arnés exige --max-cost para un modelo de pago, cuenta cada
  respuesta a la tarifa más alta y se detiene al llegar al tope.
- Resultados de deepseek-flash en las dos novelas y de nemotron en
  la-feria, anotados en los ADR 0011 y 0013.
- ADR 0012: M4 incluye una conexión mínima con Ollama y OpenRouter.

Co-Authored-By: Claude Fable 5.2 <noreply@anthropic.com>
@Ray86-dev
Ray86-dev merged commit 17c4a84 into main Nov 14, 2026
4 checks passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant