Skip to content

Feat: Partial KV Cache Reuse 구현 #2

Description

@rinarina0429

Stage 전환 시 변경된 레이어부터만 KV Cache를 재계산하고, 앞부분의 변경되지 않은 레이어는 기존 캐시를 재사용합니다.

Stage 1 → Stage 2 예시:
Layer 0-20:  ✅ KV Cache 유지 (Alpha = 1, 변경 없음)
Layer 21-24: 🔄 재계산 (Alpha: 0→1, Weight 로드됨)
Layer 25-28: 🔄 재계산 (이전 출력 변경으로 영향받음)
Layer 29-31: 🔄 재계산 (cascade effect)

Activity

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

Labels

No labels
No labels

Type

No type

Projects

No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions