Skip to content
Merged
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
12 changes: 10 additions & 2 deletions corpus/DATASET_CARD.md
Original file line number Diff line number Diff line change
Expand Up @@ -10,11 +10,19 @@
- **주석 도출 방식:** ker_score·규칙위반·필드별 fidelity·픽토그램은 손으로 적지 않고
`tooling/annotate_corpus.py`로 **실제 엔진을 실행**해 산출한다(재현 가능). 모든 gold 페어는
Fidelity 게이트에서 `verdict == PASS`(사실 보존)를 통과한다.
아래 집계는 `python -m tooling.annotate_corpus --corpus` 의 출력이 **유일한 출처**다.
- **품질 절차:** 각 페어는 자동 저작 → 게이트 통과까지 반복 → **적대적 충실성 감사**(게이트가
못 잡는 modality 변질·개념 축소·과단순화·환각을 점검)를 거쳤다. 감사 반려분은 개념을
삭제 대신 풀어써(글로싱) 재작성했다. 현재 라벨은 `사람 검수 예정` 상태다.
- **실측 K-ER (n=11, 2026-07-01):** 원문 평균 72.0 → 쉬운 글 평균 81.8 (**Δ +9.8**),
규칙 위반 평균 감소 −2.45. 개별 delta는 +3.7 ~ +19.6로 모두 양수.
- **실측 K-ER (n=11, 2026-08-25 재채점):** 원문 평균 71.2 → 쉬운 글 평균 80.7 (**Δ +9.5**),
규칙 위반 평균 8.4 → 6.3 (**−2.09**). 개별 delta는 +3.7 ~ +22.4로 모두 양수.
- **⚠️ 점수는 형태소 분석기 빌드에 민감하다.** 위 값의 산출 환경은
macOS arm64 / Python 3.14 / `kiwipiepy 0.23.2` · `kiwipiepy_model 0.23.0` 이다.
**버전이 같아도 플랫폼 빌드가 다르면 토큰화가 갈린다** — Linux x86_64 에서는
`synth-0011` 이 82.4 대신 81.9 로 나와 쉬운 글 평균이 **80.6** 이 된다(2026-08-25 CI 확인).
페어 단위 ±1.0 이내 차이는 정상이며, 회귀 테스트도 그 폭을 허용한다
(`tests/tooling/test_annotate_corpus.py`의 `KER_BUILD_TOLERANCE`). 그보다 큰 차이는
주석이 손으로 쓰였거나 규칙 변경 후 재주석을 빠뜨렸다는 신호다.
- **확장 100~300개는 대회 이후 로드맵으로 명시한다** (현재 미수록).
- 재배포 가능한 KOGL-1 / data.go.kr(CC BY) 실문서를 점진적으로 추가한다.

Expand Down
Loading