diff --git a/corpus/DATASET_CARD.md b/corpus/DATASET_CARD.md index 1f90652..63c21d1 100644 --- a/corpus/DATASET_CARD.md +++ b/corpus/DATASET_CARD.md @@ -10,11 +10,19 @@ - **주석 도출 방식:** ker_score·규칙위반·필드별 fidelity·픽토그램은 손으로 적지 않고 `tooling/annotate_corpus.py`로 **실제 엔진을 실행**해 산출한다(재현 가능). 모든 gold 페어는 Fidelity 게이트에서 `verdict == PASS`(사실 보존)를 통과한다. + 아래 집계는 `python -m tooling.annotate_corpus --corpus` 의 출력이 **유일한 출처**다. - **품질 절차:** 각 페어는 자동 저작 → 게이트 통과까지 반복 → **적대적 충실성 감사**(게이트가 못 잡는 modality 변질·개념 축소·과단순화·환각을 점검)를 거쳤다. 감사 반려분은 개념을 삭제 대신 풀어써(글로싱) 재작성했다. 현재 라벨은 `사람 검수 예정` 상태다. -- **실측 K-ER (n=11, 2026-07-01):** 원문 평균 72.0 → 쉬운 글 평균 81.8 (**Δ +9.8**), - 규칙 위반 평균 감소 −2.45. 개별 delta는 +3.7 ~ +19.6로 모두 양수. +- **실측 K-ER (n=11, 2026-08-25 재채점):** 원문 평균 71.2 → 쉬운 글 평균 80.7 (**Δ +9.5**), + 규칙 위반 평균 8.4 → 6.3 (**−2.09**). 개별 delta는 +3.7 ~ +22.4로 모두 양수. +- **⚠️ 점수는 형태소 분석기 빌드에 민감하다.** 위 값의 산출 환경은 + macOS arm64 / Python 3.14 / `kiwipiepy 0.23.2` · `kiwipiepy_model 0.23.0` 이다. + **버전이 같아도 플랫폼 빌드가 다르면 토큰화가 갈린다** — Linux x86_64 에서는 + `synth-0011` 이 82.4 대신 81.9 로 나와 쉬운 글 평균이 **80.6** 이 된다(2026-08-25 CI 확인). + 페어 단위 ±1.0 이내 차이는 정상이며, 회귀 테스트도 그 폭을 허용한다 + (`tests/tooling/test_annotate_corpus.py`의 `KER_BUILD_TOLERANCE`). 그보다 큰 차이는 + 주석이 손으로 쓰였거나 규칙 변경 후 재주석을 빠뜨렸다는 신호다. - **확장 100~300개는 대회 이후 로드맵으로 명시한다** (현재 미수록). - 재배포 가능한 KOGL-1 / data.go.kr(CC BY) 실문서를 점진적으로 추가한다.