From 1a950be7876aba58716df455d6136d776f5c5c80 Mon Sep 17 00:00:00 2001 From: YONGBEOM GWON Date: Tue, 25 Aug 2026 14:02:00 +0900 Subject: [PATCH] =?UTF-8?q?fix(corpus):=20DATASET=5FCARD=20=EC=88=98?= =?UTF-8?q?=EC=B9=98=EB=A5=BC=20=ED=98=84=EC=9E=AC=20=EC=97=94=EC=A7=84=20?= =?UTF-8?q?=EC=9E=AC=EC=B1=84=EC=A0=90=EA=B3=BC=20=EB=8F=99=EA=B8=B0?= =?UTF-8?q?=ED=99=94=ED=95=9C=EB=8B=A4?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 카드는 2026-07-01 최초 주석 시점의 값(72.0 → 81.8, Δ+9.8, 위반 −2.45, delta 범위 +3.7~+19.6)을 그대로 들고 있었다. 코퍼스는 그 뒤 재주석됐고 (전 페어 review_date=2026-07-18), README·결과보고서는 71.2 → 80.7 (Δ+9.5), 위반 −2.09 를 쓴다. 즉 저장소 안에 서로 다른 두 벌의 수치가 있었다. `python -m tooling.annotate_corpus --corpus` 를 돌려 나온 값으로 맞춘다. 카드 스스로 "정직한 보고"를 표방하고 계획서 4.2 절이 "데이터셋 카드가 약속하는 n 과 실제 평가 보고 n 을 일치시킨다"고 적은 만큼, 여기서 어긋나면 안 된다. 아울러 #18 에서 확인한 사실을 카드에 남긴다: K-ER 은 형태소 분석기 빌드에 민감해 같은 버전이라도 플랫폼이 다르면 페어 단위로 흔들리고(Linux 에서는 평균이 80.6), 따라서 산출 환경을 밝히지 않은 점수는 재현 주장을 뒷받침하지 못한다. --- corpus/DATASET_CARD.md | 12 ++++++++++-- 1 file changed, 10 insertions(+), 2 deletions(-) diff --git a/corpus/DATASET_CARD.md b/corpus/DATASET_CARD.md index 1f90652..63c21d1 100644 --- a/corpus/DATASET_CARD.md +++ b/corpus/DATASET_CARD.md @@ -10,11 +10,19 @@ - **주석 도출 방식:** ker_score·규칙위반·필드별 fidelity·픽토그램은 손으로 적지 않고 `tooling/annotate_corpus.py`로 **실제 엔진을 실행**해 산출한다(재현 가능). 모든 gold 페어는 Fidelity 게이트에서 `verdict == PASS`(사실 보존)를 통과한다. + 아래 집계는 `python -m tooling.annotate_corpus --corpus` 의 출력이 **유일한 출처**다. - **품질 절차:** 각 페어는 자동 저작 → 게이트 통과까지 반복 → **적대적 충실성 감사**(게이트가 못 잡는 modality 변질·개념 축소·과단순화·환각을 점검)를 거쳤다. 감사 반려분은 개념을 삭제 대신 풀어써(글로싱) 재작성했다. 현재 라벨은 `사람 검수 예정` 상태다. -- **실측 K-ER (n=11, 2026-07-01):** 원문 평균 72.0 → 쉬운 글 평균 81.8 (**Δ +9.8**), - 규칙 위반 평균 감소 −2.45. 개별 delta는 +3.7 ~ +19.6로 모두 양수. +- **실측 K-ER (n=11, 2026-08-25 재채점):** 원문 평균 71.2 → 쉬운 글 평균 80.7 (**Δ +9.5**), + 규칙 위반 평균 8.4 → 6.3 (**−2.09**). 개별 delta는 +3.7 ~ +22.4로 모두 양수. +- **⚠️ 점수는 형태소 분석기 빌드에 민감하다.** 위 값의 산출 환경은 + macOS arm64 / Python 3.14 / `kiwipiepy 0.23.2` · `kiwipiepy_model 0.23.0` 이다. + **버전이 같아도 플랫폼 빌드가 다르면 토큰화가 갈린다** — Linux x86_64 에서는 + `synth-0011` 이 82.4 대신 81.9 로 나와 쉬운 글 평균이 **80.6** 이 된다(2026-08-25 CI 확인). + 페어 단위 ±1.0 이내 차이는 정상이며, 회귀 테스트도 그 폭을 허용한다 + (`tests/tooling/test_annotate_corpus.py`의 `KER_BUILD_TOLERANCE`). 그보다 큰 차이는 + 주석이 손으로 쓰였거나 규칙 변경 후 재주석을 빠뜨렸다는 신호다. - **확장 100~300개는 대회 이후 로드맵으로 명시한다** (현재 미수록). - 재배포 가능한 KOGL-1 / data.go.kr(CC BY) 실문서를 점진적으로 추가한다.