[HWPX/직렬화] 컨트롤 슬롯 8유닛 시프트 — 실문서 char_offset 변위 (hwpx-roundtrip IR_DIFF)

[planet6897]

배경

Task #1552 무손실 검증에서, HWPX serializer 가 일부 실문서의 컨트롤 슬롯을 직렬화할 때 char_offset/char_shape 위치를 8유닛(=1글자 슬롯) 시프트시키는 잔여 결함이 확인됐다. samples/hwpx/ 큐레이션 샘플엔 없고 서울 열린데이터 실문서(hwpdocs)에서 9/25 노출된다.

증거 — 36384525_…특수차량…출동불능…알림.hwpx

rhwp ir-diff <원본.hwpx> <rt.hwpx> (parse → serialize_hwpx → 재parse):

--- 문단 0.6 --- (텍스트 "  끝.")
  [차이] cc: A=13 vs B=5          # char count 13 → 5 (8 감소)
  [차이] cs[1].pos: A=12 vs B=4   # char_shape 위치 12 → 4 (8 감소)
=== 비교 완료: 차이 2 건 ===

정확히 8유닛 차이 — autoNum/필드 등 컨트롤 슬롯의 폭 처리 관련(기존 #1382 autoNum 폭 일관화, #1407 newNum 슬롯 위치 계열의 잔여).

재현 / 검출

rhwp hwpx-roundtrip <실문서.hwpx>   # [IR_DIFF] diff= N 으로 검출

선행 조사 전수 표본(hwpx 25건) 중 9건이 IR_DIFF(diff 1~2), 전부 실문서. 텍스트 내용·페이지는 보존되나 슬롯 경계가 시프트.

의심 지점

src/serializer/hwpx/ 의 컨트롤 슬롯(autoNum/newNum/fieldBegin 등) 방출 시 placeholder 폭 계산. 8유닛 슬롯의 char_offset/char_shape 경계 정합(#1382·#1407 와 동형 가설).

수용 기준

• 영향 실문서들에서 hwpx-roundtrip IR diff=0.
• 회귀 가드: 대표 실문서를 samples/hwpx/ 에 추가하거나 tests/hwpx_roundtrip_baseline.rs 게이트로 봉인.

분리

HWP5 측 F1(#1554)·F2'(#1555, convert 경로)와 무관한 HWPX serializer 결함.

관련: #1552, PR #1553. 근거: output/poc/fidelity/report.md, mydocs/manual/hwpx_roundtrip_baseline.md.

[planet6897]

조사 심화 + 1차 수정 시도 결과 (revert)

근본원인 정밀화

F3(char_shape 8유닛 시프트)는 cross-paragraph fieldEnd 누락이나, sub-case 가 여러 개다:

• 대표 36383351 문단 0.8 "…1부. 끝." — 원본 run 끝에 <hp:fieldEnd beginIDRef="1878228493" fieldid="627272811"/>. 저장 시 드롭 → cc 38→30, char_shape pos 37→29.
• 지배적 sub-case = 셀→body 교차 필드: 36383351 의 fieldBegin 은 표 셀(subList) 안(id=627272811)이고 fieldEnd 는 body 문단(idx 27). 즉 필드가 표 셀에서 시작해 본문에서 끝난다.
• beginIDRef ≠ fieldBegin.id: fieldEnd.beginIDRef=1878228493 ≠ fieldBegin.id=627272811. 파서가 fieldEnd 의 beginIDRef 를 skip_element 로 버리므로 serializer 가 원래 값을 복원할 수 없다.

1차 수정 시도 (serializer open-field 스택) — 부적합, revert

SerializeContext.open_field_ids 스택(fieldBegin push / fieldEnd pop / 고아 � emit) 구현.

• 결과: 대표 케이스 미해소(rt fieldEnd 여전히 0). 셀→body 필드에서 스택이 body 문단 시점에 비어 있음(또는 셀 field_range 가 먼저 pop).
• 광역(hwpdocs 3773건): char-shift IR_DIFF rate 무변화(f5 28.3% → f6 29.6%, 말뭉치 성장 감안 시 중립).
• hwpx_roundtrip_baseline 4 passed(회귀 없음)이나 실제 해소 케이스 미입증 → ship 부적절, 소스 변경 revert.

결론 / 재설계 방향

단순 serializer-only 스택으로는 불충분. 제대로 된 수정은:

1. 파서가 fieldEnd 의 beginIDRef(+위치)를 IR 에 보존(현재 skip_element 로 폐기) — 마커/슬롯으로 적재.
2. serializer 가 그 위치에 verbatim 방출(셀→body 등 구조 교차 포함).
3. 기존 필드(HWPX 파서: autoNum 폭 비일관 — char_shapes 축 1 유닛 vs offsets 축 8 유닛 #1382/HWPX serializer: newNum 슬롯 위치 변위 + 143E RT 페이지 수 1→2 — 복합 컨트롤 문단 잔존 결함 #1407/HWPX serializer: MEMO 필드(fieldBegin) subList 미직렬화 — 메모 본문 소실 #1391) 회귀 가드 동반.

→ 본 이슈는 파서 IR 보존을 포함한 전용 작업으로 재설계 필요. 1차 시도는 근본원인 문서화로 남기고 코드는 미반영.
근거: mydocs/working/task_m100_1556_stage1.md, output/poc/fidelity6/.

[planet6897]

2차 시도(재설계: 파서 보존 + 위치 방출) — targeted 성공, 광역 회귀 → revert

v1(serializer 스택) 실패 후 재설계: 파서가 fieldEnd 의 beginIDRef 를 (visible_char_idx, begin_id) 로 IR 보존(Paragraph.field_end_refs), serializer 가 그 위치(in-loop/trailing)에서 <hp:fieldEnd> 방출.

결과

• ✅ targeted 해소: 36383351·36388853(셀→body 교차 필드) IR_DIFF → PASS. v1 이 못 잡던 지배적 sub-case 해결.
• ❌ 광역 순 음: 통제 비교(fidelity6∩7 공통 3773건) — 개선 673 / 회귀(PASS→IR_DIFF) 1039 / 순효과 −366. char_shapes rate 29.6%→39.4%(악화).
• ⚠️ baseline(samples/hwpx) 4 passed + opengov 통과인데 실문서 1039건 회귀 — curated 샘플로는 이 클래스를 검출 못 함. 광역 통제 측정만 검출.

→ orphan-emit 위치 로직이 일반 실문서 패턴에서 오방출/오위치로 새 char_shape diff 생성(field char-offset 모델 edge-case 가 모델보다 많음). 검증 실패로 소스 revert(코드 미반영).

재설계 방향 (3차, 더 신중)

1. 수정 채택 기준 명문화: 통제 비교 순효과(개선−회귀) > 0. baseline/opengov 통과만으로 불충분.
2. 1개 sub-case(셀→body 트레일링)만 정밀 타겟 → 광역 순효과 확인 후 확대.
3. 고아 \u{0004} 판정·위치 정합을 실문서 패턴 전수로 사전 분류.

근거: mydocs/working/task_m100_1556_v2_report.md, output/poc/fidelity7/. v1 보고서: task_m100_1556_stage2.md.

[jangster77]

PR #1561 merge로 해결했습니다. 최신 devel 반영 중 충돌은 #1556/#1512 테스트를 모두 보존해 수동 해결했고, 로컬 focused test와 원격 CI 통과를 확인한 뒤 머지 완료했습니다. 감사합니다.

[planet6897]

광역 검증 — #1561 수정이 실문서에서 F3 해소 확정

현재 devel(#1561 포함) 바이너리로 hwpdocs 실문서 전수 재측정 + 통제 비교:

• char_shapes IR_DIFF: 29.6% → 0.6%(54건만 잔존).
• PASS율: 70% → 99%(9204/9275).
• 통제 비교(Task #1556: 다단락 누름틀 필드 고아 fieldEnd 8유닛 시프트 수정 (HWPX serializer) #1561 전/후 공통 말뭉치): 개선 1110 / 회귀 0 / 순효과 +1110 — 순수 양(+), 무회귀.
• 대표 케이스 전부 PASS: 36383351·36388853(셀→body 트레일링), 36383531(트레일링 char_shape 갭 경계 — 별도 시도에서 회귀하던 케이스도 정상), 36388571.

OrphanFieldEnd(char_idx 위치 기반 + 슬롯-뒤 char_shape 조건) 접근이 정확. F3 클래스 사실상 소멸.

(참고: 본 세션에서 동일 결함을 v1[serializer 스택]·v2[모든 고아 위치 방출]로 시도했으나 각각 중립·순 −366 회귀로 revert. #1561 의 위치-정밀 방출이 정답이었음.)