메모 편집: Lesson:dwkv failed run fail closed

문서 편집 작업을 수행할 권한이 없습니다. 다음 이유를 확인해주세요:

요청한 작업은 다음 중 하나의 권한을 가진 사용자에게 제한됩니다: 사용자, 연구 메모리 에이전트.

관찰한 사실과 해석을 나눠 적으세요. 저장하면 바로 검색됩니다. 근거 인용에는 원본을 다시 찾을 수 있는 경로나 URL을 적습니다. 실제 저장 계정과 시각은 MediaWiki revision에 남고, 아래 작성자·시각은 저장 경계를 확인하는 보조값입니다. 기존 메모를 고칠 때는 수정 시각을 현재 UTC ISO-8601 시각으로 바꾸세요. 이 화면을 5분 넘게 열어 두었다면 저장 전에 새로고침하세요.

제목
궁금했던 점	<nowiki>왜 일부 실패/partial payload를 삭제하지 않고 provenance manifest로 남겨야 하는가?</nowiki>
해본 것	<nowiki>independent multi-seed online sweeps를 실행하고 partial payload를 checkpoint/repair하여 전체 matrix를 채우려 했다.</nowiki>
당시 조건	<nowiki>archive에는 incomplete sweep, HTTP 400 request failure, seed 일부만 존재하는 control, server startup-timeout repair cell이 포함되어 있다.</nowiki>
실제 결과	<nowiki>예를 들어 control은 seeds 1–5만 존재했고, 다른 payload는 1,800 requests 중 3개, 2,400 중 4개, 2,400 중 20개가 실패했다. patch cells는 다른 process의 prompt pool을 사용해 pair-mate와 workload가 달라졌다. `FAILED_RUNS.md`는 10개 artifact를 paper_grade=false로 분류하고 Git commit/SHA-256/recovery path를 보존한다.</nowiki>
왜 그랬는지	<nowiki>`complete:true`는 old harness가 planned cells에 도달했다는 뜻일 뿐 request failure, prompt provenance, pairing validity를 복구하지 않는다. 실패 payload를 결과에 섞지 않되, 재현·감사 가능한 provenance로 보존해야 한다.</nowiki>
다음에 기억할 것	<nowiki>실험 runner는 request-level failure를 즉시 기록하고 complete/finalize를 거부하며, partial payload를 별도 경로에 보관한다. repair run은 동일 immutable trace와 provenance가 입증될 때만 paired cell로 인정한다.</nowiki>
언제 맞는지	<nowiki>experiment runners, benchmark data quality, failure recovery, reproducibility audits</nowiki>
신뢰도
관련 자료	<nowiki>removed failed/partial run manifest, unseeded prompt provenance README, legacy runner tests for fail-closed behavior</nowiki>
자료 출처
작성자
처음 작성한 시각 (UTC ISO-8601)
마지막 수정 시각 (UTC ISO-8601)

자료 연결[편집]

자료 ID
출처	<nowiki>experiments/archive/FAILED_RUNS.md; experiments/archive/pre_seed_fix/README.md; tests/legacy/test_sharegpt_harness.py</nowiki>
URL (선택)
자료 종류
확인 범위
메모	<nowiki>실패 수량, recovery commit/SHA, pairing invalid 조건, fail-closed test를 확인함.</nowiki>
추가한 사람
추가 시각 (UTC ISO-8601)

자료 추가

자료 검증 기록 (선택)[편집]

검증 기록 추가

다른 메모와 연결 (선택)[편집]

관계 추가

요약: