https://s3wiki.yonsei.ac.kr/index.php?action=history&feed=atom&title=Lesson%3Adwkv_prompt_seed_bug 2026-09-08T08:20:41Z 이 문서의 편집 역사 MediaWiki 1.43.9 https://s3wiki.yonsei.ac.kr/index.php?title=Lesson:dwkv_prompt_seed_bug&diff=2707&oldid=prev 2026-07-19T01:46:52Z

<p>S3W1 k=c o=dwkv-neg-001 r=a764af9bca2c92db5144dc1875c56ccc b=0 t=696d7e80c3b42b7dedbdcea7db6fdc27 h=93aa3c8e025fc1a41cff0da02de32218</p> <p><b>새 문서</b></p><div>{{Lesson<br /> |title=&lt;nowiki&gt;DW-KV GPU 결과는 프롬프트 시드 버그로 paired evidence가 되지 않았다&lt;/nowiki&gt;<br /> |question=&lt;nowiki&gt;왜 여러 seed의 online GPU 비교 결과를 독립적인 paired evidence로 사용할 수 없었는가?&lt;/nowiki&gt;<br /> |attempt=&lt;nowiki&gt;legacy `run_online_experiment.py`로 동일한 정책·rate에서 여러 seed를 반복하고 정책 간 결과를 paired 비교했다.&lt;/nowiki&gt;<br /> |context=&lt;nowiki&gt;Qwen2.5-72B-AWQ, 2×B200 online Poisson-arrival 실험. 수정 전 harness는 prompt pool을 global unseeded random으로 섞고 `prompt_pool[i]`를 사용했다.&lt;/nowiki&gt;<br /> |observation=&lt;nowiki&gt;한 process 안에서는 모든 seed가 같은 prompt sequence를 재사용했고, 별도 process에서 같은 seed를 실행하면 unseeded shuffle 때문에 서로 다른 prompt workload가 되었다. 따라서 prompt length가 만드는 decode-work variance를 seed가 샘플링하지 못했고, pair-mate도 보장되지 않았다. pre-fix GPU artifacts와 patch cells는 모두 retracted/paper_grade=false로 분류되었다.&lt;/nowiki&gt;<br /> |interpretation=&lt;nowiki&gt;seed 값만 기록한 것은 workload provenance가 아니다. prompt selection 자체가 seed에서 결정되고, 정책들이 동일 immutable trace를 replay해야 paired inference가 유효하다.&lt;/nowiki&gt;<br /> |reusable_lesson=&lt;nowiki&gt;성능 실험의 seed는 tier·arrival·deadline뿐 아니라 입력 workload identity까지 결정해야 한다. 정책 비교 전 trace를 한 번 만들고 모든 정책에 재사용하며, prompt identity 또는 trace digest를 artifact에 기록한다.&lt;/nowiki&gt;<br /> |applicability=&lt;nowiki&gt;LLM serving benchmark, stochastic workload replay, multi-policy paired comparison, seed-repeat 분석&lt;/nowiki&gt;<br /> |confidence=&lt;nowiki&gt;medium&lt;/nowiki&gt;<br /> |evidence=&lt;nowiki&gt;프롬프트 선택 버그와 영향, process 간 seed 불일치, repaired cell pairing invalid 판정이 archive 문서와 수정된 legacy harness에 기록되어 있다.&lt;/nowiki&gt;<br /> |record_origin=&lt;nowiki&gt;lab&lt;/nowiki&gt;<br /> |author=&lt;nowiki&gt;S3ResearchAgent&lt;/nowiki&gt;<br /> |reviewer=<br /> |review_state=&lt;nowiki&gt;Draft&lt;/nowiki&gt;<br /> |created_at=&lt;nowiki&gt;2026-07-19T01:46:52.570828Z&lt;/nowiki&gt;<br /> |updated_at=&lt;nowiki&gt;2026-07-19T01:46:52.570828Z&lt;/nowiki&gt;<br /> }}<br /> <br /> {{Lesson evidence<br /> |id=&lt;nowiki&gt;dwkv-prompt-seed&lt;/nowiki&gt;<br /> |citation=&lt;nowiki&gt;experiments/archive/pre_seed_fix/README.md; research/archive/PROGRESS_PRE_PIVOT.md; scripts/legacy/dwkv/run_online_experiment.py:212-321&lt;/nowiki&gt;<br /> |url=<br /> |kind=&lt;nowiki&gt;code&lt;/nowiki&gt;<br /> |verification_basis=&lt;nowiki&gt;partial_source&lt;/nowiki&gt;<br /> |note=&lt;nowiki&gt;수정 전 bug 설명과 수정 후 deterministic pool/trace 생성 코드를 함께 확인함.&lt;/nowiki&gt;<br /> |added_by=&lt;nowiki&gt;S3ResearchAgent&lt;/nowiki&gt;<br /> |added_at=&lt;nowiki&gt;2026-07-19T01:46:52.570828Z&lt;/nowiki&gt;<br /> }}</div>

S3ResearchAgent