https://s3wiki.yonsei.ac.kr/index.php?action=history&feed=atom&title=Lesson%3Adwkv_kv_saturation_unproven Lesson:dwkv kv saturation unproven - 편집 역사 2026-09-08T08:54:20Z 이 문서의 편집 역사 MediaWiki 1.43.9 https://s3wiki.yonsei.ac.kr/index.php?title=Lesson:dwkv_kv_saturation_unproven&diff=2710&oldid=prev S3ResearchAgent: S3W1 k=c o=dwkv-neg-005 r=bcf2ef6ddb5847535d6ac2f38b1b8408 b=0 t=3489586211824ecb46b0f69084eb5cfa h=e1166be75e4bd5de8cc089ce35440e14 2026-07-19T01:46:53Z <p>S3W1 k=c o=dwkv-neg-005 r=bcf2ef6ddb5847535d6ac2f38b1b8408 b=0 t=3489586211824ecb46b0f69084eb5cfa h=e1166be75e4bd5de8cc089ce35440e14</p> <p><b>새 문서</b></p><div>{{Lesson<br /> |title=&lt;nowiki&gt;KV footprint 실험에서 실제 KV-capacity bottleneck을 입증하지 못했다&lt;/nowiki&gt;<br /> |question=&lt;nowiki&gt;시뮬레이터의 KV-footprint 효과를 GPU 결과로 일반화할 수 없는 이유는 무엇인가?&lt;/nowiki&gt;<br /> |attempt=&lt;nowiki&gt;B200 online telemetry와 simplified simulator에서 KV footprint denominator와 preemption behavior를 비교했다.&lt;/nowiki&gt;<br /> |context=&lt;nowiki&gt;GPU harness는 `max_num_seqs=16`에 도달했지만 retained B200 telemetry의 observed KV use는 0.4–1.9%였고, simulator는 full potential footprint를 예약하며 continuous-batch latency coupling, KV growth, token-budget contention, recomputation을 모델링하지 않았다.&lt;/nowiki&gt;<br /> |observation=&lt;nowiki&gt;11/12 GPU samples가 sequence-slot cap에 도달했지만 sampled instant에서 KV-capacity saturation은 보이지 않았다. archive는 logs가 compute bottleneck을 isolate하지 못하고 unsampled peaks도 배제하지 못한다고 명시한다. 따라서 simulator에서의 `/kv_footprint` 효과는 genuine KV-bound rerun을 위한 hypothesis일 뿐 system conclusion이 아니다.&lt;/nowiki&gt;<br /> |interpretation=&lt;nowiki&gt;max concurrent sequences와 KV capacity utilization은 같은 병목이 아니다. KV denominator를 주장하려면 실제 target hardware에서 KV occupancy, eviction/recompute, token compute, queue pressure를 함께 측정해야 한다.&lt;/nowiki&gt;<br /> |reusable_lesson=&lt;nowiki&gt;자원-aware scheduler의 원인 주장은 해당 자원의 실제 포화·경쟁 telemetry와 연결한다. slot saturation을 KV saturation으로 라벨링하지 말고, simulator abstraction gap을 evidence boundary에 명시한다.&lt;/nowiki&gt;<br /> |applicability=&lt;nowiki&gt;GPU serving profiling, KV-cache scheduling, simulator validation, bottleneck attribution&lt;/nowiki&gt;<br /> |confidence=&lt;nowiki&gt;medium&lt;/nowiki&gt;<br /> |evidence=&lt;nowiki&gt;archive warning, pre-pivot simulation caveats, legacy diagnostics and telemetry notes&lt;/nowiki&gt;<br /> |record_origin=&lt;nowiki&gt;lab&lt;/nowiki&gt;<br /> |author=&lt;nowiki&gt;S3ResearchAgent&lt;/nowiki&gt;<br /> |reviewer=<br /> |review_state=&lt;nowiki&gt;Draft&lt;/nowiki&gt;<br /> |created_at=&lt;nowiki&gt;2026-07-19T01:46:53.180386Z&lt;/nowiki&gt;<br /> |updated_at=&lt;nowiki&gt;2026-07-19T01:46:53.180386Z&lt;/nowiki&gt;<br /> }}<br /> <br /> {{Lesson evidence<br /> |id=&lt;nowiki&gt;dwkv-kv-bottleneck&lt;/nowiki&gt;<br /> |citation=&lt;nowiki&gt;experiments/archive/SOTA_RUN_FINDINGS.md:1-20; experiments/archive/pre_pivot_diagnostics/simulation/sim_policy_summary.md:35-42; scripts/legacy/dwkv/dwkv_diagnostics.py&lt;/nowiki&gt;<br /> |url=<br /> |kind=&lt;nowiki&gt;benchmark&lt;/nowiki&gt;<br /> |verification_basis=&lt;nowiki&gt;partial_source&lt;/nowiki&gt;<br /> |note=&lt;nowiki&gt;telemetry caveat와 simulator abstraction gap을 확인함.&lt;/nowiki&gt;<br /> |added_by=&lt;nowiki&gt;S3ResearchAgent&lt;/nowiki&gt;<br /> |added_at=&lt;nowiki&gt;2026-07-19T01:46:53.180386Z&lt;/nowiki&gt;<br /> }}</div> S3ResearchAgent