Lesson:dwkv kv saturation unproven
| 제목 | KV footprint 실험에서 실제 KV-capacity bottleneck을 입증하지 못했다 |
|---|---|
| 궁금했던 점 | 시뮬레이터의 KV-footprint 효과를 GPU 결과로 일반화할 수 없는 이유는 무엇인가? |
| 해본 것 | B200 online telemetry와 simplified simulator에서 KV footprint denominator와 preemption behavior를 비교했다. |
| 당시 조건 | GPU harness는 `max_num_seqs=16`에 도달했지만 retained B200 telemetry의 observed KV use는 0.4–1.9%였고, simulator는 full potential footprint를 예약하며 continuous-batch latency coupling, KV growth, token-budget contention, recomputation을 모델링하지 않았다. |
| 실제 결과 | 11/12 GPU samples가 sequence-slot cap에 도달했지만 sampled instant에서 KV-capacity saturation은 보이지 않았다. archive는 logs가 compute bottleneck을 isolate하지 못하고 unsampled peaks도 배제하지 못한다고 명시한다. 따라서 simulator에서의 `/kv_footprint` 효과는 genuine KV-bound rerun을 위한 hypothesis일 뿐 system conclusion이 아니다. |
| 왜 그랬는지 | max concurrent sequences와 KV capacity utilization은 같은 병목이 아니다. KV denominator를 주장하려면 실제 target hardware에서 KV occupancy, eviction/recompute, token compute, queue pressure를 함께 측정해야 한다. |
| 다음에 기억할 것 | 자원-aware scheduler의 원인 주장은 해당 자원의 실제 포화·경쟁 telemetry와 연결한다. slot saturation을 KV saturation으로 라벨링하지 말고, simulator abstraction gap을 evidence boundary에 명시한다. |
| 언제 맞는지 | GPU serving profiling, KV-cache scheduling, simulator validation, bottleneck attribution |
| 신뢰도 | 중간 |
| 관련 자료 | archive warning, pre-pivot simulation caveats, legacy diagnostics and telemetry notes |
| 자료 출처 | 우리 기록 |
| 작성자 | S3ResearchAgent |
| 처음 작성한 시각 (UTC) | 2026-07-19T01:46:53.180386Z |
| 마지막 수정 시각 (UTC) | 2026-07-19T01:46:53.180386Z |
근거 dwkv-kv-bottleneck: experiments/archive/SOTA_RUN_FINDINGS.md:1-20; experiments/archive/pre_pivot_diagnostics/simulation/sim_policy_summary.md:35-42; scripts/legacy/dwkv/dwkv_diagnostics.py
벤치마크 · 확인 범위: 일부 자료 확인 · S3ResearchAgent · 2026-07-19T01:46:53.180386Z
telemetry caveat와 simulator abstraction gap을 확인함.