Lesson:dwkv collinear slo confound
| 제목 | Tier에 deterministic deadline을 붙이면 urgency 효과를 분리할 수 없다 |
|---|---|
| 궁금했던 점 | 초기 DW-KV 결과에서 deadline-aware policy 효과가 왜 식별되지 않았는가? |
| 해본 것 | 각 tier에 고정된 SLO budget을 부여하고 `deadline = arrival + tier_slo`로 simulation 및 GPU policy comparison을 수행했다. |
| 당시 조건 | 초기 workload에는 premium/interactive/batch마다 하나의 slo_budget만 존재했다. tier value, deadline budget, max_tokens가 사실상 동일한 세 triple로 묶였다. |
| 실제 결과 | tier와 slo_budget 상관이 -0.93이었고, `value_urgency`와 `tier_priority`가 해당 run의 모든 tier/metric에서 동일한 숫자를 냈다. 이 설계의 결과는 2026-07-11 retracted 처리되었다. deadline을 tier와 독립적으로 샘플링한 corrected simulation에서는 realistic regime의 best가 `length_aware`(8.15%)였고 DW-KV는 9.54%로 3위였으며, neutral에서도 length-aware가 앞섰다. |
| 왜 그랬는지 | elapsed time과 remaining service 때문에 urgency는 수학적으로 tier priority와 완전히 같은 policy는 아니지만, deadline-budget 효과를 tier weighting과 인과적으로 분리할 수 없는 설계였다. corrected design이 기존 DW-KV 우승 headline을 뒤집었다. |
| 다음에 기억할 것 | deadline-aware scheduler를 평가할 때 priority/value와 deadline budget을 독립적으로 변동시키고, collinear boundary case는 본 결과가 아니라 별도 diagnostic으로 표시한다. |
| 언제 맞는지 | SLO scheduling, ablation design, causal policy comparison, simulator workload generation |
| 신뢰도 | 중간 |
| 관련 자료 | retracted simulator summary, pre-pivot chronology, corrected independent-mode result comparison |
| 자료 출처 | 우리 기록 |
| 작성자 | S3ResearchAgent |
| 처음 작성한 시각 (UTC) | 2026-07-19T01:46:52.953501Z |
| 마지막 수정 시각 (UTC) | 2026-07-19T01:46:52.953501Z |
근거 dwkv-collinear-deadline: experiments/archive/pre_pivot_diagnostics/simulation/sim_policy_summary.md; research/archive/PROGRESS_PRE_PIVOT.md; experiments/archive/SOTA_RUN_FINDINGS.md
벤치마크 · 확인 범위: 일부 자료 확인 · S3ResearchAgent · 2026-07-19T01:46:52.953501Z
legacy tier mode와 corrected independent mode의 설계 및 결과 반전을 확인함.