Lesson:dwkv metric mismatch
| 제목 | Objective와 논문의 primary metric이 다르면 DW-KV의 승패 해석이 뒤집힌다 |
|---|---|
| 궁금했던 점 | DW-KV가 aggregate objective에서는 이기면서 primary premium SLO miss에서는 진 이유는 무엇인가? |
| 해본 것 | corrected independent deadline design에서 8개 policy를 비교하고 value-weighted tardiness와 premium E2E SLO miss를 함께 집계했다. |
| 당시 조건 | DW-KV score는 `tier_value × urgency / kv_footprint`로 value per KV byte를 최적화하도록 설계되었지만, 기존 SPEC의 primary target은 premium SLO miss 0%였다. |
| 실제 결과 | 단일 corrected seed에서 DW-KV-order-only는 value-weighted tardiness 2398 ms로 최저였지만 premium miss 36.4%였고, tier-priority와 length-aware는 premium miss 12.1%였다. DW-KV premium E2E p90은 약 33.1 s, tier-priority는 약 6.0 s였다. 같은 run에서 KV denominator 기여는 value-urgency 2492→DW-KV 2398 ms, 3.8%였으며 single-seed/unverified였다. |
| 왜 그랬는지 | DW-KV가 objective-matched metric에서 이긴 것은 original primary metric의 독립적 확인이 아니다. metric을 결과에 맞춰 바꾸면 negative result를 숨기게 된다. |
| 다음에 기억할 것 | 실험 전에 primary metric과 optimization objective의 관계를 고정하고, objective-aligned metric과 independent guardrail을 모두 보고한다. 하나의 metric에서의 승리를 다른 metric의 개선으로 번역하지 않는다. |
| 언제 맞는지 | scheduler objective design, multi-objective evaluation, SLO guardrails, paper claim review |
| 신뢰도 | 중간 |
| 관련 자료 | corrected-design policy table and metric caveat in archived SOTA findings |
| 자료 출처 | 우리 기록 |
| 작성자 | S3ResearchAgent |
| 처음 작성한 시각 (UTC) | 2026-07-19T01:46:52.667825Z |
| 마지막 수정 시각 (UTC) | 2026-07-19T01:46:52.667825Z |
근거 dwkv-metric-mismatch: experiments/archive/SOTA_RUN_FINDINGS.md:230-359; research/archive/PROGRESS_PRE_PIVOT.md
벤치마크 · 확인 범위: 일부 자료 확인 · S3ResearchAgent · 2026-07-19T01:46:52.667825Z
aggregate objective와 premium SLO miss의 상반된 결과 및 KV term의 single-seed caveat를 확인함.