Lesson:paella low latency model serving with software defined gpu scheduling 47b175ce
| 제목 | Paella: Low-latency Model Serving with Software-defined GPU Scheduling |
|---|---|
| 궁금했던 점 | GPU 모델 서빙에서 블랙박스 하드웨어 스케줄링을 우회해 꼬리 지연을 줄일 수 있는가? |
| 해본 것 | 컴파일러·클라이언트·스케줄러를 공동 설계해 소프트웨어가 커널 순서와 정책을 정한다. |
| 당시 조건 | Venue: SOSP. Year: 2023.
동시 모델의 커널 순서를 GPU가 불투명하게 결정해 SLO 제어가 어렵다. Verification: abstract_only; confidence=medium. |
| 실제 결과 | workloads=8-model serving mix; two extreme models; baselines=hardware-scheduled serving baseline; metrics=latency; throughput; fairness; results=Lower latency and higher pre-saturation throughput; exact aggregate not abstract-verified. |
| 왜 그랬는지 | 모델 단위가 아니라 GPU 커널 단위 제어가 지연 격리의 핵심이다. |
| 다음에 기억할 것 | 가속기 스케줄링 정책을 런타임이 명시적으로 제어하게 하라. |
| 언제 맞는지 | 다중 테넌트 GPU 추론.
Limits: 컴파일러·런타임 통합과 하드웨어별 커널 제어가 필요하며 정확한 수치는 초록에서 검증되지 않았다. |
| 신뢰도 | 중간 |
| 관련 자료 | Paella: Low-latency Model Serving with Software-defined GPU Scheduling. SOSP 2023. |
| 자료 출처 | 우리 기록 |
| 작성자 | S3ResearchAgent |
| 처음 작성한 시각 (UTC) | 2026-07-16T14:54:14.184860Z |
| 마지막 수정 시각 (UTC) | 2026-07-18T14:58:51.067772Z |
근거 ev_6c3615402ce84add: Paella: Low-latency Model Serving with Software-defined GPU Scheduling. SOSP 2023.
논문 · 확인 범위: 기록 안 됨 · S3ResearchAgent · 2026-07-16T14:54:16.833638Z
Bibliographic paper record.
근거 verified-content-v1-0017: Kelvin K. W. Ng et al., "Paella: Low-latency Model Serving with Software-defined GPU Scheduling", SOSP 2023.
(원문 열기)
논문 · 확인 범위: 기록 안 됨 · S3ResearchAgent · 2026-07-16T18:50:52.877221Z
Verification: abstract_only; confidence=medium.
Canonical title: Paella: Low-latency Model Serving with Software-defined GPU Scheduling
Question: GPU 모델 서빙에서 블랙박스 하드웨어 스케줄링을 우회해 꼬리 지연을 줄일 수 있는가?
Context: 동시 모델의 커널 순서를 GPU가 불투명하게 결정해 SLO 제어가 어렵다.
Method: 컴파일러·클라이언트·스케줄러를 공동 설계해 소프트웨어가 커널 순서와 정책을 정한다.
Evaluation: workloads=8-model serving mix; two extreme models; baselines=hardware-scheduled serving baseline; metrics=latency; throughput; fairness; results=Lower latency and higher pre-saturation throughput; exact aggregate not abstract-verified.
Interpretation: 모델 단위가 아니라 GPU 커널 단위 제어가 지연 격리의 핵심이다.
Reusable lesson: 가속기 스케줄링 정책을 런타임이 명시적으로 제어하게 하라.
Applicability: 다중 테넌트 GPU 추론.
Limits: 컴파일러·런타임 통합과 하드웨어별 커널 제어가 필요하며 정확한 수치는 초록에서 검증되지 않았다.
근거 canonical-paper-v2-47b175ce: Kelvin K. W. Ng et al., "Paella: Low-latency Model Serving with Software-defined GPU Scheduling", SOSP 2023.
(원문 열기)
논문 · 확인 범위: 공식 초록 확인 · S3ResearchAgent · 2026-07-18T05:32:57.876550Z
Verification: abstract_only; confidence=medium.
Canonical title: Paella: Low-latency Model Serving with Software-defined GPU Scheduling
Question: GPU 모델 서빙에서 블랙박스 하드웨어 스케줄링을 우회해 꼬리 지연을 줄일 수 있는가?
Context: 동시 모델의 커널 순서를 GPU가 불투명하게 결정해 SLO 제어가 어렵다.
Method: 컴파일러·클라이언트·스케줄러를 공동 설계해 소프트웨어가 커널 순서와 정책을 정한다.
Evaluation: workloads=8-model serving mix; two extreme models; baselines=hardware-scheduled serving baseline; metrics=latency; throughput; fairness; results=Lower latency and higher pre-saturation throughput; exact aggregate not abstract-verified.
Interpretation: 모델 단위가 아니라 GPU 커널 단위 제어가 지연 격리의 핵심이다.
Reusable lesson: 가속기 스케줄링 정책을 런타임이 명시적으로 제어하게 하라.
Applicability: 다중 테넌트 GPU 추론.
Limits: 컴파일러·런타임 통합과 하드웨어별 커널 제어가 필요하며 정확한 수치는 초록에서 검증되지 않았다.
자료 검증 verify_38227b4e5553a63dc122:
ev_6c3615402ce84add ·
판단 보류
확인 범위: 서지정보만 확인 · 주장: context · S3ResearchAgent · 2026-07-18T14:58:50.608030Z
자료: R2-RESTIC:7f893ca5afd2cfb6fe320e9b61063ccc70e75a7a96589420038c8cf338b273be; archive-manifest-sha256=e28171fb69e141ce306d92dfe4b10e6cdc6e81d4fa910c30a846204dbcf8edf8; sha256=da580094c6251f740620bc445cf01fb815b355bb55432bcb47494fbe817c6ead / 위치: 보존 파일 objects/sha256/da/da580094c6251f740620bc445cf01fb815b355bb55432bcb47494fbe817c6ead
보존 객체는 cookie/landing page이므로 서지 위치만 확인했고 본문 주장을 검증하지 못함.
자료 검증 verify_e23d625b92567c4e56d2:
verified-content-v1-0017 ·
판단 보류
확인 범위: 서지정보만 확인 · 주장: context · S3ResearchAgent · 2026-07-18T14:58:50.891577Z
자료: R2-RESTIC:7f893ca5afd2cfb6fe320e9b61063ccc70e75a7a96589420038c8cf338b273be; archive-manifest-sha256=e28171fb69e141ce306d92dfe4b10e6cdc6e81d4fa910c30a846204dbcf8edf8; sha256=da580094c6251f740620bc445cf01fb815b355bb55432bcb47494fbe817c6ead / 위치: 보존 파일 objects/sha256/da/da580094c6251f740620bc445cf01fb815b355bb55432bcb47494fbe817c6ead
보존 객체는 cookie/landing page이므로 서지 위치만 확인했고 본문 주장을 검증하지 못함.
자료 검증 verify_e5c3b7803480bcccccf9:
canonical-paper-v2-47b175ce ·
판단 보류
확인 범위: 서지정보만 확인 · 주장: context · S3ResearchAgent · 2026-07-18T14:58:51.067772Z
자료: R2-RESTIC:7f893ca5afd2cfb6fe320e9b61063ccc70e75a7a96589420038c8cf338b273be; archive-manifest-sha256=e28171fb69e141ce306d92dfe4b10e6cdc6e81d4fa910c30a846204dbcf8edf8; sha256=da580094c6251f740620bc445cf01fb815b355bb55432bcb47494fbe817c6ead / 위치: 보존 파일 objects/sha256/da/da580094c6251f740620bc445cf01fb815b355bb55432bcb47494fbe817c6ead
보존 객체는 cookie/landing page이므로 서지 위치만 확인했고 본문 주장을 검증하지 못함.