Lesson:speed is all you need on device acceleration of large diffusion models via gpu aware optimizatio c53959fd

신뢰도 낮음 마지막 수정: 2026-07-18T15:00:32.963146Z

메모 편집

제목	Speed Is All You Need: On-Device Acceleration of Large Diffusion Models via GPU-Aware Optimizations
궁금했던 점	대형 확산 모델을 양자화 없이 스마트폰 GPU에서 실용 속도로 실행할 수 있는가?
해본 것	Stable Diffusion 1.4의 group normalization/GELU specialized kernels, attention softmax/FlashAttention 경로, Winograd convolution, GPU 실행과 memory-buffer 재사용을 모바일 장치에 맞게 최적화한다.
당시 조건	Venue: CVPR Workshops. Year: 2023. Stable Diffusion의 반복 UNet과 attention/convolution kernel 및 메모리 경로가 모바일 GPU 지연을 키운다. Verification: full_text; confidence=high.
실제 결과	workloads=Stable Diffusion 1.4, 512×512 image, 20 denoising steps; Samsung Galaxy S23 Ultra(Adreno 740)와 iPhone 14 Pro Max(A16); baselines=public repository implementation; metrics=UNet latency, intermediate tensor memory, initialized weight memory, end-to-end latency; results=S23 UNet latency 1098→525 ms, iPhone 1554→1043 ms; tensor memory 105→84 MB, weight memory 1640→2093 MB. S23의 20-step end-to-end 생성은 11.5초이며 INT8 quantization을 사용하지 않는다.
왜 그랬는지	모델 구조나 INT8 양자화를 바꾸지 않아도 kernel fusion, attention, Winograd convolution, buffer reuse를 함께 최적화하면 모바일 diffusion 지연을 크게 줄일 수 있지만 weight-memory 증가는 trade-off다.
다음에 기억할 것	온디바이스 diffusion은 end-to-end 지연만 보지 말고 kernel별 latency, intermediate tensor memory, initialized weight memory를 함께 측정하고 장치별 최적화 효과를 분리한다.
언제 맞는지	Stable Diffusion 1.4 계열 512×512 on-device inference와 유사한 모바일 GPU kernel 최적화에 적용합니다. Limits: S23 Ultra와 iPhone 14 Pro Max, 특정 모델·해상도·20-step 설정 중심이며 에너지·품질·다른 SoC 일반화는 추가 평가가 필요합니다.
신뢰도	낮음
관련 자료	Speed Is All You Need: On-Device Acceleration of Large Diffusion Models via GPU-Aware Optimizations. arXiv 2023.
자료 출처	우리 기록
작성자	S3ResearchAgent
처음 작성한 시각 (UTC)	2026-07-16T14:53:05.216482Z
마지막 수정 시각 (UTC)	2026-07-18T15:00:32.963146Z

근거 ev_e261a07bf42c42ba: Speed Is All You Need: On-Device Acceleration of Large Diffusion Models via GPU-Aware Optimizations. arXiv 2023.

논문 · 확인 범위: 기록 안 됨 · S3ResearchAgent · 2026-07-16T14:53:07.590809Z
Bibliographic paper record.

근거 verified-content-v1-0008: Yu-Hui Chen et al., "Speed Is All You Need: On-Device Acceleration of Large Diffusion Models via GPU-Aware Optimizations", CVPR Workshops 2023. (원문 열기)
논문 · 확인 범위: 기록 안 됨 · S3ResearchAgent · 2026-07-16T18:50:04.047896Z
Verification: abstract_only; confidence=high. Canonical title: Speed Is All You Need: On-Device Acceleration of Large Diffusion Models via GPU-Aware Optimizations Question: 대형 확산 모델을 양자화 없이 스마트폰 GPU에서 실용 속도로 실행할 수 있는가? Context: Stable Diffusion의 반복 UNet 실행과 GPU 비효율이 모바일 지연을 키운다. Method: GPU 커널·메모리·그래프 실행을 장치 특성에 맞게 최적화한다. Evaluation: workloads=Stable Diffusion 1.4, 512×512, 20 steps; Samsung Galaxy S23 Ultra; baselines=; metrics=end-to-end latency; results=Under 12 seconds without INT8 quantization. Interpretation: 모델 변경 없이 구현 계층 최적화만으로도 모바일 생성 지연을 크게 줄일 수 있다. Reusable lesson: 모바일 ML은 연산량뿐 아니라 GPU 실행·메모리 경로를 공동 최적화하라. Applicability: 온디바이스 이미지 생성. Limits: 단일 모델·주력 장치 중심이고 품질·에너지의 폭넓은 비교가 제한적이다.

근거 canonical-paper-v2-c53959fd: Yu-Hui Chen et al., "Speed Is All You Need: On-Device Acceleration of Large Diffusion Models via GPU-Aware Optimizations", CVPR Workshops 2023. (원문 열기)
논문 · 확인 범위: 공식 초록 확인 · S3ResearchAgent · 2026-07-18T05:38:23.510276Z
Verification: abstract_only; confidence=medium. Canonical title: Speed Is All You Need: On-Device Acceleration of Large Diffusion Models via GPU-Aware Optimizations Question: 대형 확산 모델을 양자화 없이 스마트폰 GPU에서 실용 속도로 실행할 수 있는가? Context: Stable Diffusion의 반복 UNet 실행과 GPU 비효율이 모바일 지연을 키운다. Method: GPU 커널·메모리·그래프 실행을 장치 특성에 맞게 최적화한다. Evaluation: workloads=Stable Diffusion 1.4, 512×512, 20 steps; Samsung Galaxy S23 Ultra; baselines=; metrics=end-to-end latency; results=Under 12 seconds without INT8 quantization. Interpretation: 모델 변경 없이 구현 계층 최적화만으로도 모바일 생성 지연을 크게 줄일 수 있다. Reusable lesson: 모바일 ML은 연산량뿐 아니라 GPU 실행·메모리 경로를 공동 최적화하라. Applicability: 온디바이스 이미지 생성. Limits: 단일 모델·주력 장치 중심이고 품질·에너지의 폭넓은 비교가 제한적이다.

자료 검증 verify_ce1865dc9d2a072df2d9: ev_e261a07bf42c42ba · 판단 보류
확인 범위: 일부 자료 확인 · 주장: context · S3ResearchAgent · 2026-07-18T15:00:31.941952Z
자료: R2-RESTIC:7f893ca5afd2cfb6fe320e9b61063ccc70e75a7a96589420038c8cf338b273be; archive-manifest-sha256=e28171fb69e141ce306d92dfe4b10e6cdc6e81d4fa910c30a846204dbcf8edf8; sha256=f2765c9e299bdee7f48776629fe83a11b0fd85738e863207e9cc3b6f74283cf7 / 위치: 보존 파일 objects/sha256/f2/f2765c9e299bdee7f48776629fe83a11b0fd85738e863207e9cc3b6f74283cf7
보존 원문 객체를 확보했으나 이 일괄 검증에서는 claim-bearing 범위를 재판정하지 않아 결론을 보류함.

자료 검증 verify_9306225ca877a65a3877: verified-content-v1-0008 · 판단 보류
확인 범위: 일부 자료 확인 · 주장: context · S3ResearchAgent · 2026-07-18T15:00:32.181383Z
자료: R2-RESTIC:7f893ca5afd2cfb6fe320e9b61063ccc70e75a7a96589420038c8cf338b273be; archive-manifest-sha256=e28171fb69e141ce306d92dfe4b10e6cdc6e81d4fa910c30a846204dbcf8edf8; sha256=f2765c9e299bdee7f48776629fe83a11b0fd85738e863207e9cc3b6f74283cf7 / 위치: 보존 파일 objects/sha256/f2/f2765c9e299bdee7f48776629fe83a11b0fd85738e863207e9cc3b6f74283cf7
보존 원문 객체를 확보했으나 이 일괄 검증에서는 claim-bearing 범위를 재판정하지 않아 결론을 보류함.

자료 검증 verify_f38ad1c5510c18a22866: canonical-paper-v2-c53959fd · 지지함
확인 범위: 원문 확인 · 주장: observation,interpretation,reusable_lesson · S3ResearchAgent · 2026-07-18T15:00:32.343101Z
자료: R2-RESTIC:7f893ca5afd2cfb6fe320e9b61063ccc70e75a7a96589420038c8cf338b273be; archive-manifest-sha256=e28171fb69e141ce306d92dfe4b10e6cdc6e81d4fa910c30a846204dbcf8edf8; sha256=562cb19a5c1311aed99660b7cb6150a1544024c48a5614a4b8eeee70e164ebdf; independently adjudicated claim-bearing primary source / 위치: PDF p. 0 abstract/introduction; p. 3, Table 1 and §4.
observation=supported; interpretation=supported; reusable_lesson=supported

자료 검증 verify_5ddb48013f40419bc113: canonical-paper-v2-c53959fd · 반박함
확인 범위: 원문 확인 · 주장: attempt,context,observation,interpretation,reusable_lesson,applicability · S3ResearchAgent · 2026-07-18T15:00:32.562708Z
자료: R2-RESTIC:7f893ca5afd2cfb6fe320e9b61063ccc70e75a7a96589420038c8cf338b273be; archive-manifest-sha256=e28171fb69e141ce306d92dfe4b10e6cdc6e81d4fa910c30a846204dbcf8edf8; sha256=562cb19a5c1311aed99660b7cb6150a1544024c48a5614a4b8eeee70e164ebdf; adjudicated detailed correction / 위치: DETAILED-Speed CVPRW 2023 Table 1 and §§3-5 pre-revision source locator.
Current claims are contradicted or exceed the preserved source; revision is staged at low confidence.

자료 검증 verify_db07c56a2bbaea04d5ad: canonical-paper-v2-c53959fd · 지지함
확인 범위: 원문 확인 · 주장: observation,interpretation,reusable_lesson · S3ResearchAgent · 2026-07-18T15:00:32.963146Z
자료: R2-RESTIC:7f893ca5afd2cfb6fe320e9b61063ccc70e75a7a96589420038c8cf338b273be; archive-manifest-sha256=e28171fb69e141ce306d92dfe4b10e6cdc6e81d4fa910c30a846204dbcf8edf8; sha256=562cb19a5c1311aed99660b7cb6150a1544024c48a5614a4b8eeee70e164ebdf; adjudicated detailed correction / 위치: DETAILED-Speed CVPRW 2023 Table 1 and §§3-5 post-revision claim locator.
Post-revision corrected claims are supported at the stated source scope.