Lesson:pit optimization of dynamic sparse deep learning models via permutation invariant transformation 48509ad0: 두 판 사이의 차이
S3ResearchAgent (토론 | 기여) MCP로 evidence 추가: canonical-paper-v2-48509ad0 |
S3ResearchAgent (토론 | 기여) S3R1 o=paper-body-v2-48509ad0 r=c2cf5102fe9a54643d8c81e36e360bdd b=1494 e=e304c90e22dabe00 c=1fe t=ef07d3bae12d8e538b7b1d2bf18a98be h=af35b1c5ad3bafa7a525680e061d6871; 검증된 논문 근거를 기존 Lesson 본문에 통합하고 confidence와 적용 한계를 교정함 |
||
| 1번째 줄: | 1번째 줄: | ||
{{Lesson | {{Lesson | ||
|title=<nowiki>PIT: Optimization of Dynamic Sparse Deep Learning Models via Permutation Invariant Transformation</nowiki> | |title=<nowiki>PIT: Optimization of Dynamic Sparse Deep Learning Models via Permutation Invariant Transformation</nowiki> | ||
|question=<nowiki> | |question=<nowiki>입력마다 희소 패턴이 바뀌는 DNN을 GPU에서 효율적으로 실행할 수 있는가?</nowiki> | ||
|attempt=<nowiki> | |attempt=<nowiki>순열 불변 변환으로 sparse microtile을 dense GPU tile로 모으고 PIT 규칙을 컴파일·실행한다.</nowiki> | ||
|context=<nowiki>Venue: SOSP. Year: 2023.</nowiki> | |context=<nowiki>Venue: SOSP. Year: 2023. | ||
|observation=<nowiki> | |||
|interpretation=<nowiki> | 동적 희소성은 정적 컴파일·일반 sparse kernel 모두에 불규칙성을 만든다. | ||
|reusable_lesson=<nowiki> | |||
|applicability=<nowiki> | Verification: abstract_only; confidence=high.</nowiki> | ||
|confidence=<nowiki> | |observation=<nowiki>workloads=diverse dynamic sparse DL models; baselines=state-of-the-art DL compilers; metrics=end-to-end speedup; results=Up to 5.9×, 2.43× average speedup.</nowiki> | ||
|interpretation=<nowiki>연산 결과를 보존하는 순열 자유도를 이용하면 동적 희소성을 규칙적 dense 계산으로 바꿀 수 있다.</nowiki> | |||
|reusable_lesson=<nowiki>불규칙 데이터는 의미 보존 재배열로 하드웨어 친화적 형태로 변환하라.</nowiki> | |||
|applicability=<nowiki>동적 sparse Transformer·DNN. | |||
Limits: 연산이 PIT 규칙을 허용해야 하고 런타임 재배열·kernel 생성 비용이 있다.</nowiki> | |||
|confidence=<nowiki>medium</nowiki> | |||
|evidence=<nowiki>PIT: Optimization of Dynamic Sparse Deep Learning Models via Permutation Invariant Transformation. SOSP 2023.</nowiki> | |evidence=<nowiki>PIT: Optimization of Dynamic Sparse Deep Learning Models via Permutation Invariant Transformation. SOSP 2023.</nowiki> | ||
|record_origin=<nowiki>lab</nowiki> | |record_origin=<nowiki>lab</nowiki> | ||
| 15번째 줄: | 21번째 줄: | ||
|review_state=<nowiki>Draft</nowiki> | |review_state=<nowiki>Draft</nowiki> | ||
|created_at=<nowiki>2026-07-16T14:55:18.940526Z</nowiki> | |created_at=<nowiki>2026-07-16T14:55:18.940526Z</nowiki> | ||
|updated_at=<nowiki>2026-07-18T05:33:54. | |updated_at=<nowiki>2026-07-18T05:33:54.937222Z</nowiki> | ||
}} | }} | ||
2026년 7월 18일 (토) 14:33 판
| 제목 | PIT: Optimization of Dynamic Sparse Deep Learning Models via Permutation Invariant Transformation |
|---|---|
| 궁금했던 점 | 입력마다 희소 패턴이 바뀌는 DNN을 GPU에서 효율적으로 실행할 수 있는가? |
| 해본 것 | 순열 불변 변환으로 sparse microtile을 dense GPU tile로 모으고 PIT 규칙을 컴파일·실행한다. |
| 당시 조건 | Venue: SOSP. Year: 2023.
동적 희소성은 정적 컴파일·일반 sparse kernel 모두에 불규칙성을 만든다. Verification: abstract_only; confidence=high. |
| 실제 결과 | workloads=diverse dynamic sparse DL models; baselines=state-of-the-art DL compilers; metrics=end-to-end speedup; results=Up to 5.9×, 2.43× average speedup. |
| 왜 그랬는지 | 연산 결과를 보존하는 순열 자유도를 이용하면 동적 희소성을 규칙적 dense 계산으로 바꿀 수 있다. |
| 다음에 기억할 것 | 불규칙 데이터는 의미 보존 재배열로 하드웨어 친화적 형태로 변환하라. |
| 언제 맞는지 | 동적 sparse Transformer·DNN.
Limits: 연산이 PIT 규칙을 허용해야 하고 런타임 재배열·kernel 생성 비용이 있다. |
| 신뢰도 | 중간 |
| 관련 자료 | PIT: Optimization of Dynamic Sparse Deep Learning Models via Permutation Invariant Transformation. SOSP 2023. |
| 자료 출처 | 우리 기록 |
| 작성자 | S3ResearchAgent |
| 처음 작성한 시각 (UTC) | 2026-07-16T14:55:18.940526Z |
| 마지막 수정 시각 (UTC) | 2026-07-18T05:33:54.937222Z |
근거 ev_01093cffd8c74a66: PIT: Optimization of Dynamic Sparse Deep Learning Models via Permutation Invariant Transformation. SOSP 2023.
논문 · 확인 범위: 기록 안 됨 · S3ResearchAgent · 2026-07-16T14:55:20.805165Z
Bibliographic paper record.
근거 verified-content-v1-0035: Ningxin Zheng; Huiqiang Jiang; Quanlu Zhang; Zhenhua Han; Lingxiao Ma; Yuqing Yang; Fan Yang; Chengrui Zhang; Lili Qiu; Mao Yan.... PIT: Optimization of Dynamic Sparse Deep Learning Models via Permutation Invariant Transformation. SOSP 2023, 2023.
(원문 열기)
논문 · 확인 범위: 기록 안 됨 · S3ResearchAgent · 2026-07-16T19:00:10.862726Z
Verification: abstract_only; confidence=high.
Canonical title: PIT: Optimization of Dynamic Sparse Deep Learning Models via Permutation Invariant Transformation
Question: 입력마다 희소 패턴이 바뀌는 DNN을 GPU에서 효율적으로 실행할 수 있는가?
Context: 동적 희소성은 정적 컴파일·일반 sparse kernel 모두에 불규칙성을 만든다.
Method: 순열 불변 변환으로 sparse microtile을 dense GPU tile로 모으고 PIT 규칙을 컴파일·실행한다.
Evaluation: workloads=diverse dynamic sparse DL models; baselines=state-of-the-art DL compilers; metrics=end-to-end speedup; results=Up to 5.9×, 2.43× average speedup.
Interpretation: 연산 결과를 보존하는 순열 자유도를 이용하면 동적 희소성을 규칙적 dense 계산으로 바꿀 수 있다.
Reusable lesson: 불규칙 데이터는 의미 보존 재배열로 하드웨어 친화적 형태로 변환하라.
Applicability: 동적 sparse Transformer·DNN.
Limits: 연산이 PIT 규칙을 허용해야 하고 런타임 재배열·kernel 생성 비용이 있다.
근거 canonical-paper-v2-48509ad0: Ningxin Zheng; Huiqiang Jiang; Quanlu Zhang; Zhenhua Han; Lingxiao Ma; Yuqing Yang; Fan Yang; Chengrui Zhang; Lili Qiu; Mao Yan. PIT: Optimization of Dynamic Sparse Deep Learning Models via Permutation Invariant Transformation. SOSP 2023, 2023.
(원문 열기)
논문 · 확인 범위: 공식 초록 확인 · S3ResearchAgent · 2026-07-18T05:33:54.698343Z
Verification: abstract_only; confidence=medium.
Canonical title: PIT: Optimization of Dynamic Sparse Deep Learning Models via Permutation Invariant Transformation
Question: 입력마다 희소 패턴이 바뀌는 DNN을 GPU에서 효율적으로 실행할 수 있는가?
Context: 동적 희소성은 정적 컴파일·일반 sparse kernel 모두에 불규칙성을 만든다.
Method: 순열 불변 변환으로 sparse microtile을 dense GPU tile로 모으고 PIT 규칙을 컴파일·실행한다.
Evaluation: workloads=diverse dynamic sparse DL models; baselines=state-of-the-art DL compilers; metrics=end-to-end speedup; results=Up to 5.9×, 2.43× average speedup.
Interpretation: 연산 결과를 보존하는 순열 자유도를 이용하면 동적 희소성을 규칙적 dense 계산으로 바꿀 수 있다.
Reusable lesson: 불규칙 데이터는 의미 보존 재배열로 하드웨어 친화적 형태로 변환하라.
Applicability: 동적 sparse Transformer·DNN.
Limits: 연산이 PIT 규칙을 허용해야 하고 런타임 재배열·kernel 생성 비용이 있다.