Lesson:ssdstreamer specializing i o stack for large scale machine learning 6b597ff1
| 제목 | SSDStreamer: Specializing I/O Stack for Large-Scale Machine Learning |
|---|---|
| 궁금했던 점 | 반복적 ML 작업의 working set이 DRAM보다 클 때 저비용 SSD 기반 캐시가 in-memory caching에 근접한 성능을 낼 수 있는가? |
| 해본 것 | DRAM을 상위 캐시로 쓰지 않고 coarse-grained prefetch용 stream buffer로 사용하며, 큰 SSD cache는 무거운 커널 I/O 경로를 우회하는 전용 user-space I/O stack 위에서 구동한다. |
| 당시 조건 | Publication scope: international. Lab publication metadata:
1. Jonghyun Bae, Hakbeom Jang, Jeonghun Gong, Wenjing Jin, Shine Kim, Jaeyoung Jang, Tae Jun Ham, Jinkyu Jeong, Jae W. Lee, "SSDStreamer: Specializing I/O Stack for Large-Scale Machine Learning," IEEE Micro, Vol. 39, issue. 5, pp. 73-81, Sep/Oct, 2019. Verification level: official_abstract. Sources checked: https://doi.org/10.1109/MM.2019.2930497 https://yonsei.elsevierpure.com/en/publications/ssdstreamer-specializing-io-stack-for-large-scale-machine-learnin/ |
| 실제 결과 | Apache Spark의 최선 기존 caching policy보다 성능을 유의하게 개선하면서 DRAM 용량은 1/4만 사용했다고 공식 초록이 보고한다. 공개 초록에는 정확한 속도 향상 수치가 없다. |
| 왜 그랬는지 | 확인 가능한 근거는 공식 초록이며 workload별 수치, 실패 사례, 일반화 범위는 검증하지 못했다. 초록상 평가는 Apache Spark에 한정된다.
Technical interpretation: 순차·반복 접근을 예측할 수 있다면 작은 DRAM을 범용 cache가 아니라 SSD를 지속적으로 공급하는 stream buffer로 사용하는 편이 유리할 수 있다. |
| 다음에 기억할 것 | 순차·반복 접근을 예측할 수 있다면 작은 DRAM을 범용 cache가 아니라 SSD를 지속적으로 공급하는 stream buffer로 사용하는 편이 유리할 수 있다. |
| 언제 맞는지 | DRAM보다 큰 반복 ML working set과 Spark류 데이터 분석 프레임워크에 해당한다. |
| 신뢰도 | 중간 |
| 관련 자료 | Publication record 1: Jonghyun Bae, Hakbeom Jang, Jeonghun Gong, Wenjing Jin, Shine Kim, Jaeyoung Jang, Tae Jun Ham, Jinkyu Jeong, Jae W. Lee, "SSDStreamer: Specializing I/O Stack for Large-Scale Machine Learning," IEEE Micro, Vol. 39, issue. 5, pp. 73-81, Sep/Oct, 2019. |
| 자료 출처 | 우리 기록 |
| 작성자 | S3ResearchAgent |
| 처음 작성한 시각 (UTC) | 2026-07-16T15:04:43.944801Z |
| 마지막 수정 시각 (UTC) | 2026-07-18T15:00:32.184225Z |
근거 ev_5cd3a82b635b438d: Jonghyun Bae, Hakbeom Jang, Jeonghun Gong, Wenjing Jin, Shine Kim, Jaeyoung Jang, Tae Jun Ham, Jinkyu Jeong, Jae W. Lee, "SSDStreamer: Specializing I/O Stack for Large-Scale Machine Learning," IEEE Micro, Vol. 39, issue. 5, pp. 73-81, Sep/Oct, 2019.
논문 · 확인 범위: 기록 안 됨 · S3ResearchAgent · 2026-07-16T15:04:44.863996Z
Source: Yonsei University Computer Systems Laboratory publication list supplied by the user. Manifestation 1 of 1.
근거 canonical-paper-v2-6b597ff1: Jonghyun Bae, Hakbeom Jang, Jeonghun Gong, Wenjing Jin, Shine Kim, Jaeyoung Jang, Tae Jun Ham, Jinkyu Jeong, Jae W. Lee, "SSDStreamer: Specializing I/O Stack for Large-Scale Machine Learning" IEEE Micro, Vol. 39, issue. 5, pp. 73-81, Sep/Oct, 2019.
(원문 열기)
논문 · 확인 범위: 공식 초록 확인 · S3ResearchAgent · 2026-07-18T05:38:23.385531Z
정본 Lesson 보강 근거. 검토 원본: Lesson:technical_review_ssdstreamer_specializing_i_o_stack_for_large_scale_machine_learning_5d1f4a63. 확인 범위: official_abstract. 확인한 자료: https://doi.org/10.1109/MM.2019.2930497 ; https://yonsei.elsevierpure.com/en/publications/ssdstreamer-specializing-io-stack-for-large-scale-machine-learnin/. 질문, 방법, 평가, 해석, 재사용 교훈, 적용 범위와 한계를 같은 Lesson 본문에 통합했습니다.
자료 검증 verify_f59af4a9d3ec642ac971:
ev_5cd3a82b635b438d ·
판단 보류
확인 범위: 서지정보만 확인 · 주장: context · S3ResearchAgent · 2026-07-18T15:00:32.038218Z
자료: R2-RESTIC:7f893ca5afd2cfb6fe320e9b61063ccc70e75a7a96589420038c8cf338b273be; archive-manifest-sha256=e28171fb69e141ce306d92dfe4b10e6cdc6e81d4fa910c30a846204dbcf8edf8; sha256=689990da723c183d73e5102f6b5a7c8972497dfa210f09dd79bb20472fb857d5 / 위치: 보존 파일 manifest.json
수집 manifest의 실패 원장만 보존되어 원문 주장을 검증하지 못함.
자료 검증 verify_1e6bbfe449251c695eb7:
canonical-paper-v2-6b597ff1 ·
판단 보류
확인 범위: 서지정보만 확인 · 주장: context · S3ResearchAgent · 2026-07-18T15:00:32.184225Z
자료: R2-RESTIC:7f893ca5afd2cfb6fe320e9b61063ccc70e75a7a96589420038c8cf338b273be; archive-manifest-sha256=e28171fb69e141ce306d92dfe4b10e6cdc6e81d4fa910c30a846204dbcf8edf8; sha256=689990da723c183d73e5102f6b5a7c8972497dfa210f09dd79bb20472fb857d5 / 위치: 보존 파일 manifest.json
수집 manifest의 실패 원장만 보존되어 원문 주장을 검증하지 못함.