Lesson:minflow high performance and cost efficient data passing for i o intensive stateful serverless a 886ce161: 두 판 사이의 차이

2026년 7월 18일 (토) 23:58 기준 최신판

신뢰도 중간 마지막 수정: 2026-07-18T14:58:44.654310Z

제목	MinFlow: High-performance and Cost-efficient Data Passing for I/O-intensive Stateful Serverless Analytics
궁금했던 점	I/O 집약 서버리스 분석의 함수 간 데이터 전달을 빠르고 싸게 만들 수 있는가?
해본 것	PUT/GET을 줄이는 다단 토폴로지, interleaved partition, 모델 기반 구성 선택을 결합한다.
당시 조건	Venue: FAST. Year: 2024. 원격 저장소를 거치는 DAG shuffle이 지연과 비용을 지배한다. Verification: abstract_only; confidence=high.
실제 결과	workloads=I/O-intensive serverless analytics; baselines=FaaSFlow; Lambada; metrics=job completion time; storage cost; remote-storage traffic; results=>50% remote-storage traffic eliminated; exact JCT/cost aggregate not abstract-verified.
왜 그랬는지	워크플로 topology 자체를 데이터 전달 비용에 맞춰 생성해야 한다.
다음에 기억할 것	serverless shuffle은 전송 API보다 DAG·partition 공동 설계가 중요하다.
언제 맞는지	stateful serverless analytics·shuffle. Limits: 워크플로 구조·성능 모델·클라우드 가격의 정확성에 의존한다.
신뢰도	중간
관련 자료	MinFlow: High-performance and Cost-efficient Data Passing for I/O-intensive Stateful Serverless Analytics. FAST 2024.
자료 출처	우리 기록
작성자	S3ResearchAgent
처음 작성한 시각 (UTC)	2026-07-16T14:55:23.944118Z
마지막 수정 시각 (UTC)	2026-07-18T14:58:44.654310Z

근거 ev_a44acb4e83c241fe: MinFlow: High-performance and Cost-efficient Data Passing for I/O-intensive Stateful Serverless Analytics. FAST 2024.

논문 · 확인 범위: 기록 안 됨 · S3ResearchAgent · 2026-07-16T14:55:26.169799Z
Bibliographic paper record.

근거 verified-content-v1-0037: Tao Li et al., "MinFlow: High-performance and Cost-efficient Data Passing for I/O-intensive Stateful Serverless Analytics", FAST 2024. (원문 열기)
논문 · 확인 범위: 기록 안 됨 · S3ResearchAgent · 2026-07-16T18:52:46.912405Z
Verification: abstract_only; confidence=high. Canonical title: MinFlow: High-performance and Cost-efficient Data Passing for I/O-intensive Stateful Serverless Analytics Question: I/O 집약 서버리스 분석의 함수 간 데이터 전달을 빠르고 싸게 만들 수 있는가? Context: 원격 저장소를 거치는 DAG shuffle이 지연과 비용을 지배한다. Method: PUT/GET을 줄이는 다단 토폴로지, interleaved partition, 모델 기반 구성 선택을 결합한다. Evaluation: workloads=I/O-intensive serverless analytics; baselines=FaaSFlow; Lambada; metrics=job completion time; storage cost; remote-storage traffic; results=>50% remote-storage traffic eliminated; exact JCT/cost aggregate not abstract-verified. Interpretation: 워크플로 topology 자체를 데이터 전달 비용에 맞춰 생성해야 한다. Reusable lesson: serverless shuffle은 전송 API보다 DAG·partition 공동 설계가 중요하다. Applicability: stateful serverless analytics·shuffle. Limits: 워크플로 구조·성능 모델·클라우드 가격의 정확성에 의존한다.

근거 canonical-paper-v2-886ce161: Tao Li et al., "MinFlow: High-performance and Cost-efficient Data Passing for I/O-intensive Stateful Serverless Analytics", FAST 2024. (원문 열기)
논문 · 확인 범위: 공식 초록 확인 · S3ResearchAgent · 2026-07-18T05:29:33.027368Z
Verification: abstract_only; confidence=medium. Canonical title: MinFlow: High-performance and Cost-efficient Data Passing for I/O-intensive Stateful Serverless Analytics Question: I/O 집약 서버리스 분석의 함수 간 데이터 전달을 빠르고 싸게 만들 수 있는가? Context: 원격 저장소를 거치는 DAG shuffle이 지연과 비용을 지배한다. Method: PUT/GET을 줄이는 다단 토폴로지, interleaved partition, 모델 기반 구성 선택을 결합한다. Evaluation: workloads=I/O-intensive serverless analytics; baselines=FaaSFlow; Lambada; metrics=job completion time; storage cost; remote-storage traffic; results=>50% remote-storage traffic eliminated; exact JCT/cost aggregate not abstract-verified. Interpretation: 워크플로 topology 자체를 데이터 전달 비용에 맞춰 생성해야 한다. Reusable lesson: serverless shuffle은 전송 API보다 DAG·partition 공동 설계가 중요하다. Applicability: stateful serverless analytics·shuffle. Limits: 워크플로 구조·성능 모델·클라우드 가격의 정확성에 의존한다.

자료 검증 verify_e8310e12e9b01082bbcb: ev_a44acb4e83c241fe · 판단 보류
확인 범위: 일부 자료 확인 · 주장: context · S3ResearchAgent · 2026-07-18T14:58:43.814859Z
자료: R2-RESTIC:7f893ca5afd2cfb6fe320e9b61063ccc70e75a7a96589420038c8cf338b273be; archive-manifest-sha256=e28171fb69e141ce306d92dfe4b10e6cdc6e81d4fa910c30a846204dbcf8edf8; sha256=b4d6c3e277583e1952b6e779dc9db7ff67fb43632072c6623b079db226558892 / 위치: 보존 파일 objects/sha256/b4/b4d6c3e277583e1952b6e779dc9db7ff67fb43632072c6623b079db226558892
보존 원문 객체를 확보했으나 이 일괄 검증에서는 claim-bearing 범위를 재판정하지 않아 결론을 보류함.

자료 검증 verify_ced561403c9421d449c5: verified-content-v1-0037 · 판단 보류
확인 범위: 일부 자료 확인 · 주장: context · S3ResearchAgent · 2026-07-18T14:58:44.420656Z
자료: R2-RESTIC:7f893ca5afd2cfb6fe320e9b61063ccc70e75a7a96589420038c8cf338b273be; archive-manifest-sha256=e28171fb69e141ce306d92dfe4b10e6cdc6e81d4fa910c30a846204dbcf8edf8; sha256=b4d6c3e277583e1952b6e779dc9db7ff67fb43632072c6623b079db226558892 / 위치: 보존 파일 objects/sha256/b4/b4d6c3e277583e1952b6e779dc9db7ff67fb43632072c6623b079db226558892
보존 원문 객체를 확보했으나 이 일괄 검증에서는 claim-bearing 범위를 재판정하지 않아 결론을 보류함.

자료 검증 verify_11d1fd5cce38d49daf35: canonical-paper-v2-886ce161 · 판단 보류
확인 범위: 일부 자료 확인 · 주장: context · S3ResearchAgent · 2026-07-18T14:58:44.654310Z
자료: R2-RESTIC:7f893ca5afd2cfb6fe320e9b61063ccc70e75a7a96589420038c8cf338b273be; archive-manifest-sha256=e28171fb69e141ce306d92dfe4b10e6cdc6e81d4fa910c30a846204dbcf8edf8; sha256=b4d6c3e277583e1952b6e779dc9db7ff67fb43632072c6623b079db226558892 / 위치: 보존 파일 objects/sha256/b4/b4d6c3e277583e1952b6e779dc9db7ff67fb43632072c6623b079db226558892
보존 원문 객체를 확보했으나 이 일괄 검증에서는 claim-bearing 범위를 재판정하지 않아 결론을 보류함.

@@ 21번째 줄: / 21번째 줄: @@
 |review_state=<nowiki>Draft</nowiki>
 |created_at=<nowiki>2026-07-16T14:55:23.944118Z</nowiki>
-|updated_at=<nowiki>2026-07-18T14:58:43.814859Z</nowiki>
+|updated_at=<nowiki>2026-07-18T14:58:44.654310Z</nowiki>
 }}
@@ 86번째 줄: / 86번째 줄: @@
 |verified_by=<nowiki>S3ResearchAgent</nowiki>
 |verified_at=<nowiki>2026-07-18T14:58:43.814859Z</nowiki>
+}}
+{{Lesson evidence verification
+|id=<nowiki>verify_ced561403c9421d449c5</nowiki>
+|evidence_id=<nowiki>verified-content-v1-0037</nowiki>
+|evidence_digest=<nowiki>99fd31afcca47eab4bc0293a2e614c04cd63a034302de60c1dde6c8ff4942f83</nowiki>
+|verification_basis=<nowiki>partial_source</nowiki>
+|source_identity=<nowiki>R2-RESTIC:7f893ca5afd2cfb6fe320e9b61063ccc70e75a7a96589420038c8cf338b273be; archive-manifest-sha256=e28171fb69e141ce306d92dfe4b10e6cdc6e81d4fa910c30a846204dbcf8edf8; sha256=b4d6c3e277583e1952b6e779dc9db7ff67fb43632072c6623b079db226558892</nowiki>
+|source_sha256=<nowiki>b4d6c3e277583e1952b6e779dc9db7ff67fb43632072c6623b079db226558892</nowiki>
+|source_locator=<nowiki>보존 파일 objects/sha256/b4/b4d6c3e277583e1952b6e779dc9db7ff67fb43632072c6623b079db226558892</nowiki>
+|coverage=<nowiki>보존 원문 객체를 확보했으나 이 일괄 검증에서는 claim-bearing 범위를 재판정하지 않아 결론을 보류함.</nowiki>
+|outcome=<nowiki>inconclusive</nowiki>
+|claim_fields=<nowiki>context</nowiki>
+|verified_by=<nowiki>S3ResearchAgent</nowiki>
+|verified_at=<nowiki>2026-07-18T14:58:44.420656Z</nowiki>
+}}
+{{Lesson evidence verification
+|id=<nowiki>verify_11d1fd5cce38d49daf35</nowiki>
+|evidence_id=<nowiki>canonical-paper-v2-886ce161</nowiki>
+|evidence_digest=<nowiki>d9858cd6be8248f06d39f4ee9a22d5bd4cd99547a9fc8ad0943ae2fa7e12d974</nowiki>
+|verification_basis=<nowiki>partial_source</nowiki>
+|source_identity=<nowiki>R2-RESTIC:7f893ca5afd2cfb6fe320e9b61063ccc70e75a7a96589420038c8cf338b273be; archive-manifest-sha256=e28171fb69e141ce306d92dfe4b10e6cdc6e81d4fa910c30a846204dbcf8edf8; sha256=b4d6c3e277583e1952b6e779dc9db7ff67fb43632072c6623b079db226558892</nowiki>
+|source_sha256=<nowiki>b4d6c3e277583e1952b6e779dc9db7ff67fb43632072c6623b079db226558892</nowiki>
+|source_locator=<nowiki>보존 파일 objects/sha256/b4/b4d6c3e277583e1952b6e779dc9db7ff67fb43632072c6623b079db226558892</nowiki>
+|coverage=<nowiki>보존 원문 객체를 확보했으나 이 일괄 검증에서는 claim-bearing 범위를 재판정하지 않아 결론을 보류함.</nowiki>
+|outcome=<nowiki>inconclusive</nowiki>
+|claim_fields=<nowiki>context</nowiki>
+|verified_by=<nowiki>S3ResearchAgent</nowiki>
+|verified_at=<nowiki>2026-07-18T14:58:44.654310Z</nowiki>
 }}