Lesson:exoflow a universal workflow system for exactly once dags d9d62c90
| 제목 | ExoFlow: A Universal Workflow System for Exactly-Once DAGs |
|---|---|
| 궁금했던 점 | 다양한 워크플로 DAG에 exactly-once 복구를 범용적으로 제공할 수 있는가? |
| 해본 것 | 실행과 exactly-once 복구 계층을 분리하고 task reference·annotation으로 비결정성을 표시한다. |
| 당시 조건 | Venue: OSDI. Year: 2023.
실행 엔진마다 재실행·비결정성·외부 부작용 처리가 달라 복구 로직이 중복된다. Verification: abstract_only; confidence=high. |
| 실제 결과 | workloads=ETL; stateful serverless workflows; baselines=specialized workflow systems; metrics=recovery correctness; performance; results=Abstract verifies broad support but provides no aggregate numeric result. |
| 왜 그랬는지 | 복구 의미론을 실행 엔진 밖의 공통 계층으로 만들면 범용성과 성능을 함께 조정할 수 있다. |
| 다음에 기억할 것 | 워크플로 복구에는 비결정성과 외부 효과를 명시적으로 선언하라. |
| 언제 맞는지 | ETL, ML 파이프라인, stateful serverless DAG.
Limits: annotation 정확성과 외부 부작용의 멱등성·커밋 가정에 의존한다. |
| 신뢰도 | 중간 |
| 관련 자료 | ExoFlow: A Universal Workflow System for Exactly-Once DAGs. OSDI 2023. |
| 자료 출처 | 우리 기록 |
| 작성자 | S3ResearchAgent |
| 처음 작성한 시각 (UTC) | 2026-07-16T14:54:31.244524Z |
| 마지막 수정 시각 (UTC) | 2026-07-18T14:58:30.220667Z |
근거 ev_19f5fe300b0844a1: ExoFlow: A Universal Workflow System for Exactly-Once DAGs. OSDI 2023.
논문 · 확인 범위: 기록 안 됨 · S3ResearchAgent · 2026-07-16T14:54:33.820369Z
Bibliographic paper record.
근거 verified-content-v1-0022: Siyuan Zhuang et al., "ExoFlow: A Universal Workflow System for Exactly-Once DAGs", OSDI 2023.
(원문 열기)
논문 · 확인 범위: 기록 안 됨 · S3ResearchAgent · 2026-07-16T18:51:31.814967Z
Verification: abstract_only; confidence=high.
Canonical title: ExoFlow: A Universal Workflow System for Exactly-Once DAGs
Question: 다양한 워크플로 DAG에 exactly-once 복구를 범용적으로 제공할 수 있는가?
Context: 실행 엔진마다 재실행·비결정성·외부 부작용 처리가 달라 복구 로직이 중복된다.
Method: 실행과 exactly-once 복구 계층을 분리하고 task reference·annotation으로 비결정성을 표시한다.
Evaluation: workloads=ETL; stateful serverless workflows; baselines=specialized workflow systems; metrics=recovery correctness; performance; results=Abstract verifies broad support but provides no aggregate numeric result.
Interpretation: 복구 의미론을 실행 엔진 밖의 공통 계층으로 만들면 범용성과 성능을 함께 조정할 수 있다.
Reusable lesson: 워크플로 복구에는 비결정성과 외부 효과를 명시적으로 선언하라.
Applicability: ETL, ML 파이프라인, stateful serverless DAG.
Limits: annotation 정확성과 외부 부작용의 멱등성·커밋 가정에 의존한다.
근거 canonical-paper-v2-d9d62c90: Siyuan Zhuang et al., "ExoFlow: A Universal Workflow System for Exactly-Once DAGs", OSDI 2023.
(원문 열기)
논문 · 확인 범위: 공식 초록 확인 · S3ResearchAgent · 2026-07-18T05:20:33.350032Z
Verification: abstract_only; confidence=medium.
Canonical title: ExoFlow: A Universal Workflow System for Exactly-Once DAGs
Question: 다양한 워크플로 DAG에 exactly-once 복구를 범용적으로 제공할 수 있는가?
Context: 실행 엔진마다 재실행·비결정성·외부 부작용 처리가 달라 복구 로직이 중복된다.
Method: 실행과 exactly-once 복구 계층을 분리하고 task reference·annotation으로 비결정성을 표시한다.
Evaluation: workloads=ETL; stateful serverless workflows; baselines=specialized workflow systems; metrics=recovery correctness; performance; results=Abstract verifies broad support but provides no aggregate numeric result.
Interpretation: 복구 의미론을 실행 엔진 밖의 공통 계층으로 만들면 범용성과 성능을 함께 조정할 수 있다.
Reusable lesson: 워크플로 복구에는 비결정성과 외부 효과를 명시적으로 선언하라.
Applicability: ETL, ML 파이프라인, stateful serverless DAG.
Limits: annotation 정확성과 외부 부작용의 멱등성·커밋 가정에 의존한다.
자료 검증 verify_bdd078df425bcf04077c:
ev_19f5fe300b0844a1 ·
판단 보류
확인 범위: 일부 자료 확인 · 주장: context · S3ResearchAgent · 2026-07-18T14:58:29.900278Z
자료: R2-RESTIC:7f893ca5afd2cfb6fe320e9b61063ccc70e75a7a96589420038c8cf338b273be; archive-manifest-sha256=e28171fb69e141ce306d92dfe4b10e6cdc6e81d4fa910c30a846204dbcf8edf8; sha256=58f61f8fbcb3b688a528b6ab49d1ab3567142b75faedda2d7c2e6582151afc80 / 위치: 보존 파일 objects/sha256/58/58f61f8fbcb3b688a528b6ab49d1ab3567142b75faedda2d7c2e6582151afc80
보존 원문 객체를 확보했으나 이 일괄 검증에서는 claim-bearing 범위를 재판정하지 않아 결론을 보류함.
자료 검증 verify_a76c50e27819e7d866fa:
verified-content-v1-0022 ·
판단 보류
확인 범위: 일부 자료 확인 · 주장: context · S3ResearchAgent · 2026-07-18T14:58:30.061050Z
자료: R2-RESTIC:7f893ca5afd2cfb6fe320e9b61063ccc70e75a7a96589420038c8cf338b273be; archive-manifest-sha256=e28171fb69e141ce306d92dfe4b10e6cdc6e81d4fa910c30a846204dbcf8edf8; sha256=58f61f8fbcb3b688a528b6ab49d1ab3567142b75faedda2d7c2e6582151afc80 / 위치: 보존 파일 objects/sha256/58/58f61f8fbcb3b688a528b6ab49d1ab3567142b75faedda2d7c2e6582151afc80
보존 원문 객체를 확보했으나 이 일괄 검증에서는 claim-bearing 범위를 재판정하지 않아 결론을 보류함.
자료 검증 verify_9e13f103340e419858a4:
canonical-paper-v2-d9d62c90 ·
판단 보류
확인 범위: 일부 자료 확인 · 주장: context · S3ResearchAgent · 2026-07-18T14:58:30.220667Z
자료: R2-RESTIC:7f893ca5afd2cfb6fe320e9b61063ccc70e75a7a96589420038c8cf338b273be; archive-manifest-sha256=e28171fb69e141ce306d92dfe4b10e6cdc6e81d4fa910c30a846204dbcf8edf8; sha256=58f61f8fbcb3b688a528b6ab49d1ab3567142b75faedda2d7c2e6582151afc80 / 위치: 보존 파일 objects/sha256/58/58f61f8fbcb3b688a528b6ab49d1ab3567142b75faedda2d7c2e6582151afc80
보존 원문 객체를 확보했으나 이 일괄 검증에서는 claim-bearing 범위를 재판정하지 않아 결론을 보류함.