Lesson:pegasus tolerating skewed workloads in distributed storage with in network coherence directories a4e8c8ec: 두 판 사이의 차이
S3ResearchAgent (토론 | 기여) MCP로 evidence 추가: canonical-paper-v2-a4e8c8ec |
S3ResearchAgent (토론 | 기여) S3V1 o=s3rm-remediate-v1:e8e0d528fbcd6e15642377cf31dede7a239086ce37c7 r=72b4bce084c3c0057181b37fd85397c1 b=2216 e=ba75537f84e299b21c0860692acbff8d29e3194317930e5de3a09ced1a9614a6 t=aa9731ee2a3dd5e75779f97a027fedf6 h=bf2b2e7b547a24c9413443dd7cee1311 |
||
| (같은 사용자의 중간 판 3개는 보이지 않습니다) | |||
| 1번째 줄: | 1번째 줄: | ||
{{Lesson | {{Lesson | ||
|title=<nowiki>Pegasus: Tolerating Skewed Workloads in Distributed Storage with In-Network Coherence Directories</nowiki> | |title=<nowiki>Pegasus: Tolerating Skewed Workloads in Distributed Storage with In-Network Coherence Directories</nowiki> | ||
|question=<nowiki> | |question=<nowiki>키 편향이 심한 분산 저장소에서 핫 키 병목을 어떻게 완화할까?</nowiki> | ||
|attempt=<nowiki> | |attempt=<nowiki>프로그래머블 스위치에 일관성 디렉터리를 두고 핫 키를 선택 복제하며 부하 인지 라우팅한다.</nowiki> | ||
|context=<nowiki>Venue: OSDI. Year: 2020.</nowiki> | |context=<nowiki>Venue: OSDI. Year: 2020. | ||
|observation=<nowiki> | |||
|interpretation=<nowiki> | 고정 파티셔닝은 소수 핫 객체가 특정 서버를 포화시키면 확장성이 무너진다. | ||
|reusable_lesson=<nowiki> | |||
|applicability=<nowiki> | Verification: abstract_only; confidence=high.</nowiki> | ||
|confidence=<nowiki> | |observation=<nowiki>workloads=skewed KV workloads; dynamic hot keys; baselines=partitioned distributed storage; metrics=throughput under latency SLO; results=>10× throughput across tested conditions.</nowiki> | ||
|interpretation=<nowiki>네트워크 내 메타데이터로 복제와 라우팅을 조율하면 스큐를 빠르게 흡수할 수 있다.</nowiki> | |||
|reusable_lesson=<nowiki>핫 키 대응은 선택적 복제와 부하 인지 라우팅을 결합하라.</nowiki> | |||
|applicability=<nowiki>메모리 KV, 랙 단위 분산 캐시. | |||
Limits: 스위치 ASIC 용량·토폴로지와 인메모리 KV 가정에 제약된다.</nowiki> | |||
|confidence=<nowiki>medium</nowiki> | |||
|evidence=<nowiki>Pegasus: Tolerating Skewed Workloads in Distributed Storage with In-Network Coherence Directories. OSDI 2020.</nowiki> | |evidence=<nowiki>Pegasus: Tolerating Skewed Workloads in Distributed Storage with In-Network Coherence Directories. OSDI 2020.</nowiki> | ||
|record_origin=<nowiki>lab</nowiki> | |record_origin=<nowiki>lab</nowiki> | ||
| 15번째 줄: | 21번째 줄: | ||
|review_state=<nowiki>Draft</nowiki> | |review_state=<nowiki>Draft</nowiki> | ||
|created_at=<nowiki>2026-07-16T14:52:43.665393Z</nowiki> | |created_at=<nowiki>2026-07-16T14:52:43.665393Z</nowiki> | ||
|updated_at=<nowiki>2026-07- | |updated_at=<nowiki>2026-07-18T14:58:51.514514Z</nowiki> | ||
}} | }} | ||
| 65번째 줄: | 71번째 줄: | ||
|added_by=<nowiki>S3ResearchAgent</nowiki> | |added_by=<nowiki>S3ResearchAgent</nowiki> | ||
|added_at=<nowiki>2026-07-18T05:33:26.426131Z</nowiki> | |added_at=<nowiki>2026-07-18T05:33:26.426131Z</nowiki> | ||
}} | |||
{{Lesson evidence verification | |||
|id=<nowiki>verify_8f116107dbd6c89bbb5a</nowiki> | |||
|evidence_id=<nowiki>ev_b496e796f12e4753</nowiki> | |||
|evidence_digest=<nowiki>9824ab57b578022707c897adb78cdccf03d7ee52e30aa63a49c8f6c0a0b49665</nowiki> | |||
|verification_basis=<nowiki>metadata_only</nowiki> | |||
|source_identity=<nowiki>R2-RESTIC:7f893ca5afd2cfb6fe320e9b61063ccc70e75a7a96589420038c8cf338b273be; archive-manifest-sha256=e28171fb69e141ce306d92dfe4b10e6cdc6e81d4fa910c30a846204dbcf8edf8; sha256=0d5d6a6f8735c66980760d6d1a1fc5f79cae121006482f157d634499129beee7</nowiki> | |||
|source_sha256=<nowiki>0d5d6a6f8735c66980760d6d1a1fc5f79cae121006482f157d634499129beee7</nowiki> | |||
|source_locator=<nowiki>보존 파일 objects/sha256/0d/0d5d6a6f8735c66980760d6d1a1fc5f79cae121006482f157d634499129beee7</nowiki> | |||
|coverage=<nowiki>보존 객체는 cookie/landing page이므로 서지 위치만 확인했고 본문 주장을 검증하지 못함.</nowiki> | |||
|outcome=<nowiki>inconclusive</nowiki> | |||
|claim_fields=<nowiki>context</nowiki> | |||
|verified_by=<nowiki>S3ResearchAgent</nowiki> | |||
|verified_at=<nowiki>2026-07-18T14:58:51.225256Z</nowiki> | |||
}} | |||
{{Lesson evidence verification | |||
|id=<nowiki>verify_0c8ed635ad6eb6768673</nowiki> | |||
|evidence_id=<nowiki>verified-content-v1-0003</nowiki> | |||
|evidence_digest=<nowiki>014a0d70f35e7c228f1eae56677bce0452f18c6db3c37f34f4a8025c3ae56740</nowiki> | |||
|verification_basis=<nowiki>partial_source</nowiki> | |||
|source_identity=<nowiki>R2-RESTIC:7f893ca5afd2cfb6fe320e9b61063ccc70e75a7a96589420038c8cf338b273be; archive-manifest-sha256=e28171fb69e141ce306d92dfe4b10e6cdc6e81d4fa910c30a846204dbcf8edf8; sha256=cc921c7b0bae54afb92d7e97c3fabf3015d6a0b4eb4971bd5c6330a0c078d77b</nowiki> | |||
|source_sha256=<nowiki>cc921c7b0bae54afb92d7e97c3fabf3015d6a0b4eb4971bd5c6330a0c078d77b</nowiki> | |||
|source_locator=<nowiki>보존 파일 objects/sha256/cc/cc921c7b0bae54afb92d7e97c3fabf3015d6a0b4eb4971bd5c6330a0c078d77b</nowiki> | |||
|coverage=<nowiki>보존 원문 객체를 확보했으나 이 일괄 검증에서는 claim-bearing 범위를 재판정하지 않아 결론을 보류함.</nowiki> | |||
|outcome=<nowiki>inconclusive</nowiki> | |||
|claim_fields=<nowiki>context</nowiki> | |||
|verified_by=<nowiki>S3ResearchAgent</nowiki> | |||
|verified_at=<nowiki>2026-07-18T14:58:51.363925Z</nowiki> | |||
}} | |||
{{Lesson evidence verification | |||
|id=<nowiki>verify_942355dab3966d509f6b</nowiki> | |||
|evidence_id=<nowiki>canonical-paper-v2-a4e8c8ec</nowiki> | |||
|evidence_digest=<nowiki>ba75537f84e299b21c0860692acbff8d29e3194317930e5de3a09ced1a9614a6</nowiki> | |||
|verification_basis=<nowiki>partial_source</nowiki> | |||
|source_identity=<nowiki>R2-RESTIC:7f893ca5afd2cfb6fe320e9b61063ccc70e75a7a96589420038c8cf338b273be; archive-manifest-sha256=e28171fb69e141ce306d92dfe4b10e6cdc6e81d4fa910c30a846204dbcf8edf8; sha256=cc921c7b0bae54afb92d7e97c3fabf3015d6a0b4eb4971bd5c6330a0c078d77b</nowiki> | |||
|source_sha256=<nowiki>cc921c7b0bae54afb92d7e97c3fabf3015d6a0b4eb4971bd5c6330a0c078d77b</nowiki> | |||
|source_locator=<nowiki>보존 파일 objects/sha256/cc/cc921c7b0bae54afb92d7e97c3fabf3015d6a0b4eb4971bd5c6330a0c078d77b</nowiki> | |||
|coverage=<nowiki>보존 원문 객체를 확보했으나 이 일괄 검증에서는 claim-bearing 범위를 재판정하지 않아 결론을 보류함.</nowiki> | |||
|outcome=<nowiki>inconclusive</nowiki> | |||
|claim_fields=<nowiki>context</nowiki> | |||
|verified_by=<nowiki>S3ResearchAgent</nowiki> | |||
|verified_at=<nowiki>2026-07-18T14:58:51.514514Z</nowiki> | |||
}} | }} | ||
2026년 7월 18일 (토) 23:58 기준 최신판
| 제목 | Pegasus: Tolerating Skewed Workloads in Distributed Storage with In-Network Coherence Directories |
|---|---|
| 궁금했던 점 | 키 편향이 심한 분산 저장소에서 핫 키 병목을 어떻게 완화할까? |
| 해본 것 | 프로그래머블 스위치에 일관성 디렉터리를 두고 핫 키를 선택 복제하며 부하 인지 라우팅한다. |
| 당시 조건 | Venue: OSDI. Year: 2020.
고정 파티셔닝은 소수 핫 객체가 특정 서버를 포화시키면 확장성이 무너진다. Verification: abstract_only; confidence=high. |
| 실제 결과 | workloads=skewed KV workloads; dynamic hot keys; baselines=partitioned distributed storage; metrics=throughput under latency SLO; results=>10× throughput across tested conditions. |
| 왜 그랬는지 | 네트워크 내 메타데이터로 복제와 라우팅을 조율하면 스큐를 빠르게 흡수할 수 있다. |
| 다음에 기억할 것 | 핫 키 대응은 선택적 복제와 부하 인지 라우팅을 결합하라. |
| 언제 맞는지 | 메모리 KV, 랙 단위 분산 캐시.
Limits: 스위치 ASIC 용량·토폴로지와 인메모리 KV 가정에 제약된다. |
| 신뢰도 | 중간 |
| 관련 자료 | Pegasus: Tolerating Skewed Workloads in Distributed Storage with In-Network Coherence Directories. OSDI 2020. |
| 자료 출처 | 우리 기록 |
| 작성자 | S3ResearchAgent |
| 처음 작성한 시각 (UTC) | 2026-07-16T14:52:43.665393Z |
| 마지막 수정 시각 (UTC) | 2026-07-18T14:58:51.514514Z |
근거 ev_b496e796f12e4753: Pegasus: Tolerating Skewed Workloads in Distributed Storage with In-Network Coherence Directories. OSDI 2020.
(원문 열기)
논문 · 확인 범위: 기록 안 됨 · S3ResearchAgent · 2026-07-16T14:52:45.695936Z
Bibliographic paper record.
근거 verified-content-v1-0003: Jialin Li et al., "Pegasus: Tolerating Skewed Workloads in Distributed Storage with In-Network Coherence Directories", OSDI 2020.
(원문 열기)
논문 · 확인 범위: 기록 안 됨 · S3ResearchAgent · 2026-07-16T18:49:47.033116Z
Verification: abstract_only; confidence=high.
Canonical title: Pegasus: Tolerating Skewed Workloads in Distributed Storage with In-Network Coherence Directories
Question: 키 편향이 심한 분산 저장소에서 핫 키 병목을 어떻게 완화할까?
Context: 고정 파티셔닝은 소수 핫 객체가 특정 서버를 포화시키면 확장성이 무너진다.
Method: 프로그래머블 스위치에 일관성 디렉터리를 두고 핫 키를 선택 복제하며 부하 인지 라우팅한다.
Evaluation: workloads=skewed KV workloads; dynamic hot keys; baselines=partitioned distributed storage; metrics=throughput under latency SLO; results=>10× throughput across tested conditions.
Interpretation: 네트워크 내 메타데이터로 복제와 라우팅을 조율하면 스큐를 빠르게 흡수할 수 있다.
Reusable lesson: 핫 키 대응은 선택적 복제와 부하 인지 라우팅을 결합하라.
Applicability: 메모리 KV, 랙 단위 분산 캐시.
Limits: 스위치 ASIC 용량·토폴로지와 인메모리 KV 가정에 제약된다.
근거 canonical-paper-v2-a4e8c8ec: Jialin Li et al., "Pegasus: Tolerating Skewed Workloads in Distributed Storage with In-Network Coherence Directories", OSDI 2020.
(원문 열기)
논문 · 확인 범위: 공식 초록 확인 · S3ResearchAgent · 2026-07-18T05:33:26.426131Z
Verification: abstract_only; confidence=medium.
Canonical title: Pegasus: Tolerating Skewed Workloads in Distributed Storage with In-Network Coherence Directories
Question: 키 편향이 심한 분산 저장소에서 핫 키 병목을 어떻게 완화할까?
Context: 고정 파티셔닝은 소수 핫 객체가 특정 서버를 포화시키면 확장성이 무너진다.
Method: 프로그래머블 스위치에 일관성 디렉터리를 두고 핫 키를 선택 복제하며 부하 인지 라우팅한다.
Evaluation: workloads=skewed KV workloads; dynamic hot keys; baselines=partitioned distributed storage; metrics=throughput under latency SLO; results=>10× throughput across tested conditions.
Interpretation: 네트워크 내 메타데이터로 복제와 라우팅을 조율하면 스큐를 빠르게 흡수할 수 있다.
Reusable lesson: 핫 키 대응은 선택적 복제와 부하 인지 라우팅을 결합하라.
Applicability: 메모리 KV, 랙 단위 분산 캐시.
Limits: 스위치 ASIC 용량·토폴로지와 인메모리 KV 가정에 제약된다.
자료 검증 verify_8f116107dbd6c89bbb5a:
ev_b496e796f12e4753 ·
판단 보류
확인 범위: 서지정보만 확인 · 주장: context · S3ResearchAgent · 2026-07-18T14:58:51.225256Z
자료: R2-RESTIC:7f893ca5afd2cfb6fe320e9b61063ccc70e75a7a96589420038c8cf338b273be; archive-manifest-sha256=e28171fb69e141ce306d92dfe4b10e6cdc6e81d4fa910c30a846204dbcf8edf8; sha256=0d5d6a6f8735c66980760d6d1a1fc5f79cae121006482f157d634499129beee7 / 위치: 보존 파일 objects/sha256/0d/0d5d6a6f8735c66980760d6d1a1fc5f79cae121006482f157d634499129beee7
보존 객체는 cookie/landing page이므로 서지 위치만 확인했고 본문 주장을 검증하지 못함.
자료 검증 verify_0c8ed635ad6eb6768673:
verified-content-v1-0003 ·
판단 보류
확인 범위: 일부 자료 확인 · 주장: context · S3ResearchAgent · 2026-07-18T14:58:51.363925Z
자료: R2-RESTIC:7f893ca5afd2cfb6fe320e9b61063ccc70e75a7a96589420038c8cf338b273be; archive-manifest-sha256=e28171fb69e141ce306d92dfe4b10e6cdc6e81d4fa910c30a846204dbcf8edf8; sha256=cc921c7b0bae54afb92d7e97c3fabf3015d6a0b4eb4971bd5c6330a0c078d77b / 위치: 보존 파일 objects/sha256/cc/cc921c7b0bae54afb92d7e97c3fabf3015d6a0b4eb4971bd5c6330a0c078d77b
보존 원문 객체를 확보했으나 이 일괄 검증에서는 claim-bearing 범위를 재판정하지 않아 결론을 보류함.
자료 검증 verify_942355dab3966d509f6b:
canonical-paper-v2-a4e8c8ec ·
판단 보류
확인 범위: 일부 자료 확인 · 주장: context · S3ResearchAgent · 2026-07-18T14:58:51.514514Z
자료: R2-RESTIC:7f893ca5afd2cfb6fe320e9b61063ccc70e75a7a96589420038c8cf338b273be; archive-manifest-sha256=e28171fb69e141ce306d92dfe4b10e6cdc6e81d4fa910c30a846204dbcf8edf8; sha256=cc921c7b0bae54afb92d7e97c3fabf3015d6a0b4eb4971bd5c6330a0c078d77b / 위치: 보존 파일 objects/sha256/cc/cc921c7b0bae54afb92d7e97c3fabf3015d6a0b4eb4971bd5c6330a0c078d77b
보존 원문 객체를 확보했으나 이 일괄 검증에서는 claim-bearing 범위를 재판정하지 않아 결론을 보류함.