속성:Attempt
직접 해본 방법이나 설정을 적습니다.
g
RISS 저자 색인과 연구실 출판 목록을 확인했지만 원문·공식 초록·DOI를 확보하지 못했다. 따라서 가상 최적화 지점, 프로파일링 절차와 예측 모델은 미확인으로 남긴다. +
KV head를 중간 개수의 그룹으로 묶는 GQA와 MHA 체크포인트 업트레이닝을 제안한다. +
VM을 SLA/고객 단위 group으로 묶고 deduplication과 reprovisioning의 메커니즘·정책을 group 경계 안에 제한한다. adaptive scan rate, demand-based reprovisioning, hypervisor-level secondary cache를 제공하며 KVM/KSM을 cgroup 기반으로 확장한다. +
h
읽기 또는 쓰기만 기록하는 두 비대칭 log-optimal 프로토콜과 선택 기준, 무중단 전환을 제공한다. +
MSH combines profiling, program analysis, binary instrumentation, and a runtime scheduler with configurable harvesting concurrency. +
HotRAP adds a fine-grained on-disk hot-key tracker and two pathways for promoting selected records into RocksDB's faster levels. +
EuroSys 2015 공식 poster 목록을 확인했지만 poster PDF, 공식 초록, DOI와 artifact를 찾지 못했다. 측정 장치, 앱 선정, I/O 추적 방식과 지연 분해 방법은 미확인이다. +
Copier coordinates copies asynchronously, selects hardware such as SIMD/DMA, and absorbs redundant intermediate copies. +
i
NVMe character device와 io_uring_cmd로 사용자 명령을 장치에 직접 전달한다. +
IC-Cache selects historical Q/A examples, routes requests adaptively, and replays them with a cost-aware policy. +
ice collaborating memory and process management for user experience on resource limited mobile d 312e453f +
ICE identifies background processes likely to cause frequent refaults, freezes them, and thaws them when memory conditions permit. +
off-CPU 구간에도 주기적 blocked sample(IP, callchain, weight, 원인 유형)을 생성한다. bperf가 on/off-CPU 샘플을 통합하고, BCOZ는 causal virtual speedup을 I/O·동기화·스케줄링의 세부 blocked class로 확장한다. +
impress an importance informed multi tier prefix kv storage system for large language model infe 51b47015 +
IMPRESS exploits similarity in important-token indices across attention heads to identify and load only important KVs, then manages prefix state across storage/cache tiers by importance. +
추가 센서 context 없이 이전 입력과 출력의 순차 의존성을 학습하는 RNN 기반 context-aware launcher를 사용해 앞으로 실행할 앱이 background에 준비되어 있도록 한다. +
inf2 high throughput generative inference of large language models using near storage processing 3fcead73 +
HILOS는 상용 Samsung SmartSSD에서 구현한 PyTorch 통합 near-storage processing framework입니다. 각 SSD의 FPGA accelerator가 decoding 단계의 exact attention을 처리하고, 큰 historical KV cache는 device-local 경로에 둡니다. Host interconnect에는 attention 입력과 최종 출력만 보내며, batch와 attention-head 차원으로 여러 SmartSSD에 작업을 분할합니다.
Cooperative X-cache는 선택 구간의 K와 V를 모두 보관하는 대신 절반 크기의 pre-projection activation X를 GPU로 읽어 K/V를 재생성합니다. Near-storage accelerator가 나머지 KV를 처리하는 동안 유휴 GPU와 GPUDirect Storage를 병렬 사용하며, 분석 모델로 비율을 정합니다.
Delayed KV-cache writeback은 head별 약 256-byte 신규 KV entry를 host memory에 모읍니다. CPU가 buffered key의 query-key partial dot product를 미리 계산하고, accelerator에는 scalar와 새 value만 보냅니다. 16개 entry가 4-KiB SSD page를 이룰 때 비동기로 spill하여 small write와 write amplification을 critical path에서 제거합니다.
FPGA attention accelerator는 sequence 길이에 비례하는 on-chip buffer 없이 block-temporal pipeline으로 exact attention을 수행합니다. 2-pass numerically stable softmax, online block transpose, GQA broadcasting, FP16 저장과 FP32 누산·지수 연산, 128 MAC units, storage-read/compute overlap을 사용합니다. HLS customization flow, C++ middleware, pybind11 PyTorch binding과 asynchronous writeback manager를 포함합니다. +
infinigen efficient generative inference of large language models with dynamic kv cache manageme a1ca3228 +
다음 layer attention을 일부 query weight와 KV로 추정해 필수 entry만 prefetch하고 동적 cache pool을 운용한다. +
공식 출판 메타데이터와 공개 1차 출처를 탐색했지만, 방법·구현·평가를 확인할 수 있는 원문 또는 공식 초록을 확보하지 못했다. 제목에서 기술 내용을 추론하지 않았다. +
외부화되지 않은 쓰기의 순서를 지연하고 병렬 실행하며, leader 메타 질의와 bounded history로 follower read freshness를 판정한다. +
k
kal kernel assisted non invasive memory leak tolerance with a general purpose memory allocator 372cd042 +
기존 allocator와 공존하면서 kernel level에서 leaked allocation을 식별·회수하고, 분석을 remote host로 옮겨 application 영향과 service interruption을 줄인다. +
Kangaroo combines a large set-associative KSet with a small log-structured KLog that batches objects before rewriting sets. +