가중치와 진행 중인 KV는 다릅니다
H3는 Minho Ha·Euiseok Kim·Hoshik Kim의 HBM/HBF 혼합 구조 연구입니다. HBF에는 자주 다시 쓰지 않는 모델 가중치와 미리 계산한 공유 KV를 두고, HBM에는 진행 중인 요청에서 갱신되는 KV를 둡니다. 모든 KV를 플래시에 옮기는 제안이 아닙니다.
HBF: 가중치·미리 계산한 공유 KV
HBM: 실행 중인 요청의 동적 KV
연산 장치: 필요한 층의 데이터를 소비
용량을 늘린 뒤에는 이동 시간이 남습니다
공개 연구 요약은 HBM base die의 연결·라우팅과 Local HBF Bridge의 선인출을 설명합니다. 층별 접근 순서를 이용해 데이터를 미리 가져오는 방식이므로, 플래시의 모든 접근 지연이 사라진다는 뜻은 아닙니다. 요청의 접근 패턴과 실제 이동 대역폭을 함께 봐야 합니다.
배치 크기와 처리량을 혼동하지 않습니다
공개 요약의 HBM-only 대비 수치는 시뮬레이션 결과입니다. 10M 문맥의 최대 배치 크기는 18.8배, 토큰 처리량은 6.14배, 전력당 처리량은 2.69배로 각각 다른 지표입니다. 어느 한 수치를 단일 요청 지연이나 모든 모델의 성능 향상으로 바꾸어 읽지 않습니다.
공개 요약에서 확인한 범위
여기서는 공개 초록과 연구 요약을 대조했습니다. 유료 논문 본문 전체를 읽거나 HBF 장치를 실행한 결과가 아닙니다. 총소유비용, 플래시 수명, 모든 모델의 지연 개선을 입증한 자료로 확대하지 않습니다. 공유 게시물의 작성자와 논문 저자도 구분합니다.