DAY 41실제 응용·KV 캐시
계산을 다시 하지 않으려면
이미 읽은 위치의 Key와 Value를 재사용합니다.
01 / UNDERSTAND
핵심 개념
한 토큰씩 생성할 때 이전 토큰의 Key와 Value를 매번 다시 계산하면 중복 작업이 생깁니다. KV 캐시는 이전 위치의 K와 V를 저장해 다음 생성 단계에서 재사용합니다.
새 토큰의 Q는 저장된 K와 비교하고, 필요한 V를 읽습니다. 캐시는 추론을 돕는 임시 데이터이지 모델의 학습 파라미터가 아닙니다.
KV 캐시는 추론 중 중복 계산을 줄입니다.
02 / WORKED EXAMPLE∑
작은 숫자로 따라가기
01
세 토큰을 처리해 K와 V 세 쌍을 저장합니다.
02
네 번째 토큰이 들어오면 새 K·V 한 쌍을 추가합니다.
03
새 Q는 저장된 네 위치의 K를 참고합니다.
03 / EXPLORE
직접 실험해 보기
생성 단계를 넘기며 캐시가 어떻게 늘어나는지 보세요.
LIVE EXPERIMENT · 11
생성할수록 늘어나는 KV 캐시
현재 문맥나는 책을 읽고
01나는K · V 저장
02책을K · V 저장
03읽고K · V 저장
04빈 칸대기 중
05빈 칸대기 중
06빈 칸대기 중
YOUR NOTES · 3 MIN
메모는 이 브라우저에만 저장됩니다.오늘의 변화를 내 말로 설명하기
무엇을 조작했나요? 어떤 숫자나 그림이 달라졌나요? 그 이유는 무엇인가요?
04 / CHECK YOURSELF
오늘의 이해 확인
KV 캐시에 주로 저장하는 것은?
FURTHER READING
개념 원문
오늘의 작은 숫자 예제는 이 강의를 위해 작성했습니다. 아래 자료에서 실제 연구와 구현 설명을 확인할 수 있습니다.
Cache strategiesHugging Face Transformers이 자료는 개념 학습용입니다. 실제 모델의 구조와 학습 설정은 구현마다 다를 수 있습니다.