DAY 42실제 응용·첫 토큰과 이후 토큰
속도를 두 부분으로
체감 지연이 어디서 생기는지 나눠 봅니다.
01 / UNDERSTAND
핵심 개념
입력 문장을 읽고 첫 토큰을 내기까지의 시간과 그 뒤 토큰을 이어 만드는 속도는 다른 지표입니다. 긴 입력은 첫 단계의 작업을 늘릴 수 있습니다.
KV 캐시, 배치 처리, 모델 크기와 하드웨어는 지연과 비용에 영향을 줍니다. 최적화는 품질을 함께 측정하면서 판단해야 합니다.
응답 속도는 첫 토큰과 이후 생성으로 나눠 봅니다.
02 / WORKED EXAMPLE∑
작은 숫자로 따라가기
01
입력 100토큰을 먼저 처리합니다.
02
첫 출력까지 1초, 이후 10토큰에 2초가 걸렸다고 합시다.
03
첫 토큰 지연과 생성 속도를 따로 기록합니다.
03 / EXPLORE
직접 실험해 보기
입력 길이와 출력 길이를 바꿔 두 종류의 시간을 비교하세요.
LIVE EXPERIMENT · 12
첫 토큰과 이후 생성 시간
첫 토큰
이후 생성
입력을 읽고 첫 출력을 만듭니다.토큰을 하나씩 이어 만듭니다.
YOUR NOTES · 3 MIN
메모는 이 브라우저에만 저장됩니다.오늘의 변화를 내 말로 설명하기
무엇을 조작했나요? 어떤 숫자나 그림이 달라졌나요? 그 이유는 무엇인가요?
04 / CHECK YOURSELF
오늘의 이해 확인
첫 토큰 지연이 가리키는 것은?
FURTHER READING
개념 원문
오늘의 작은 숫자 예제는 이 강의를 위해 작성했습니다. 아래 자료에서 실제 연구와 구현 설명을 확인할 수 있습니다.
Cache strategiesHugging Face Transformers이 자료는 개념 학습용입니다. 실제 모델의 구조와 학습 설정은 구현마다 다를 수 있습니다.