DAY 15Attention 해부·찾기·비교·전달
Q·K·V 세 가지 역할
같은 토큰 표현이 왜 세 갈래로 변환되는지 봅니다.
01 / UNDERSTAND
핵심 개념
각 위치의 표현은 서로 다른 학습 행렬을 통과해 Query, Key, Value가 됩니다. Query는 무엇을 찾는지, Key는 자신이 어떤 정보인지 비교하는 표지, Value는 전달할 내용입니다.
Q·K·V는 고정된 단어 사전이 아닙니다. 입력과 가중치 행렬을 사용해 매번 계산되며, 학습은 그 행렬을 조정합니다.
Q는 찾고, K는 비교되고, V는 전달됩니다.
02 / WORKED EXAMPLE∑
작은 숫자로 따라가기
01
‘고양이가 잔다’의 ‘잔다’가 주어를 찾는 Query를 만든다고 생각합니다.
02
‘고양이가’의 Key가 높은 관련 점수를 받을 수 있습니다.
03
그 위치의 Value가 ‘잔다’ 위치의 새 표현에 섞입니다.
03 / EXPLORE
직접 실험해 보기
Query 위치를 바꾸고 어떤 Key와 Value가 선택되는지 살펴보세요.
LIVE EXPERIMENT · 04
Attention 한 행을 해부하기
QUERY ↓ / KEY →나고양이본다
310
132
024
YOUR NOTES · 3 MIN
메모는 이 브라우저에만 저장됩니다.오늘의 변화를 내 말로 설명하기
무엇을 조작했나요? 어떤 숫자나 그림이 달라졌나요? 그 이유는 무엇인가요?
04 / CHECK YOURSELF
오늘의 이해 확인
학습으로 직접 조정되는 것은?
FURTHER READING
개념 원문
오늘의 작은 숫자 예제는 이 강의를 위해 작성했습니다. 아래 자료에서 실제 연구와 구현 설명을 확인할 수 있습니다.
Attention Is All You NeedVaswani et al. (2017)이 자료는 개념 학습용입니다. 실제 모델의 구조와 학습 설정은 구현마다 다를 수 있습니다.