DAY 16Transformer 내부·모든 위치의 비교
Attention 점수 행렬
한 Query가 모든 Key를 훑는 과정을 행렬로 읽습니다.
01 / UNDERSTAND
핵심 개념
각 Query는 문장 안의 Key마다 내적 점수를 만듭니다. Query를 행, Key를 열로 배열하면 점수 행렬이 됩니다.
행 하나는 특정 위치가 다른 위치를 얼마나 참고할지 결정하기 위한 원시 점수입니다. 점수는 아직 가중 평균에 바로 쓸 수 없습니다.
점수 행렬의 행은 Query, 열은 Key입니다.
02 / WORKED EXAMPLE∑
작은 숫자로 따라가기
01
토큰이 3개면 Query 3개와 Key 3개를 비교합니다.
02
따라서 원시 점수는 3×3, 총 9개입니다.
03
한 행의 3개 수는 한 Query가 본 모든 Key의 점수입니다.
03 / EXPLORE
직접 실험해 보기
행을 하나씩 선택해 Query가 바라보는 Key 세 칸을 확인하세요.
LIVE EXPERIMENT · 04
Attention 한 행을 해부하기
QUERY ↓ / KEY →나고양이본다
310
132
024
YOUR NOTES · 3 MIN
메모는 이 브라우저에만 저장됩니다.오늘의 변화를 내 말로 설명하기
무엇을 조작했나요? 어떤 숫자나 그림이 달라졌나요? 그 이유는 무엇인가요?
04 / CHECK YOURSELF
오늘의 이해 확인
토큰이 4개인 자기 Attention의 점수 행렬 크기는?
FURTHER READING
개념 원문
오늘의 작은 숫자 예제는 이 강의를 위해 작성했습니다. 아래 자료에서 실제 연구와 구현 설명을 확인할 수 있습니다.
Attention Is All You NeedVaswani et al. (2017)이 자료는 개념 학습용입니다. 실제 모델의 구조와 학습 설정은 구현마다 다를 수 있습니다.