DAY 14Attention 해부·벡터의 맞물림
내적은 무엇을 재나
Attention의 점수 계산에 쓰일 내적을 손으로 계산합니다.
01 / UNDERSTAND
핵심 개념
내적은 대응하는 좌표끼리 곱해 모두 더한 값입니다. 두 벡터가 어느 정도 같은 방향을 보는지 알려 주지만 길이의 영향도 받습니다.
Attention에서는 Query와 Key의 내적으로 각 위치의 관련 점수를 계산합니다. 점수는 아직 확률이 아니며, 뒤에서 Softmax로 비중으로 바꿉니다.
내적은 좌표별 곱의 합입니다.
02 / WORKED EXAMPLE∑
작은 숫자로 따라가기
01
Q=[2,1], K₁=[1,0]이면 점수는 2입니다.
02
K₂=[0,3]이면 점수는 3입니다.
03
이 Query에는 K₂가 더 높은 원시 점수를 받습니다.
03 / EXPLORE
직접 실험해 보기
두 Key의 좌표를 바꿔 어느 쪽 내적이 더 큰지 예측하세요.
LIVE EXPERIMENT · 03
벡터 두 개를 비교하기
YOUR NOTES · 3 MIN
메모는 이 브라우저에만 저장됩니다.오늘의 변화를 내 말로 설명하기
무엇을 조작했나요? 어떤 숫자나 그림이 달라졌나요? 그 이유는 무엇인가요?
04 / CHECK YOURSELF
오늘의 이해 확인
[2,1]·[1,3]의 값은?
FURTHER READING
개념 원문
오늘의 작은 숫자 예제는 이 강의를 위해 작성했습니다. 아래 자료에서 실제 연구와 구현 설명을 확인할 수 있습니다.
Attention Is All You NeedVaswani et al. (2017)이 자료는 개념 학습용입니다. 실제 모델의 구조와 학습 설정은 구현마다 다를 수 있습니다.