DAY 22학습 파이프라인·위치 정보
순서는 어디에 있을까
단어가 같은 문장도 순서가 다르면 의미가 달라집니다.
01 / UNDERSTAND
핵심 개념
자기 Attention의 Q·K 비교만으로는 위치 순서를 충분히 알려주기 어렵습니다. 그래서 모델은 토큰이 어디에 있는지 나타내는 위치 정보를 함께 사용합니다.
위치 표현에는 여러 설계가 있습니다. 핵심은 ‘개가 사람을 문다’와 ‘사람이 개를 문다’를 같은 토큰 집합이라는 이유로 혼동하지 않도록 하는 것입니다.
토큰의 내용과 위치를 함께 봅니다.
02 / WORKED EXAMPLE∑
작은 숫자로 따라가기
01
‘개가 사람을 문다’의 토큰 순서를 표시합니다.
02
주어와 목적어 위치를 바꾼 문장을 만듭니다.
03
토큰은 비슷하지만 역할 관계가 달라집니다.
03 / EXPLORE
직접 실험해 보기
토큰 순서를 바꿔 위치 표시가 어떻게 달라지는지 확인하세요.
LIVE EXPERIMENT · 02
순서가 바뀌면 역할도 바뀐다
“개가 사람을 문다”
↓ 토큰화
YOUR NOTES · 3 MIN
메모는 이 브라우저에만 저장됩니다.오늘의 변화를 내 말로 설명하기
무엇을 조작했나요? 어떤 숫자나 그림이 달라졌나요? 그 이유는 무엇인가요?
04 / CHECK YOURSELF
오늘의 이해 확인
위치 정보가 필요한 주된 이유는?
FURTHER READING
개념 원문
오늘의 작은 숫자 예제는 이 강의를 위해 작성했습니다. 아래 자료에서 실제 연구와 구현 설명을 확인할 수 있습니다.
Attention Is All You NeedVaswani et al. (2017)이 자료는 개념 학습용입니다. 실제 모델의 구조와 학습 설정은 구현마다 다를 수 있습니다.