DAY 13Attention 해부·정적·문맥 표현
문맥에 따라 뜻이 달라진다
같은 토큰도 주변 단어에 따라 다르게 읽힙니다.
01 / UNDERSTAND
핵심 개념
임베딩 표에서 가져온 기본 벡터는 토큰 ID가 같으면 같습니다. 하지만 Transformer의 여러 층을 지나면 주변 토큰 정보를 섞은 문맥 표현이 됩니다.
‘배’가 과일인지 탈것인지 주변 말이 알려 주는 것처럼, 모델도 현재 문장의 다른 위치를 참고해야 유용한 표현을 만들 수 있습니다.
기본 임베딩과 문맥 표현을 구분하세요.
02 / WORKED EXAMPLE∑
작은 숫자로 따라가기
01
‘배를 먹다’와 ‘배를 타다’에 같은 ‘배’ 토큰이 있다고 가정합니다.
02
처음 조회한 기본 임베딩은 같습니다.
03
주변 토큰을 반영한 뒤 각 위치의 표현은 달라질 수 있습니다.
03 / EXPLORE
직접 실험해 보기
주변 단어를 바꾸며 강조되는 토큰 관계가 달라지는지 보세요.
LIVE EXPERIMENT · 02
같은 토큰, 다른 문맥
“배를 타고 강을 건넌다”
↓ 토큰화
YOUR NOTES · 3 MIN
메모는 이 브라우저에만 저장됩니다.오늘의 변화를 내 말로 설명하기
무엇을 조작했나요? 어떤 숫자나 그림이 달라졌나요? 그 이유는 무엇인가요?
04 / CHECK YOURSELF
오늘의 이해 확인
같은 토큰의 문맥 표현은 항상 같은가요?
FURTHER READING
개념 원문
오늘의 작은 숫자 예제는 이 강의를 위해 작성했습니다. 아래 자료에서 실제 연구와 구현 설명을 확인할 수 있습니다.
EmbeddingsGoogle Machine Learning Crash Course이 자료는 개념 학습용입니다. 실제 모델의 구조와 학습 설정은 구현마다 다를 수 있습니다.