DAY 21학습 파이프라인·멀티헤드 Attention
여러 시선으로 읽기
한 종류의 관계만 보지 않는 구조를 이해합니다.
01 / UNDERSTAND
핵심 개념
멀티헤드 Attention은 서로 다른 가중치로 여러 Q·K·V 묶음을 만듭니다. 각 헤드는 같은 입력을 보더라도 다른 점수와 출력을 만들 수 있습니다.
헤드별 출력을 이어 붙이고 다시 선형 변환해 다음 층에 전달합니다. 각 헤드의 의미가 사람이 붙인 고정 역할과 정확히 일치한다고 단정할 수는 없습니다.
여러 헤드는 입력을 서로 다른 방식으로 비교합니다.
02 / WORKED EXAMPLE∑
작은 숫자로 따라가기
01
헤드 A는 가까운 위치에 큰 비중을 줄 수 있습니다.
02
헤드 B는 멀리 있는 위치에 큰 비중을 줄 수 있습니다.
03
두 출력을 합쳐 다음 표현을 만듭니다.
03 / EXPLORE
직접 실험해 보기
헤드 선택을 바꿔 같은 Query의 비중 패턴을 비교하세요.
LIVE EXPERIMENT · 04
Attention 한 행을 해부하기
QUERY ↓ / KEY →나고양이본다
310
132
024
YOUR NOTES · 3 MIN
메모는 이 브라우저에만 저장됩니다.오늘의 변화를 내 말로 설명하기
무엇을 조작했나요? 어떤 숫자나 그림이 달라졌나요? 그 이유는 무엇인가요?
04 / CHECK YOURSELF
오늘의 이해 확인
멀티헤드에서 헤드마다 달라지는 것은?
FURTHER READING
개념 원문
오늘의 작은 숫자 예제는 이 강의를 위해 작성했습니다. 아래 자료에서 실제 연구와 구현 설명을 확인할 수 있습니다.
Attention Is All You NeedVaswani et al. (2017)이 자료는 개념 학습용입니다. 실제 모델의 구조와 학습 설정은 구현마다 다를 수 있습니다.