DAY 23학습 파이프라인·잔차 연결
입력을 더해 전달하는 길
새 계산 뒤에도 이전 표현이 남는 경로를 봅니다.
01 / UNDERSTAND
핵심 개념
잔차 연결은 블록의 입력 x에 계산 결과 F(x)를 더해 x+F(x)를 만듭니다. 블록은 완전히 새로운 표현을 처음부터 만들기보다 기존 표현에 변화를 더할 수 있습니다.
이 경로는 깊은 네트워크에서 정보와 기울기가 흐르는 데 도움을 줍니다. 실제 Transformer에서는 정규화와 결합하는 순서가 설계에 따라 다를 수 있습니다.
잔차 연결은 이전 표현의 길을 남깁니다.
02 / WORKED EXAMPLE∑
작은 숫자로 따라가기
01
입력 x=[1,2]라고 놓습니다.
02
블록 출력 F(x)=[0.2,-0.5]라면 결과는 [1.2,1.5]입니다.
03
입력의 흔적이 출력에 직접 남습니다.
03 / EXPLORE
직접 실험해 보기
잔차 경로를 켜고 끄며 입력이 출력으로 전달되는 경로를 따라가세요.
LIVE EXPERIMENT · 05
단계를 눌러 흐름 따라가기
입력 x
입력 x=[1,2]를 보존합니다.
YOUR NOTES · 3 MIN
메모는 이 브라우저에만 저장됩니다.오늘의 변화를 내 말로 설명하기
무엇을 조작했나요? 어떤 숫자나 그림이 달라졌나요? 그 이유는 무엇인가요?
04 / CHECK YOURSELF
오늘의 이해 확인
잔차 연결 x+F(x)의 의미는?
FURTHER READING
개념 원문
오늘의 작은 숫자 예제는 이 강의를 위해 작성했습니다. 아래 자료에서 실제 연구와 구현 설명을 확인할 수 있습니다.
Attention Is All You NeedVaswani et al. (2017)이 자료는 개념 학습용입니다. 실제 모델의 구조와 학습 설정은 구현마다 다를 수 있습니다.