DAY 34텍스트 생성·규모와 자원
모델을 키우면 생기는 일
파라미터·데이터·계산량을 함께 봅니다.
01 / UNDERSTAND
핵심 개념
모델을 키우면 더 많은 파라미터로 복잡한 패턴을 표현할 수 있지만 계산과 메모리 비용도 늘어납니다. 데이터의 양과 품질이 함께 맞지 않으면 크기만 키워서 해결되지 않습니다.
성능 변화는 과제와 평가 조건에 의존합니다. 규모에 관한 연구 결과를 모든 모델과 작업에 무조건 적용하지 않습니다.
규모는 성능 가능성과 비용을 함께 키웁니다.
02 / WORKED EXAMPLE∑
작은 숫자로 따라가기
01
작은 모델과 큰 모델을 같은 데이터에 학습시킨다고 가정합니다.
02
큰 모델의 훈련 계산량과 메모리 요구량이 늘어납니다.
03
검증 성능이 실제로 좋아졌는지 측정해야 선택할 수 있습니다.
03 / EXPLORE
직접 실험해 보기
모델 크기와 데이터 양을 바꿔 성능·비용의 균형을 비교하세요.
LIVE EXPERIMENT · 09
평가 기준을 바꿔 보기
MODEL A65/ 100
강점과 비용은 같은 숫자가 아닙니다.
MODEL B53/ 100
평가 질문을 바꾸면 순위도 달라집니다.
YOUR NOTES · 3 MIN
메모는 이 브라우저에만 저장됩니다.오늘의 변화를 내 말로 설명하기
무엇을 조작했나요? 어떤 숫자나 그림이 달라졌나요? 그 이유는 무엇인가요?
04 / CHECK YOURSELF
오늘의 이해 확인
모델 크기만 키우면 성능이 언제나 보장되나요?
FURTHER READING
개념 원문
오늘의 작은 숫자 예제는 이 강의를 위해 작성했습니다. 아래 자료에서 실제 연구와 구현 설명을 확인할 수 있습니다.
Training Compute-Optimal Large Language ModelsHoffmann et al. (2022)이 자료는 개념 학습용입니다. 실제 모델의 구조와 학습 설정은 구현마다 다를 수 있습니다.