DAY 36추론 최적화·선호도와 정렬
좋은 답변을 비교하기
정답이 하나로 정해지지 않는 답변을 다룹니다.
01 / UNDERSTAND
핵심 개념
같은 질문에도 여러 답변이 가능하므로 사람 또는 평가자가 더 나은 답을 비교할 수 있습니다. 선호도 기반 학습은 이런 비교 정보를 활용해 모델의 답변 경향을 조정합니다.
선호도는 평가 기준과 수집 방식의 영향을 받습니다. ‘더 선호됨’이 모든 상황에서 사실상 참이라는 뜻은 아닙니다.
좋은 답변의 기준을 명시하고 평가해야 합니다.
02 / WORKED EXAMPLE∑
작은 숫자로 따라가기
01
답변 A는 길지만 질문을 벗어납니다.
02
답변 B는 짧고 근거를 제시합니다.
03
명시한 기준에 따라 B를 선호할 수 있습니다.
03 / EXPLORE
직접 실험해 보기
정확성·유용성·길이 기준을 바꿔 답변 평가가 어떻게 달라지는지 보세요.
LIVE EXPERIMENT · 09
평가 기준을 바꿔 보기
MODEL A65/ 100
강점과 비용은 같은 숫자가 아닙니다.
MODEL B53/ 100
평가 질문을 바꾸면 순위도 달라집니다.
YOUR NOTES · 3 MIN
메모는 이 브라우저에만 저장됩니다.오늘의 변화를 내 말로 설명하기
무엇을 조작했나요? 어떤 숫자나 그림이 달라졌나요? 그 이유는 무엇인가요?
04 / CHECK YOURSELF
오늘의 이해 확인
선호도 데이터가 직접 나타내는 것은?
FURTHER READING
개념 원문
오늘의 작은 숫자 예제는 이 강의를 위해 작성했습니다. 아래 자료에서 실제 연구와 구현 설명을 확인할 수 있습니다.
Training language models to follow instructions with human feedbackOuyang et al. (2022)이 자료는 개념 학습용입니다. 실제 모델의 구조와 학습 설정은 구현마다 다를 수 있습니다.