Zero-shot Reasoning 정리
Zero-shot Reasoners: AI의 ‘생각하는 법’ 들여다보기
“Large Language Models are Zero-Shot Reasoners”라는 논문을 읽고 정리한 내용이다. AI가 어떻게 복잡한 문제를 단계별로 풀어나가는지에 대한 꽤 흥미로운 발견이 담겨 있다.
1. 대규모 언어 모델(LLM)이란
대규모 언어 모델(Large Language Model, LLM)은 수많은 텍스트 데이터를 학습해서 인간의 언어를 이해하고 생성하는 AI 모델이다.
쉽게 비유하자면, LLM은 ‘수억 권의 책을 읽고 모든 내용을 기억하는 거대한 디지털 도서관 사서’와 같다. 이 똑똑한 사서는 단순히 저장된 정보를 찾아주는 걸 넘어서, 도서관의 모든 지식을 조합하고 활용해서 질문에 대한 완전히 새로운 답변을 창조해낼 수 있는 능력을 갖추고 있다.
논문에서는 이런 LLM의 구체적인 예시로 InstructGPT(text-davinci-002)와 5400억 개의 파라미터를 가진 PaLM 같은 모델을 언급한다.
2. LLM의 학습 방식: 예시가 필요할까?
이 논문을 이해하려면 LLM이 새로운 문제를 푸는 두 가지 접근법을 알아야 한다.
제로샷 학습 (Zero-shot Learning): 스스로 길을 찾는 탐험가
제로샷 학습은 LLM이 단 한 개의 예시도 보지 않고, 오직 기존에 학습한 방대한 지식만을 이용해 처음 보는 문제를 해결하는 방식이다.
이건 마치 ‘한 번도 본 적 없는 재료로 요리법의 기본 원리만 이용해 새로운 요리를 만들어내는 셰프’와 같다. 셰프는 개별 레시피가 없어도, 재료의 특성과 조리법의 원리를 응용해서 요리를 완성해낸다.
퓨샷 학습 (Few-shot Learning): 몇 개의 지도를 보고 배우는 항해사
퓨샷 학습은 LLM에게 몇 개의 정답 예시(exemplars)를 먼저 보여주고, 그 패턴을 학습해서 비슷한 문제를 해결하게 하는 방식이다. 제로샷과 달리 문제 해결을 위한 힌트를 제공하는 셈이다.
이건 마치 ‘가보지 않은 보물섬의 지도 몇 개를 보고 길 찾는 법을 터득해서 보물을 찾아가는 항해사’와 같다. 항해사는 몇 개의 지도를 통해 지형 읽는 법을 배우고, 이를 응용해 최종 목적지에 도달한다.
한눈에 비교
| 구분 | 제로샷 학습 | 퓨샷 학습 |
|---|---|---|
| 핵심 아이디어 | 예시 없이, 기존 지식으로 새로운 문제 해결 | 몇 개의 예시를 통해 패턴을 학습해서 문제 해결 |
| 장점 | 예시를 만들 필요가 없어 빠르고 효율적 | 복잡한 문제에 대해 더 높은 정확도 |
| 비유 | 스스로 요리법을 창조하는 셰프 | 지도를 보고 길을 찾는 항해사 |
3. LLM의 추론 능력 깨우기: 사고의 연쇄(CoT) 프롬프팅
‘사고의 연쇄(Chain of Thought, CoT)’ 프롬프팅은 LLM이 산수 문제나 논리 추론처럼 여러 단계의 생각을 거쳐야 하는 복잡한 문제를 해결하도록 돕는 방법이다.
기존의 사고의 연쇄 방식
원래 CoT 프롬프팅은 퓨샷(few-shot) 방식으로 사용됐다. 즉, LLM에게 문제와 함께 정답에 이르는 단계별 풀이 과정을 몇 개의 예시로 직접 보여주는 것이다.
이를 통해 LLM은 단순히 정답만 맞히는 게 아니라, 문제를 해결하는 ‘과정’ 자체를 학습하도록 유도됐다. 그래서 학계에서는 LLM의 복잡한 추론 능력이 ‘단계별 풀이 예시’를 보여주는 퓨샷 방식에 크게 의존한다고 생각해왔다.
논문의 발견: 제로샷-CoT
이 논문의 연구진은 여기서 한 걸음 더 나아가 혁신적인 아이디어인 ‘제로샷-CoT’를 발견했다.
이 방법은 어떠한 풀이 예시도 제공하지 않고, 단 하나의 문장을 질문 앞에 추가하는 것만으로 LLM의 추론 능력을 극적으로 끌어올렸다.
그 문장이 바로 이거다:
“Let’s think step by step” (차근차근 생각해보자)
이 간단한 문장 하나가 LLM에게 “정답만 말하지 말고, 스스로 문제 해결 과정을 생성해봐”라고 알려주는 ‘스위치’ 역할을 한 것이다.
성능 향상이 얼마나 됐나
제로샷-CoT 기법은 다양한 추론 과제에서 놀라운 성능 향상을 보였다.
| 벤치마크 | 기존 제로샷 | 제로샷-CoT | 향상폭 |
|---|---|---|---|
| MultiArith (산수 문제) | 17.7% | 78.7% | +61%p |
| GSM8K (초등 수학 문제) | 10.4% | 40.7% | +30%p |
이 외에도 마지막 글자 이어붙이기(Last Letter)나 동전 뒤집기(Coin Flip) 같은 상징 추론(Symbolic Reasoning) 과제, 날짜 이해(Date Understanding), 섞인 물체 추적(Tracking Shuffled Objects) 같은 논리 추론(Logical Reasoning) 과제에서도 큰 폭의 성능 향상을 보였다.
4. 실무에서 어떻게 쓰면 되나
복잡한 질문을 할 때 앞에 이런 문구를 붙이면 된다:
- “Let’s think step by step”
- “단계별로 생각해보자”
- “하나씩 차근차근 짚어보면”
실제로 ChatGPT 쓸 때도 효과가 있다. 특히 수학 문제나 논리적 추론이 필요한 질문에서 체감이 된다.
5. 정리
이 논문이 던지는 핵심 메시지는 이거다:
“간단한 프롬프트 하나로 LLM 내부에 잠재된, 아직 탐구되지 않은 엄청난 제로샷 추론 능력을 이끌어낼 수 있다”
우리가 일일이 복잡한 예시 데이터를 만들어주지 않아도, LLM이 가진 고차원적인 인지 능력을 간단한 방식으로 활용할 수 있다는 새로운 가능성을 연 것이다.
똑똑한 ‘디지털 사서’에게 새로운 유형의 문제를 풀기 위해 여러 예시를 쥐어줄 필요 없이, 그저 ‘차근차근 생각해봐’라고 격려하는 것만으로도 스스로 해법을 찾게 할 수 있다는 의미다.
댓글남기기