연속 파인튜닝(continual fine-tuning)이 모든 AI 모델에서 가능한지, OpenAI 같은 상용 API와 Llama·Mistral 같은 오픈소스 모델은 어떻게 다른지 비교합니다. 파인튜닝 이어하기 시 반드시 마주치는 재앙적 망각(Catastrophic Forgetting) 문제와 통합 데이터셋 재학습이라는 실무 해결법까지 단계별로 정리했습니다.
1. “파인튜닝한 모델에 데이터를 더 넣고 싶은데요”
이미 한 번 파인튜닝을 마친 모델이 있는데, 시간이 지나 새로운 데이터가 쌓이면 자연스럽게 이런 질문이 떠오릅니다.
“이 파인튜닝된 모델 위에 새 데이터를 또 얹어서 학습시켜도 될까? 아니면 처음부터 다시 해야 하나?”
이것이 바로 연속 파인튜닝(Continual Fine-tuning), 흔히 실무에서는 “파인튜닝 이어하기”라고 부르는 작업입니다. 결론부터 말하면, 이 질문에 대한 답은 모든 AI 모델에 공통으로 적용되지 않습니다. 어떤 모델을 어떤 방식으로 쓰고 있느냐에 따라 가능 여부와 방법이 완전히 달라지기 때문입니다.
이 글에서는 연속 파인튜닝이 상용 클라우드 API 모델과 오픈소스 모델에서 각각 어떻게 다르게 작동하는지, 그리고 어떤 방식을 택하든 반드시 마주치게 되는 재앙적 망각(Catastrophic Forgetting) 문제를 어떻게 해결하는지 구체적인 절차와 함께 정리합니다.
2. 연속 파인튜닝 가능 여부는 “모델을 어디서, 어떻게 돌리느냐”에 달려있다
연속 파인튜닝의 가능 여부를 가르는 기준은 두 가지입니다.
- 모델을 제공하는 플랫폼의 정책 (OpenAI, 구글 등 상용 API를 쓰는 경우)
- 오픈소스 모델을 직접 다운로드해 로컬이나 서버에서 구동하는지 여부
즉, 같은 “파인튜닝”이라는 단어를 쓰더라도 API로 모델을 호출하는 구조인지, 가중치 파일을 직접 손에 쥐고 있는 구조인지에 따라 연속 학습이 가능한지, 또 어떤 방식(LoRA 파인튜닝, 전면 파인튜닝)으로 가능한지가 완전히 갈립니다. 아래에서 두 경우를 각각 자세히 살펴보겠습니다.
3. 상용 클라우드 API 모델의 연속 파인튜닝 (OpenAI, Anthropic 등)
상용 API 모델은 플랫폼마다 지원 여부가 다릅니다. 모델 가중치를 사용자가 직접 소유하지 않고, 플랫폼이 제공하는 학습 인터페이스(API)를 통해서만 파인튜닝을 요청할 수 있기 때문에, 연속 파인튜닝을 허용할지 말지는 전적으로 플랫폼의 정책에 달려 있습니다.
3-1. OpenAI: 커스텀 모델 기반의 이어서 학습 지원
OpenAI는 GPT 시리즈 등 일부 최신 모델에 대해, 사용자가 이전에 파인튜닝해 만든 자신의 커스텀 모델을 기반으로 새로운 데이터를 추가해 다시 학습시키는 방식의 연속 파인튜닝을 지원합니다. 즉, 베이스 모델(base model)로 매번 돌아가지 않고, 이미 튜닝된 결과물 위에 새 데이터를 쌓아 올릴 수 있는 구조입니다. 다만 지원되는 모델과 정책은 계속 바뀔 수 있으므로, 실제 적용 전에는 반드시 최신 공식 문서를 확인하는 것이 안전합니다.
3-2. 기타 플랫폼: 매번 베이스 모델부터 재학습만 허용하는 경우도 많다
반면 서비스에 따라서는 기존에 학습된 모델 위에 덧붙이는 재학습(연속 파인튜닝) 자체를 아예 허용하지 않는 경우도 많습니다. 이런 플랫폼에서는 데이터가 추가될 때마다 매번 오리지널 베이스 모델에서부터 새로 파인튜닝을 시작하도록 구조적으로 제한합니다. 이는 플랫폼 입장에서 모델 버전 관리와 안정성을 확보하기 위한 정책적 선택인 경우가 많습니다.
3-3. 상용 API 모델 정리
| 항목 | OpenAI (일부 모델) | 기타 플랫폼(정책에 따라 다름) |
|---|---|---|
| 연속 파인튜닝 지원 | 지원 (커스텀 모델 기반 추가 학습) | 미지원 또는 제한적인 경우 다수 |
| 재학습 시작점 | 기존 파인튜닝 모델 | 항상 오리지널 베이스 모델 |
| 확인 방법 | 공식 API 문서·모델별 지원 여부 | 각 플랫폼의 파인튜닝 정책 문서 |
상용 API 모델로 파인튜닝 이어하기, 즉 GPT 파인튜닝을 이어서 학습시키고 싶다면 가장 먼저 해야 할 일은 사용 중인 플랫폼의 최신 정책을 확인하는 것입니다. 지원 모델 목록과 정책은 자주 업데이트되기 때문입니다.
4. 오픈소스 모델(Llama, Mistral 등)의 연속 파인튜닝: 완전한 자유
오픈소스 모델 파인튜닝의 경우 이야기가 완전히 달라집니다. 기술적으로는 100% 가능합니다.
Llama, Mistral 같은 오픈소스 LLM은 모델의 가중치(weights) 파일 전체를 사용자가 직접 보유하게 됩니다. 이렇게 가중치 파일을 온전히 갖고 있다면, 이미 파인튜닝된 모델 파일 위에 새로운 데이터셋을 얹어 다시 학습(재학습)을 돌리는 것을 언제든지 자유롭게 할 수 있습니다. 플랫폼의 승인이나 정책 제약이 존재하지 않기 때문입니다.
이때 재학습 방식은 크게 두 가지로 나뉩니다.
- LoRA(Low-Rank Adaptation) 파인튜닝: 원본 모델 전체 가중치를 얼려두고, 작은 어댑터(adapter) 레이어만 추가로 학습하는 방식입니다. 학습에 필요한 GPU 메모리와 시간이 훨씬 적게 들어, 로컬 GPU 환경에서도 실무적으로 자주 쓰입니다.
- 전면 파인튜닝(Full Fine-tuning): 모델의 모든 가중치를 통째로 재학습하는 방식입니다. 더 강력하게 모델의 성격을 바꿀 수 있지만, 그만큼 연산 자원과 데이터 양이 많이 필요합니다.
오픈소스 모델을 self-hosting 환경(로컬 GPU, 온프레미스 서버, 클라우드 VM 등)에서 운영하고 있다면, 파인튜닝된 모델 파일을 기준으로 새 데이터를 추가해 LoRA 재학습을 반복하는 방식으로 연속 파인튜닝을 손쉽게 구현할 수 있습니다. 다만 이 자유로움에는 반드시 함께 따라오는 부작용이 있는데, 바로 다음 섹션에서 다룰 재앙적 망각입니다.
5. 연속 파인튜닝의 치명적 함정: 재앙적 망각(Catastrophic Forgetting)
연속 파인튜닝을 상용 API로 하든, 오픈소스 모델로 직접 돌리든, 어떤 모델이든 공통적으로 주의해야 할 치명적인 문제가 있습니다. 바로 재앙적 망각(Catastrophic Forgetting)입니다.
5-1. 재앙적 망각이란?
새로운 데이터로만 계속 모델을 덮어씌우듯 학습시키면, 모델이 이전에 학습했던 기존의 언어 능력이나 핵심 지식을 잊어버리거나 엉뚱한 답변을 내놓는 부작용이 쉽게 발생합니다. 이것이 재앙적 망각입니다.
쉽게 말해, 처음에는 여러 도메인 지식에 대해 무난하게 답하던 모델이, 특정 신규 데이터로만 반복해서 연속 파인튜닝을 거치다 보면 그 신규 도메인에는 강해지지만 원래 잘하던 다른 태스크에는 갑자기 취약해지는 현상입니다.
5-2. 왜 발생하는가
모델의 가중치는 학습 데이터의 분포에 맞춰 조정됩니다. 신규 데이터셋의 분포가 기존 학습 데이터의 분포와 크게 다를 경우, 경사 하강(gradient descent) 과정에서 기존 지식과 관련된 가중치가 새로운 데이터에 맞춰 덮어써지면서 이전 능력이 손상되는 것입니다. LoRA처럼 가벼운 방식이든, 전면 파인튜닝처럼 무거운 방식이든 이 위험 자체는 근본적으로 사라지지 않습니다.
6. 해결법: 통합 데이터셋으로 베이스 모델부터 다시 학습하기
그래서 실무에서는 파인튜닝된 모델 위에 계속 덮어쓰기 방식으로 연속 파인튜닝을 반복하기보다, ‘기존 데이터 + 신규 데이터’를 모두 합친 통합 데이터셋을 만들어 오리지널 베이스 모델부터 다시 학습시키는 방식을 더 안정적인 방법으로 권장합니다. 아래는 이를 실제로 구현할 때 따라볼 수 있는 단계별 절차입니다.
Step 1. 기존 학습 데이터셋 백업 및 버전 관리
가장 먼저 지금까지 사용한 원본 학습 데이터셋을 JSONL 등 재사용 가능한 형태로 백업하고 버전을 관리합니다. 이 데이터가 없으면 통합 데이터셋 자체를 만들 수 없기 때문에, 애초에 파인튜닝을 시작하는 시점부터 원본 데이터셋 보관을 습관화하는 것이 중요합니다.
Step 2. 신규 데이터셋 준비 및 포맷 통일
새로 확보한 데이터를 기존 데이터와 같은 포맷으로 정리합니다. 예를 들어 OpenAI 파인튜닝은 JSONL 형식을, 오픈소스 LoRA 학습은 Alpaca나 ShareGPT 같은 포맷을 주로 사용하므로, 신규 데이터도 동일한 스키마(prompt-response 구조 등)로 맞춰야 이후 병합 과정에서 오류가 나지 않습니다.
Step 3. 데이터 병합 및 비율 조정
기존 데이터와 신규 데이터를 하나의 통합 데이터셋으로 합칩니다. 이때 신규 데이터 비중이 지나치게 커지면 다시 재앙적 망각 위험이 높아질 수 있으므로, 상황에 맞게 기존 데이터의 일정 비율을 반드시 유지하는 것이 일반적인 실무 관행입니다. 다만 정확한 비율은 도메인과 데이터 양, 목표에 따라 달라지므로 고정된 정답이 있는 것은 아니며, 소규모로 여러 비율을 테스트해보며 조정하는 접근이 안전합니다.
Step 4. 중복 및 충돌 데이터 정제
병합 과정에서 기존 데이터와 신규 데이터 사이에 상충하는 답변이나 중복된 항목이 섞여 있는지 검증하고 정리합니다. 데이터셋 내부에 상반된 정답이 섞여 있으면 모델이 학습 과정에서 혼란을 겪어 응답 품질이 오히려 떨어질 수 있습니다.
Step 5. 오리지널 베이스 모델부터 재학습
정리된 통합 데이터셋을 가지고 이미 파인튜닝된 모델이 아니라, 처음의 오리지널 베이스 모델부터 다시 학습을 시작합니다. LoRA 방식이라면 이전에 사용했던 rank, alpha 등 하이퍼파라미터 설정을 참고해 일관성 있게 유지하는 것이 결과를 예측 가능하게 만드는 데 도움이 됩니다.
Step 6. 회귀 테스트로 기존 지식 유지 여부 확인
재학습이 끝난 뒤에는 신규 데이터에 대한 성능뿐 아니라, 과거에 잘 답변했던 기존 태스크에 대한 검증셋을 다시 돌려 응답 품질이 유지되는지 확인하는 회귀 테스트(regression test)를 거칩니다. 이 단계를 건너뛰면 재앙적 망각이 실제로 발생했는지조차 파악하기 어렵습니다.
Step 7. 배포 전 A/B 비교
가능하다면 기존 모델과 새로 통합 학습한 모델을 동일한 질의 셋에 대해 나란히 비교(A/B 테스트)해, 실제로 성능이 개선되었는지, 혹은 특정 영역에서 퇴보가 있는지를 최종적으로 점검한 뒤 배포합니다.
참고: LoRA 어댑터를 여러 개 만들어 병합(merge)하는 방식도 실무에서 종종 시도되지만, 이 역시 근본적으로 재앙적 망각 위험에서 완전히 자유롭지는 않습니다. 결국 가장 안정적인 해법은 위와 같이 통합 데이터셋으로 베이스 모델부터 다시 학습하는 방식입니다.
7. 한눈에 보는 비교 요약표
| 구분 | 상용 API (OpenAI 등) | 오픈소스 모델 (Llama, Mistral 등) |
|---|---|---|
| 연속 파인튜닝 가능 여부 | 플랫폼 정책에 따라 다름 | 기술적으로 100% 가능 |
| 필요 조건 | 플랫폼이 지원하는 모델/정책 | 모델 가중치 파일 전체 보유 |
| 재학습 방식 | API가 제공하는 방식(커스텀 모델 기반) | LoRA 또는 전면 파인튜닝 자유 선택 |
| 공통 위험 요소 | 재앙적 망각 | 재앙적 망각 |
| 권장 해결법 | 통합 데이터셋으로 베이스 모델부터 재학습 | 통합 데이터셋으로 베이스 모델부터 재학습 |
8. 자주 묻는 질문 (FAQ)
GPT 파인튜닝을 이어서 계속할 수 있나요?
OpenAI의 일부 최신 모델은 기존에 파인튜닝한 커스텀 모델을 기반으로 새로운 데이터를 추가해 연속 파인튜닝하는 것을 지원합니다. 다만 지원 모델과 정책은 시점에 따라 달라질 수 있으므로 최신 공식 문서 확인이 필요합니다.
Llama 같은 오픈소스 모델도 파인튜닝을 이어서 할 수 있나요?
네, 모델 가중치 파일을 직접 보유하고 있다면 기술적으로 언제든지 자유롭게 LoRA 또는 전면 파인튜닝 방식으로 이어서 학습시킬 수 있습니다.
재앙적 망각(Catastrophic Forgetting)은 왜 생기나요?
새로운 데이터로만 계속 모델을 덮어씌우듯 학습시키면, 모델이 기존에 학습했던 언어 능력이나 핵심 지식을 잊어버리거나 엉뚱한 답변을 하게 되는 부작용이 발생하기 쉽기 때문입니다.
LoRA 파인튜닝과 전면 파인튜닝 중 어떤 것을 골라야 하나요?
LoRA는 원본 가중치를 얼려두고 작은 어댑터만 학습하기 때문에 자원 소모가 적어 로컬 GPU 환경에서도 실무적으로 많이 쓰입니다. 반대로 전면 파인튜닝은 모델 전체를 재학습하는 만큼 더 강력하게 모델 성격을 바꿀 수 있지만 더 많은 연산 자원과 데이터가 필요합니다. 두 방식 모두 재앙적 망각 위험은 동일하게 존재하므로, 통합 데이터셋 재학습 전략은 방식과 무관하게 함께 적용하는 것이 안전합니다.
연속 파인튜닝이 가능한지는 결국 “어떤 플랫폼에서, 어떤 방식으로 모델을 다루고 있는가”에 달려 있습니다. 상용 API는 플랫폼 정책을 확인해야 하고, 오픈소스 모델은 가중치를 직접 쥐고 있는 만큼 기술적으로 완전한 자유가 주어집니다. 하지만 어느 쪽이든 재앙적 망각이라는 공통의 함정은 피할 수 없으며, 이를 해결하는 가장 현실적이고 안정적인 방법은 기존 데이터와 신규 데이터를 통합한 데이터셋으로 베이스 모델부터 다시 학습시키는 것입니다. 파인튜닝 이어하기를 계획하고 있다면, 무작정 덮어쓰기 전에 이 통합 재학습 전략을 먼저 검토해보시길 권합니다.
