사전 학습 모델, Pre-trained Model

사전 학습 모델은 대규모 데이터셋으로 미리 학습된 AI 모델을 말합니다. 큰 데이터로 기본적인 패턴과 지식을 먼저 학습하면, 시간과 비용이 절약됩니다.또한, 방대한 지식으로 학습했기 때문에 일반적인 지식을 잘 갖추고 있고 후에 파인 튜닝을 통해 목적에 맞게 조정할 수 있습니다.

사전학습 과정

사전 학습은 보통 두 단계로 이루어집니다.

1. 대규모 데이터로 학습
   • 인터넷의 텍스트, 이미지, 코드 등 방대한 데이터를 사용합니다.
   • 모델이 언어의 문법, 지식, 이미지 패턴 등을 배우고 이 과정을 통해 수억개가 넘는 파라미터들이 조정됩니다.
   • 보통 몇주 이상의 엄청난 컴퓨팅 자원을 필요로 합니다.
2. 일반적인 능력 획득
   • 문맥 이해, 패턴 인식, 추론 능력을 갖춥니다.
   • 특정 작업을 직접 학습하지 않아도 어느 정도 선에서는 수행이 가능해집니다.

장점과 한계

1. 장점
   • 적은 데이터로도 좋은 성능을 낼 수 있습니다.
   • 학습 시간과 비용을 대폭 절감합니다.
   • 검증된 아키텍처를 활용해 안정성이 있습니다.
2. 한계
   • 사전 학습 데이터의 편향이 전이될 가능성이 존재합니다.
   • 도메인이 너무 다른 경우에는 사용하기 힘듭니다.
   • 대규모 모델은 배포와 운영에 많은 자원이 필요합니다.