pre-train

Huggingface Diffuser
사전학습

src: HuggingFace Transformer

사전 학습은 딥러닝 모델을 처음부터 학습시키는 것이 아니라, 미리 학습된 모델의 가중치(weights)와 특성을 활용하여 초기 가중치를 설정하는 기술입니다.

미리 학습된 모델은 대규모 데이터로 학습되었으며, 일반적인 특징과 패턴을 잘 파악하고 있습니다. 따라서 새로운 작업을 위해 이러한 모델을 사용하면 초기 가중치가 우수하며, 빠른 수렴과 높은 성능을 제공할 수 있습니다.

참조

  1. [딥러닝 pre train의 의미]. https://chat.openai.com/