token

Huggingface Transformer
토큰

src: HuggingFace Transformer

딥러닝에서 “token(토큰)”은 텍스트 데이터를 작은 단위로 분할하는 과정에서 나오는 기본적인 단위를 나타냅니다. 이 단위는 일반적으로 단어, 부분 단어, 문자 또는 하위 단어 단위일 수 있습니다. 토큰화(tokenization)는 텍스트 데이터를 이러한 토큰으로 분해하는 과정을 말합니다.

참조

  1. [딥러닝 token의 의미]. https://chat.openai.com/