Token

توکن

توکن؛ واحد متن (کلمه یا بخش از کلمه) که مدل زبانی آن را پردازش می‌کند. تعداد Tokenها روی هزینه و محدودیت پردازش بسیاری از مدل‌های زبانی اثر می‌گذارد و الزاما با تعداد کلمات یکسان نیست.