Self-Attention

توجه به خود

توجه به خود؛ سازوکاری که به مدل اجازه می‌دهد ارتباط و اهمیت بخش‌های مختلف یک ورودی را نسبت به یکدیگر بررسی کند.