מהו מנגנון Attention?
מנגנון Attention (קשב) הפך בשנים האחרונות לאבן יסוד במודלים מתקדמים של למידת מכונה,
ובפרט בתחום של עיבוד שפה טבעית (NLP), ראייה ממוחשבת, ותחומים נוספים.
המונח נלקח מהפסיכולוגיה הקוגניטיבית ומתאר את היכולת של מערכת ביולוגית או מלאכותית למקד
משאבים קוגניטיביים או חישוביים בגירויים החשובים ביותר ברגע נתון.
נסקור את הרקע למושג, את ההתפתחות שלו בלמידת מכונה, את הסוגים השונים של מנגנוני Attention,
את תרומתו לפריצות דרך כמו המודל Transformer, ואת מקביליו במוח האנושי.
Attention בלמידת מכונה
הרקע: מגבלות של מודלים רציפים
לפני הופעת מנגנון ה-Attention, רוב מודלי השפה הסתמכו על רשתות עצביות חוזרות (RNN) ועל גרסאות מתקדמות
שלהן כמו LSTM או GRU, אך היו לכך מגבלות:
קושי בזכירת מידע רחוק בטווח הרצף.
חוסר מקביליות: חישוב כל שלב תלוי בשלבים קודמים.
מהו Attention?
במונחים מתמטיים, מנגנון Attention הוא פונקציה המקצה משקל שונה לכל פריט קלט (למשל, לכל מילה במשפט)
בהתאם לרלוונטיות שלו למשימה הנוכחית.
זה מאפשר למודל “להתמקד” בחלקים הרלוונטיים של המידע במקום לעבד הכל בצורה שווה.
סוגי Attention
Bahdanau Attention (Additive Attention)
פותח בשנת 2015 במסגרת עבודות על תרגום מכונה.
בשיטה זו משתמשים בנוירון נוסף כדי לחשב ציון (score) לכל מצב מוסתר (hidden state),
ולאחר מכן ממירים את הציונים למשקלים (בעזרת softmax).
Dot-Product Attention (Scaled)
השתמשו בו לראשונה במודל Transformer.
מחשבים את הציון על ידי מכפלת סקלר של ה־Query וה־Key, ומחלקים אותו בשורש הגודל
של הוקטורים כדי למנוע פיצוצים נומריים.
Multi-Head Attention
במקום מחשוב תשומת לב אחת, משתמשים בכמה ראשים מקבילים (heads), כל אחד לומד התמקדות שונה בנתונים.
זה משפר את הגיוון של הקשרים שהמודל לומד.
Transformer ומהפכת ה-Attention
ב-2017, מאמר בשם “Attention Is All You Need” הציע מודל חדש לחלוטין, Transformer
שמבוסס רק על מנגנוני Attention, ללא שימוש ב-RNN.
מרכיבי ה-Transformer:
Self-Attention: כל טוקן במשפט מתחשב בכל טוקן אחר.
Position Encoding: מאחר ואין רציפות מובנית, מוסיפים מידע על מיקום כדי לשמר את סדר המילים.
Feed Forward Networks: שכבות נפרדות שמחזקות את עיבוד הפלט של Attention.
Residual Connections + Normalization: לשיפור זרימת הגרדיאנטים ויציבות האימון.
ה־Transformer הוא הבסיס למודלים מודרניים כמו BERT, GPT, T5 ועוד.
Attention בראייה ביולוגית
מהו קשב במוח האנושי?
המונח Attention בפסיכולוגיה מתייחס ליכולת שלנו לברור מידע רלוונטי מתוך שטף קלטים חושיים מתחרים. לדוגמה:
כאשר אנחנו קוראים ספר ברעש, המוח “מסנן” את הקולות ברקע.
כשאנחנו נוהגים, הקשב שלנו מופנה לנהיגה ולא לרקע.
מנגנוני קשב ביולוגיים
קיימים שני סוגים מרכזיים:
Bottom-Up Attention: מונע על ידי גירויים חיצוניים חזקים (כמו תנועה פתאומית).
Top-Down Attention: נובע מהמטרה הקוגניטיבית (למשל, מיקוד בשאלה בזמן מבחן).
הקבלה למודלים חישוביים
מנגנון ה-Query-Key-Value במודלים חישוביים דומה לפעולת הקורטקס הקדם-מצחי,
שבו נשמרות מטרות ותשומת לב משתנה לפי הקשר.
רשתות נוירונים מלאכותיות מחקות תהליכים מקבילים במוח, אך ברמת הפשטה גבוהה.
יישומים של Attention
תרגום מכונה – תרגום מדויק יותר באמצעות התייחסות דינמית לחלקים שונים במשפט המקור.
ניתוח טקסט – זיהוי רגשות, סיכום טקסט, זיהוי ישויות.
ראייה ממוחשבת – למשל, במודלים Vision Transformer (ViT).
ביואינפורמטיקה – חיזוי מבנה חלבונים (AlphaFold).
שיח ואינטראקציה – צ’טבוטים כמו GPT משתמשים במנגנוני Attention להבין הקשרים ארוכים.
אתגרים ומחקר עתידי בתחום Attention
הסבריות (Explainability): האם Attention באמת מראה “מה חשוב”? יש מחקרים שטוענים שלא תמיד.
סקיילינג: כאשר יש המון טוקנים (למשל בתמונה או מסמכים ארוכים), החישוב של Attention נעשה יקר.
פתרונות חדשים כוללים Sparse Attention ו־Linear Attention.
התאמה מוחית: מחקר נמשך על מנת לבדוק האם מודלים אלו אכן מתקרבים למבני עיבוד ביולוגיים.
