מה זה ResNet?
ResNet (או Residual Network) היא רשת עצבית עמוקה, שנבנתה במטרה להתמודד עם בעיות שמופיעות
ברשתות עמוקות מאוד, כמו ירידה בביצועים כתוצאה מהעמקת הרשת.
היא הוצעה על ידי חוקרים של מיקרוסופט בשנת 2015, והפכה במהרה לאחד מהמודלים הפופולריים
ביותר בלמידה עמוקה, במיוחד בתחום זיהוי תמונות.
הבעיה המרכזית שרשתות עמוקות (deep neural networks) מתמודדות איתן היא “דעיכת גרדיאנטים”
(vanishing gradients) – כאשר רשת נהיית עמוקה מדי, הערכים של הגרדיאנטים הנדרשים ללמידה מתחילים לדעוך,
מה שמקשה על האימון של הרשת.
זה גורם לכך שהוספת שכבות לרשת לא משפרת את הביצועים, ולעיתים אפילו גורמת להרעה.
החידוש של ResNet היה בהצגת מה שנקרא קשרים שיוריים (skip connections) או קשרים מקוצרים (shortcuts).
במקום שכל שכבה תלמד ישירות את הפונקציה הנכונה להפקת הפלט, המודל של ResNet מאפשר
להעביר את הקלט המקורי (לפני העיבוד של שכבה מסוימת) הלאה לתוך השכבות הבאות,
כך שהמודל בעצם לומד את ההבדלים (“שאריות”) בין הקלט לבין הפלט.
כך הרשת מצליחה לשמר ביצועים טובים גם כשמעמיקים אותה בצורה משמעותית.
ResNet הוא סוג של רשת עצבית שמצליחה להתמודד עם בעיות ברשתות עמוקות על ידי הכנסת קיצורי דרך,
המאפשרים לרשת ללמוד ביעילות רבה יותר גם כשמעמיקים את המבנה שלה.
שימושים של ResNet
רשת ResNet נמצאת בשימוש נרחב בתחומים רבים בתחום הבינה המלאכותית והלמידה העמוקה,
בזכות היכולת שלה להתמודד עם בעיות ברשתות עצביות עמוקות. הנה כמה מהשימושים הנפוצים:
זיהוי תמונות (Image Recognition):
רשת ResNet פותחה במקור לצורך תחרויות כמו ImageNet, ומאז היא בשימוש רב במודלים של
זיהוי והבנה של תמונות.
היא מאפשרת סיווג תמונות לרמות דיוק גבוהות מאוד במערכות זיהוי אוטומטיות.
גילוי אובייקטים (Object Detection):
ResNet משמשת כבסיס לרשתות מתקדמות כמו Faster R-CNN שמיועדות לגילוי אובייקטים בתמונות,
למשל בזיהוי פרצופים, רכבים, או חפצים אחרים.
סגמנטציה של תמונות (Image Segmentation):
ResNet משולבת גם באלגוריתמים לסגמנטציה של תמונות, כמו רשתות Fully Convolutional Networks
(FCN) ו-U-Net.
שימוש זה כולל חלוקת תמונה לאזורים שונים לפי קטגוריות (למשל בסריקות רפואיות או תמונות לוויין).
זיהוי פנים (Face Recognition):
מודלים כמו FaceNet ו-DeepFace יכולים להשתמש ברשתות שיוריות לזיהוי פרצופים באופן מדויק ומהיר.
רשתות ResNet מעבדות את התמונות ומפיקות תכונות פנים חשובות להבחנה בין אנשים שונים.
עיבוד שפה טבעית (Natural Language Processing – NLP):
למרות שרשתות כמו Transformer הפכו לשכיחות יותר, נעשה שימוש ב-ResNet גם בעיבוד שפה טבעית,
בעיקר במשימות כמו סיווג טקסט, במיוחד במקרים בהם יש צורך בעיבוד מידע ויזואלי וטקסטואלי במקביל.
וידאו (Video Processing):
ResNet משמשת גם לעיבוד רצפים של תמונות בווידאו לצורך הבנה של תוכן וידאו,
זיהוי אובייקטים נעים, מעקב אחרי אובייקטים, או סיווג של אקשן ותנועות.
אנליזה רפואית (Medical Imaging):
רשתות ResNet משמשות לניתוח תמונות רפואיות כמו סריקות רנטגן, MRI, או CT,
לצורך גילוי אוטומטי של מחלות או חריגות, לדוגמה גילוי סרטן או הערכת מצב לבבי.
רכב אוטונומי (Autonomous Vehicles):
ברכבים אוטונומיים, ResNet משולבת במערכות הראייה הממוחשבת המזהות אובייקטים, מנתחות סביבות נסיעה,
ומסווגות מידע ויזואלי בזמן אמת, כדי לספק לרכב הבנה של סביבתו.
אומנות ויצירת תמונות (Artistic Style Transfer):
ResNet משתלבת בטכניקות להעברת סגנון אומנותי בתמונות, כאשר תמונה אחת עוברת עיבוד
כך שהיא “מאמצת” את הסגנון של תמונה אחרת (למשל שילוב בין תמונה רגילה לסגנון ציור אומנותי).
שאלות ותשובות בנושא ResNet
ש: למה פותחה ResNet?
ת: ResNet פותחה כדי לפתור את הבעיה של ירידה בביצועים (vanishing gradients) ברשתות עצביות עמוקות,
בכך שהיא מאפשרת יצירת קשרים שיוריים שעוזרים לשפר את הלמידה.
ש: מהו הקונספט המרכזי של ResNet?
ת: הקונספט המרכזי של ResNet הוא הקשרים השיוריים, שמאפשרים להעביר את הקלט המקורי
של שכבה מסוימת לשכבות הבאות מבלי לעבור עיבוד מלא בכל שכבה.
ש: איך ResNet משפרת רשתות עצביות עמוקות?
ת: ResNet משפרת רשתות עמוקות על ידי שמירה על גרדיאנטים יציבים בזמן הלמידה,
כך שניתן להעמיק את הרשת מבלי לאבד את היכולת לאמן אותה ביעילות.
ש: באיזה תחום משתמשים בעיקר ב-ResNet?
ת: אחד השימושים העיקריים של ResNet הוא בזיהוי תמונות ובסיווג תמונות,
כמו למשל בתחרות ImageNet.
ש: מהי הבעיה של דעיכת גרדיאנטים?
ת: דעיכת גרדיאנטים היא בעיה שבה כאשר רשת נהיית עמוקה יותר,
הגרדיאנטים הנדרשים לעדכון משקולות הרשת נחלשים עד כדי כך שקשה לאמן את הרשת כראוי.
