מהי סגמנטציה?
סגמנטציה (Image segmentation) הוא תהליך המשמש בראייה ממוחשבת שבו תמונה מחולקת למספר מקטעים או חלקים,
במטרה לפשט או לשנות את הייצוג של התמונה כדי להפוך אותה למשמעותית יותר וקלה יותר לניתוח.
זה בעצם כרוך בחלוקת תמונה לקבוצות של פיקסלים הדומות לפי קבוצה של קריטריונים מוגדרים מראש.
להלן נקודות המפתח לגבי פילוח תמונות:
מטרה: המטרה העיקרית של סגמנטציה היא להפוך תמונות למובנות יותר וקלות יותר לניתוח על ידי בידוד
אובייקטים וגבולות בתוכם.
יישומים: יש לו מגוון רחב של יישומים כולל בהדמיה רפואית (כמו פילוח סוגים שונים של רקמות), מכוניות אוטונומיות
(לזיהוי שבילים ומכשולים), ראיית מכונה וסוגים רבים של בדיקה תעשייתית.
טכניקות: קיימות מספר שיטות לסגמנטציה, כולל:
סף: השיטה הפשוטה ביותר שבה פיקסלים מסומנים על סמך טווח של ערכים.
שיטות אשכולות: כגון K-פירושו שבו פיקסלים מקובצים על סמך העוצמות או תכונות הצבע שלהם.
פילוח מבוסס קצה: מזהה קצוות בתוך תמונה כדי למצוא גבולות בין אובייקטים.
פילוח מבוסס אזור: כולל קיבוץ פיקסלים שכנים בעלי ערכים דומים.
שיטות למידה עמוקה: שימוש ברשתות עצביות, במיוחד רשתות עצביות קונבולוציוניות, לפילוח מורכב ומדויק יותר.
פלט: הפלט של תהליך סגמנטציה הוא בדרך כלל קבוצה של פלחים המכסים ביחד את כל התמונה, או ייצוג של הגבולות בתוך התמונה.
סגמנטציה הוא שלב מכריע במשימות רבות של ניתוח תמונה מכיוון שהוא משפיע ישירות על הביצועים של שלבי העיבוד הבאים.
שימושים של סגמנטציה
לסגמנטציה יש מגוון רחב של יישומים מעשיים על פני תעשיות ותחומי לימוד שונים.
חלק מהשימושים הבולטים כוללים:
הדמיה רפואית: בתחום הבריאות, סגמנטציה משמש לניתוח סריקות רפואיות כגון MRI, סריקות CT וקרני רנטגן כדי לזהות אזורי עיניין.
זה עוזר באבחון מחלות, תכנון טיפולים ומעקב אחר התקדמות המחלה על ידי פילוח אזורים כמו גידולים, איברים ומבנים אנטומיים אחרים.
כלי רכב אוטונומיים: סגמנטציה מסייעת במערכות התפיסה של מכוניות אוטונומיות.
היא משמשת כדי להבחין בין כבישים, הולכי רגל, כלי רכב וחפצים אחרים כדי לנווט בבטחה בסביבה.
חישה מרחוק: בהדמיית לוויין, סגמנטציה משמשת לסיווג אזורי שימוש שונים בקרקע כגון גופי מים, יערות ואזורים עירוניים לניטור סביבתי,
תכנון עירוני וניהול משאבים.
זיהוי אובייקטים: בראייה ממוחשבת, סגמנטציה משמשת לזיהוי וסיווג אובייקטים בתוך תמונה, דבר הבסיסי למערכות המקיימות
אינטראקציה עם הסביבה שלהן, כגון מערכות איסוף רובוטיות.
מערכות בקרת תנועה: סגמנטציה מסייעת בניטור ובקרה על התנועה על ידי ניתוח תמונות בזמן אמת ממצלמות תנועה כדי לזהות
ולספור כלי רכב, לזהות פקקים ולנהל אותות תנועה בהתאם.
מעקב וידאו: סגמנטציה משמשת באבטחה כדי לזהות ולעקוב אחר אנשים או חפצים לאורך זמן לצורך ניטור בטיחות,
זיהוי חריגות וזיהוי פעילות.
אחזור תמונות מבוסס תוכן: בספריות דיגיטליות ובמסדי נתונים של תמונות, סגמנטציה מסייעת בשיפור החיפוש והשליפה של תמונות
המבוססות על תוכן חזותי, כגון זיהוי תמונות עם אובייקטים או סצנות דומות.
חקלאות: חקלאים וחוקרים משתמשים בסגמנטציה כדי לנתח תמונות אוויריות להערכת בריאות היבול, שימוש בקרקע וחיזוי יבול,
מה שמקל על שיטות חקלאות מדויקות.
קמעונאות: בענף הקמעונאות, סגמנטציה מנתחת תנועות והתנהגות של לקוחות בתוך חנויות, לעזור באופטימיזציה של
פריסת החנויות ולשפר את חוויות הלקוחות.
סריקת מסמכים ו-OCR: סגמנטציה ממלאת תפקיד מכריע במערכות זיהוי תווים אופטי (OCR) על ידי הפרדת טקסט מרקע,
דבר חיוני עבור דיגיטציה של מסמכים ועיבוד טקסט אוטומטי.
אלגוריתמים של סגמנטציה
אלגוריתמי סגמנטציה הם מרכיב ליבה של ראייה ממוחשבת, שנועדו לחלק תמונה למקטעים מרובים המקלים על ניתוח התמונה.
להלן כמה מהאלגוריתמים העיקריים המשמשים לסגמנטציה, יחד עם הסברים קצרים על כל אחד מהם:
Thresholding
זוהי אחת הצורות הפשוטות ביותר של סגמנטציה.
זה כולל פילוח של התמונה על סמך ערכי עוצמת הפיקסלים.
לדוגמה, כל הפיקסלים מעל עוצמה מסוימת יכולים להיחשב לקטע אחד, בעוד שכל האחרים נופלים לקטע אחר.
Thresholding יעיל במיוחד עם תמונות בעלות ניגודיות גבוהה.
Region-Based Segmentation
Region Growing: שיטה זו מתחילה בנקודת מוצא ומוסיפה פיקסלים שכנים לאזור אם יש להם מאפיינים דומים (כגון עוצמה או צבע).
Region Splitting and Merging: גישה זו מחלקת את התמונה לאזורים ולאחר מכן ממזגת או מפצלת אותם על סמך
קבוצה של כללים מוגדרים מראש.
Edge Detection
Sobel, Prewitt, Roberts: אלו הן שיטות מבוססות שיפוע המזהות קצוות באמצעות הבדלים בעוצמת הפיקסלים.
Canny Edge Detector: אלגוריתם מתקדם לזיהוי קצוות המשתמש בעיבוד רב-שלבי כדי לזהות מגוון רחב של קצוות בתמונות.
Clustering Methods
K-means Clustering: אלגוריתם זה מחלק את פיקסלי התמונה לאשכולות K על סמך התכונות שלהם (כמו עוצמת הפיקסלים).
כל אשכול מתאים לקטע בתמונה.
Mean Shift Clustering: שיטה זו מוצאת אזורים צפופים של נקודות נתונים (בהתבסס על צבע או עוצמת פיקסל)
ומשמשת לאיתור ופילוח אזורים דומים בתמונה.
Watershed Algorithm
טכניקה זו משמשת למציאת גבולות מדויקים בתמונות.
הוא מתייחס לערכי הפיקסלים כמשטח טופוגרפי שבו “מים” יזרמו באופן תיאורטי.
הגבולות נקבעים לפי היכן ייפגשו מים מאגני יבול שונים.
Graph-based Segmentation
Normalized Cuts: שיטה זו משתמשת בחיתוך גרף כדי לפלח את התמונה. פיקסלים מיוצגים כצמתים בגרף,
וקצוות בין צמתים מייצגים דמיון.
האלגוריתם מחלק את הגרף למקטעים על ידי מזעור עלות הקיצוץ.
Minimum Cut/Maximum Flow Algorithms: אלה משמשים כדי למצוא את הדרך האופטימלית לחתוך דרך גרף
כדי להפריד בין אובייקטים שונים בתמונה.
Deep Learning Methods
CNN: משמש לפילוח סמנטי שבו כל פיקסל מסווג לקטגוריה.
FCN: אלה מרחיבים את רשתות ה-CNN על ידי החלפת שכבות מחוברות במלואן בשכבות קונבולוציוניות
כדי להוציא מפות מרחביות במקום ציוני סיווג.
U-Net: סוג של CNN יעיל במיוחד לפילוח תמונות ביו-רפואי. הוא כולל נתיב מתכווץ ללכידת הקשר ונתיב
מתרחב סימטרי המאפשר לוקליזציה מדויקת.
Mask R-CNN: הרחבה של Faster R-CNN שמוסיפה ענף לחיזוי מסכות פילוח בכל אזור עניין (RoI),
בנוסף לסיווג האובייקטים.
