מילון מונחים ללמידת מכונה

מילון המונחים הזה מגדיר מונחים כלליים של למידת מכונה וגם מונחים ספציפיים ל-TensorFlow.

A

אבלציה

שיטה להערכת החשיבות של תכונה או רכיב, על ידי הסרה שלו ממודל באופן זמני. לאחר מכן צריך לאמן מחדש את המודל בלי התכונה או הרכיב האלה, ואם הביצועים של המודל שעברו אימון מחדש גרועים משמעותית, סביר להניח שהתכונה או הרכיב שהוסרו היו חשובים.

לדוגמה, נניח שמאמנים מודל סיווג על 10 תכונות ומשיגים דיוק של 88% בקבוצת הבדיקה. כדי לבדוק את החשיבות של המאפיין הראשון, אפשר לאמן מחדש את המודל באמצעות תשע התכונות האחרות בלבד. אם המודל שעבר אימון מחדש מניב ביצועים פחות טובים באופן משמעותי (למשל, דיוק של 55%), כנראה שהתכונה שהוסרה הייתה חשובה. לעומת זאת, אם המודל שעבר אימון מחדש מניב ביצועים דומים, אז כנראה שלתכונה הזו לא הייתה חשיבות רבה.

Ablation יכול גם לעזור לקבוע את החשיבות של:

• רכיבים גדולים יותר, כמו מערכת משנה שלמה של מערכת למידת מכונה גדולה
• בתהליכים או בשיטות, כמו שלב של עיבוד מראש של נתונים

בשני המקרים, תוכלו לראות איך ביצועי המערכת משתנים (או לא משתנים) לאחר הסרת הרכיב.

בדיקת A/B

דרך סטטיסטית להשוות שתי שיטות (או יותר) – ה-A וה-B. בדרך כלל, A היא שיטה קיימת וה-B היא שיטה חדשה. בדיקת A/B לא רק קובעת איזו שיטה מניבה ביצועים טובים יותר, אלא גם אם ההבדל מובהק מבחינה סטטיסטית.

בבדיקות A/B בדרך כלל מתבצעת השוואה בין מדד יחיד בשתי שיטות. לדוגמה, מה ההבדל בין דיוק המודל בין שתי שיטות? עם זאת, בדיקת A/B יכולה גם להשוות כל מספר סופי של מדדים.

שבב מאיץ

קטגוריה של רכיבי חומרה מיוחדים שמיועדים לבצע חישובי מפתח שנדרשים לאלגוריתמים של למידה עמוקה (Deep Learning).

צ'יפים של מאיץ (או בקיצור מאיצים) יכולים להגביר את המהירות והיעילות של משימות האימון וההסקה משמעותית בהשוואה למעבד לשימוש כללי. הם אידיאליים לאימון רשתות נוירונים ולמשימות חישוביות דומות.

דוגמאות לצ'יפים של מאיץ:

• יחידות עיבוד Tensor של Google (TPU) עם חומרה ייעודית ללמידה עמוקה (Deep Learning).
• יחידות ה-GPU של NVIDIA, למרות שהן תוכננו בהתחלה לעיבוד גרפי, הן נועדו לאפשר עיבוד מקביל, שעשוי להגביר את מהירות העיבוד באופן משמעותי.

דיוק

מספר החיזויים של הסיווג הנכון, חלקי המספר הכולל של החיזויים. כלומר:

לדוגמה, אם מודל מבצע 40 חיזויים נכונות ו-10 חיזויים שגויים, רמת הדיוק שלו תהיה:

סיווג בינארי מספק שמות ספציפיים לקטגוריות השונות של חיזויים נכונים וחיזויים שגויים. לכן, נוסחת הדיוק לסיווג בינארי היא:

איפה:

• TP הוא המספר של התוצאות החיוביות הנכונות (חיזויים נכונים).
• TN הוא המספר של מילות המפתח השליליות הנכונות (חיזויים נכונים).
• FP הוא מספר התוצאות החיוביות השגויות (חיזויים שגויים).
• FN הוא מספר התוצאות השליליות השגויות (חיזויים שגויים).

השוואה וניגוד בין הדיוק באמצעות דיוק ואחזור.

accuracy = (TP + TN) / (TP + TN + FP + FN)
accuracy = (0 + 36500) / (0 + 36500 + 25 + 0) = 0.9993 = 99.93%

פעולה

בלמידת חיזוק, המנגנון שבאמצעותו הסוכן עובר בין מצבים של הסביבה. הנציג בוחר את הפעולה באמצעות מדיניות.

פונקציית הפעלה

פונקציה שמאפשרת לרשתות נוירונים ללמוד על קשרים לא לינאריים (מורכבים) בין תכונות לבין התווית.

פונקציות הפעלה פופולריות כוללות:

• ReLU
• Sigmoid

התרשימים של פונקציות ההפעלה הם אף פעם לא קווים ישרים בודדים. לדוגמה, התרשים של פונקציית ההפעלה של ReLU מורכב משני קווים ישרים:

שרטוט של פונקציית ההפעלה sigmoid נראה כך:

weighted sum = (2)(-1.3) + (-1)(0.6) + (3)(0.4) = -2.0

למידה פעילה

גישת אימון שבה האלגוריתם בוחר חלק מהנתונים שהוא לומד מהם. למידה פעילה חשובה במיוחד כשמשיגים דוגמאות מתויגות מועטות או יקרות. במקום לחפש בצורה עיוורת מגוון רחב של דוגמאות מתויגות, אלגוריתם של למידה פעילה מחפש באופן סלקטיבי את מגוון הדוגמאות שהוא צריך לצורך למידה.

AdaGrad

אלגוריתם מתוחכם של ירידה הדרגתית, שמשנה את ההדרגתיות של כל פרמטר, ומספק באופן יעיל לכל פרמטר קצב למידה בלתי תלוי. להסבר מלא, ראו מאמר זה של AdaGrad.

נציג

בלמידת חיזוק, הישות שמשתמשת במדיניות כדי למקסם את התשואה הצפויה מהמעבר בין מדינות בסביבה.

באופן כללי, סוכן הוא תוכנה שמתכננת לבצע סדרה של פעולות באופן עצמאי להשגת יעד מסוים, עם יכולת להסתגל לשינויים בסביבה. לדוגמה, סוכנים מבוססי LLM עשויים להשתמש ב-LLM כדי ליצור תוכנית, במקום להחיל מדיניות של חיזוק הלמידה.

גיבוש דפי אינטרנט לאשכולות

ניתן לעיין באשכולות היררכיים.

זיהוי אנומליות

תהליך הזיהוי של חריגים חשודי טעות. לדוגמה, אם הממוצע של מאפיין מסוים הוא 100 עם סטיית תקן של 10, זיהוי האנומליות צריך לסמן את הערך 200 כחשוד.

AR

קיצור של Augmented Reality (מציאות רבודה).

שטח מתחת לעקומת ה-PR

ראו PR AUC (אזור מתחת לעקומת PR).

שטח מתחת לעקומת ה-ROC

למידע נוסף, אפשר לעיין בקטע AUC (אזור מתחת לעקומת ROC).

לגבי בינה מלאכותית,

מנגנון לא אנושי שמדגים מגוון רחב של פתרון בעיות, יצירתיות והסתגלות. לדוגמה, תוכנית שמדגימה בינה כללית מלאכותית יכולה לתרגם טקסט, לחבר סימפוניות וגם להצטיין במשחקים שעדיין לא הומצאו.

לגבי בינה מלאכותית,

תוכנה לא אנושית או model שיכולים לפתור משימות מתוחכמות. לדוגמה, תוכנית או מודל שמתרגמים טקסט, או תוכנית או מודל שמזהים מחלות בתמונות רדיולוגיות, גם הם וגם מציגים בינה מלאכותית.

באופן רשמי, למידת מכונה היא תת-תחום של בינה מלאכותית. עם זאת, בשנים האחרונות, ארגונים מסוימים התחילו להשתמש במונחים בינה מלאכותית ולמידת מכונה במקביל.

תשומת הלב,

מנגנון שנמצא בשימוש ברשת נוירונים שמציין את החשיבות של מילה מסוימת או של חלק מסוים ממילה. תשומת הלב דוחסת את כמות המידע שדרושה למודל כדי לחזות את האסימון/המילה הבאה. מנגנון תשומת לב אופייני יכול לכלול סכום משוקלל בקבוצת קלט, כאשר המשקל של כל קלט מחושב על ידי חלק אחר ברשת הנוירונים.

כדאי לקרוא גם את המונחים קשב עצמי וקשב עצמי עם מספר ראשים, שהם אבני הבניין של טרנספורמרים.

שיוך

מילה נרדפת לפיצ'ר.

בהוגנות במסגרת למידת מכונה, מאפיינים מתייחסים לעיתים קרובות למאפיינים שקשורים לאנשים פרטיים.

דגימת מאפיינים

טקטיקה לאימון יער החלטות שבו כל עץ החלטות לוקח בחשבון רק קבוצת משנה אקראית של תכונות אפשריות בזמן הלמידה של תנאי. באופן כללי, נדגמת קבוצת משנה שונה של תכונות לכל צומת. לעומת זאת, כשאימון עץ החלטות בלי דגימת מאפיינים, כל התכונות האפשריות מביאות בחשבון כל צומת.

AUC (אזור מתחת לעקומת ROC)

מספר בין 0.0 ל-1.0 שמייצג את יכולת המודל סיווג בינארי להפריד סיווגים חיוביים ממחלקות שליליות. ככל שה-AUC קרוב יותר ל-1.0, כך היכולת של המודל להפריד בין כיתות טובה יותר.

לדוגמה, האיור הבא מציג מודל מסַווג שמפריד בצורה מושלמת בין סיווגים חיוביים (אליפסות ירוקות) למחלקות שליליות (מלבנים סגולים). למודל הזה, שבאופן לא מציאותי, יש AUC של 1.0:

לעומת זאת, באיור הבא מוצגות התוצאות של מודל סיווג שהניב תוצאות אקראיות. מודל AUC של מודל זה הוא 0.5:

כן, מספר AUC של המודל הקודם הוא 0.5 ולא 0.0.

רוב המודלים נמצאים במקום כלשהו בין שתי הקיצוניות האלה. למשל, המודל הבא מפריד במידה מסוימת בין חיוביים שליליים, ולכן יש לו AUC בין 0.5 ל-1.0:

AUC מתעלם מכל ערך שהגדרתם לסף סיווג. במקום זאת, מערכת AUC מביאה בחשבון את כל ערכי הסף האפשריים לסיווג.

מציאות רבודה

טכנולוגיה שמוסיפה תמונה ממוחשבת לעל העולם האמיתי של המשתמש, וכך מספקת תצוגה מורכבת.

מקודד אוטומטי

מערכת שלומדת לחלץ את המידע החשוב ביותר מהקלט. מקודדים אוטומטיים הם שילוב של מקודד ומפענח. מקודדים אוטומטיים מסתמכים על התהליך הבא שכולל שני שלבים:

1. המקודד ממפה את הקלט לפורמט עם ערך איבוד של מידות נמוכות (בינוני) (בדרך כלל).
2. המפענח בונה גרסת איבוד נתונים של הקלט המקורי על ידי מיפוי הפורמט בממדים הנמוכים יותר לפורמט הקלט המקורי עם ממדים גבוהים יותר.

המקודדים האוטומטיים מאומנים מקצה לקצה כי המפענח מנסה לשחזר בצורה מדויקת ככל האפשר את הקלט המקורי מפורמט הביניים של המקודד. מכיוון שפורמט הביניים קטן יותר (במידות נמוכות יותר) מהפורמט המקורי, המקודד האוטומטי נאלץ ללמוד איזה מידע בקלט הוא חיוני והפלט לא יהיה זהה לגמרי לקלט.

למשל:

• אם נתוני הקלט הם גרפיים, העותק הלא מדויק יהיה דומה לגרפיקה המקורית, אבל יהיה שינוי קל. יכול להיות שהעותק הלא מדויק מסיר את הרעש מהגרפיקה המקורית או ממלא מספר פיקסלים חסרים.
• אם נתוני הקלט הם טקסט, מקודד אוטומטי ייצור טקסט חדש שמחקה את הטקסט המקורי (אבל לא זהה לו).

מידע נוסף זמין גם במאמר מקודדים אוטומטיים משתנים.

הטייה אוטומטית

כשמקבלי החלטות אנושיים מעדיפים המלצות שהתקבלו על ידי מערכת אוטומטית לקבלת החלטות, על פני מידע שהתקבל ללא אוטומציה, גם במקרה שמערכת קבלת ההחלטות האוטומטית גורמת לשגיאות.

AutoML

כל תהליך אוטומטי לפיתוח מודלים של למידת מכונה מודלים. AutoML יכול לבצע משימות כמו:

• מחפשים את המודל המתאים ביותר.
• כוונון היפר-פרמטרים.
• להכין נתונים (כולל ביצוע הנדסת תכונות).
• פורסים את המודל שנוצר.

AutoML הוא כלי שימושי למדעני נתונים כי הוא יכול לחסוך להם זמן ומאמצים בפיתוח צינורות עיבוד נתונים של למידת מכונה ולשפר את דיוק החיזוי. הוא שימושי גם למי שאינם מומחים, כי הוא הופך משימות מורכבות של למידת מכונה לנגישות יותר.

מודל רגרסיבי אוטומטי

model שמסיק חיזוי על סמך החיזויים הקודמים שלו. לדוגמה, מודלים של שפה רגרסיביים אוטומטיים חוזים את האסימון הבא על סמך האסימונים שנחזתה קודם. כל מודלים גדולים של שפה (LLM) שמבוססים על טרנספורמר הם רגרסיביים אוטומטית.

לעומת זאת, מודלים של תמונות המבוססים על GAN בדרך כלל לא רגרסיביים אוטומטית כי הם יוצרים תמונה במעבר אחד קדימה ולא באופן איטרטיבי בשלבים. עם זאת, חלק מהמודלים ליצירת תמונות הם רגרסיביים אוטומטית כי הם יוצרים תמונה בשלבים.

אובדן עזר

פונקציית הפסד – בשילוב עם פונקציית האובדן העיקרית של רשת נוירונים במודל, שעוזרת להאיץ את האימון באיטרציות מוקדמות יותר כאשר המשקולות מופעלות באופן אקראי.

פונקציות אובדן עזר דוחפות הדרגתיות אפקטיבית לשכבות הקודמות. כך ניתן ליצור איחוד במהלך האימון על ידי מאבק בבעיית ההדרגתיות של ההדרגתיות.

דיוק ממוצע

מדד לסיכום הביצועים של רצף תוצאות מדורגת. הדיוק הממוצע מחושב על סמך ממוצע ערכי הדיוק של כל תוצאה רלוונטית (כל תוצאה ברשימה המדורגת שבה הריקול עולה ביחס לתוצאה הקודמת).

ראו גם שטח מתחת לעקומת ה-PR.

תנאי יישור לציר

בעץ החלטות, תנאי שכולל רק תכונה אחת. לדוגמה, אם אזור הוא מאפיין, אז התנאי הבא הוא יישור לציר:

area > 200

השוו בין מצב משופע.

B

הפצה לאחור

האלגוריתם שמיישם ירידה הדרגתית ברשתות נוירונים.

אימון של רשת נוירונים כולל איטרציות רבות מהמחזור הבא של שני מעברים:

1. במהלך ההעברה קדימה, המערכת מעבדת אצווה של דוגמאות לחיזוי תפוקה. המערכת משווה כל חיזוי לכל ערך של תווית. ההבדל בין החיזוי לערך התווית הוא הפסד בדוגמה הזו. המערכת צוברת את האובדן של כל הדוגמאות כדי לחשב את סכום האובדן הכולל של המקבץ הנוכחי.
2. במהלך המעבר לאחור (ההפצה לאחור), המערכת מתאימה את המשקולות של כל הנוירונים בכל השכבות המוסתרות כדי להפחית את האובדן.

רשתות נוירונים מכילות בדרך כלל נוירונים רבים בשכבות נסתרות רבות. כל אחד מהנוירונים האלה תורם לאובדן הכולל בדרכים שונות. הפצה לאחור קובעת אם להגדיל או להקטין את המשקולות שחלות על נוירונים מסוימים.

קצב הלמידה הוא מכפיל שקובע באיזו מידה כל מעבר לאחור עולה או יורד כל משקל. קצב למידה גבוה יגדיל או יקטין כל משקל יותר מקצב למידה קטן.

במונחי החשבון, ההפצה לאחור מטמיעה את כלל השרשרת מהחשבון. כלומר, ההפצה לאחור מחשבת את הנגזרת החלקית של השגיאה עם כל פרמטר.

לפני שנים רבות, בעלי מקצוע בתחום למידת מכונה היו צריכים לכתוב קוד כדי להטמיע הפצה לאחור. ממשקי API מודרניים של למידת מכונה כמו TensorFlow מיישמים עכשיו הפצה לאחור. סוף סוף!

כבודה

שיטה לאימון של הרכב שבו כל מודל מרכיב מודל מאמן על קבוצת משנה אקראית של דוגמאות אימון שנדגמו עם החלפה. לדוגמה, יער אקראי הוא אוסף של עצי החלטה שאומנו עם עבודת נשיאה.

המונח תיק נשיאה הוא קיצור של bootstrap agging.

שק מילים

ייצוג המילים בביטוי או בקטע, ללא קשר לסדר שלהן. לדוגמה, "תיק מילים" מייצג את שלושת הביטויים הבאים באופן זהה:

• הכלב קופץ
• מקפץ את הכלב
• כלב קופץ

כל מילה ממופה לאינדקס בוקטור sparse, שבו הווקטור יש אינדקס לכל מילה באוצר המילים. לדוגמה, הביטוי the dog bars ממופה לווקטור מאפיין עם ערכים לא אפס בשלושת האינדקסים שתואמים למילים the , dog ו-jumps. הערך שאינו אפס יכול להיות כל אחת מהאפשרויות הבאות:

• A 1 כדי לציין נוכחות של מילה.
• ספירה של מספר הפעמים שמילה מופיעה בתיק. לדוגמה, אם הביטוי היה הכלב החום הוא כלב עם פרווה חום ערמוני, גם חום ערמוני וגם כלב מיוצגים ב-2, ומילים אחרות מיוצגות כ-1.
• ערך אחר כלשהו, כמו הלוגריתם של מספר הפעמים שמילה מופיעה בתיק.

ערך הבסיס

model שמשמש כנקודת השוואה להשוואת הביצועים של מודל אחר (בדרך כלל המודל המורכב יותר). לדוגמה, מודל של רגרסיה לוגיסטי יכול לשמש כבסיס טוב למודל עומק.

ביחס לבעיה מסוימת, ערכי הבסיס עוזרים למפתחי המודלים לכמת את הביצועים המינימליים הצפויים שמודל חדש צריך להשיג כדי שהמודל החדש יהיה שימושי.

אצווה

קבוצת הדוגמאות שנעשה בהן שימוש באיטרציה אחת לאימון. גודל האצווה קובע את מספר הדוגמאות באצווה.

בקטע תקופה תוכלו לקרוא הסבר על האופן שבו אצווה קשורה לתקופה של זמן מערכת.

הסקת מסקנות באצווה

תהליך הסקת של חיזויים על מספר דוגמאות ללא תוויות, המחולק לקבוצות משנה קטנות יותר ('אצווה').

הסקת מסקנות בכמות גדולה יכולה להשתמש בתכונות המקבילות של צ'יפים של מאיצים. כלומר, מספר מאיצים יכולים להסיק בו-זמנית תחזיות לגבי קבוצות שונות של דוגמאות ללא תוויות, וכך להגדיל משמעותית את מספר ההסקה לשנייה.

נירמול בכמות גדולה

נירמול של הקלט או הפלט של פונקציות ההפעלה בשכבה מוסתרת. נירמול בכמות גדולה יכול לספק את היתרונות הבאים:

• שיפור היציבות של רשתות נוירונים באמצעות הגנה מפני משקולות חריגות.
• להפעיל קצבי למידה גבוהים יותר, שיכולים לזרז את האימון.
• מפחיתים את האפשרות התאמה יתר.

גודל אצווה

מספר הדוגמאות באצווה. לדוגמה, אם גודל המקבץ הוא 100, המודל יעבד 100 דוגמאות לכל איטרציה.

אסטרטגיות נפוצות לגודל אצווה הן:

• Stochastic Gradient Descent (SGD), שבו גודל הקבוצה הוא 1.
• אצווה מלאה, שבה גודל הקבוצה הוא מספר הדוגמאות בכל קבוצת האימון. למשל, אם קבוצת האימון מכילה מיליון דוגמאות, גודל הקבוצה יהיה מיליון דוגמאות. אצווה מלאה היא בדרך כלל אסטרטגיה לא יעילה.
• mini-batch שבו גודל האצווה הוא בדרך כלל בין 10 ל-1,000. בדרך כלל הגישה היעילה ביותר היא באמצעות 'מיני-אצווה'.

רשת נוירונים בייסיאנית

רשת נוירונים הסתברותית של אי-ודאות במשקלים ובפלט. מודל רגרסיה סטנדרטי של רשת נוירונים בדרך כלל מחזית ערך סקלרי. לדוגמה, מודל סטנדרטי חוזה מחיר בית של 853,000. לעומת זאת, רשת נוירונים בייסיאנית חוזה את התפלגות הערכים. לדוגמה, מודל בייסיאני חוזה מחיר בית של 853,000 עם סטיית תקן של 67,200.

רשת נוירונים בייסיאנית מסתמכת על משפט בייס כדי לחשב אי-ודאות במשקלים ובחיזויים. רשת נוירונים בייסיאנית יכולה להיות שימושית כשחשוב לכמת את אי-הוודאות, למשל במודלים שקשורים לתרופות. רשתות נוירונים בייסיאניות יכולות גם לעזור במניעת התאמת יתר.

אופטימיזציה בייסיאנית

מודל רגרסיה הסתברותי לביצוע אופטימיזציה של פונקציות אובייקטיביות יקרות מבחינה חישובית, באמצעות אופטימיזציה של חומר חלופי שמשמש לכמת אי-הוודאות באמצעות שיטת למידה בייסיאנית. מכיוון שהאופטימיזציה של בייסיאנית יקרה מאוד, בדרך כלל משתמשים בה כדי לבצע אופטימיזציה של משימות שיקרות להערכה ומכילות מעט פרמטרים, כמו בחירת היפר-פרמטרים.

משוואת בלמן

בלמידת חיזוק, הזהות הבאה מתמלאת בפונקציית ה-Q האופטימלית:

\[Q(s, a) = r(s, a) + \gamma \mathbb{E}_{s'|s,a} \max_{a'} Q(s', a')\]

האלגוריתמים של למידת חיזוק מחילים את הזהות הזו כדי ליצור Q-learning באמצעות כלל העדכון הבא:

\[Q(s,a) \gets Q(s,a) + \alpha \left[r(s,a) + \gamma \displaystyle\max_{\substack{a_1}} Q(s',a') - Q(s,a) \right] \]

מעבר ללמידת החיזוק, למשוואת Bellman יש יישומים לתכנות דינמי. ראו הסבר על משוואת Bellman בוויקיפדיה.

BERT (ייצוגים דו-כיווניים של מקודד מטרנספורמרים)

ארכיטקטורה של מודלים למצג שווא של טקסט. מודל BERT מאומן יכול לשמש כחלק ממודל גדול יותר לסיווג טקסטים או למשימות אחרות של למידת מכונה.

ל-BERT יש את המאפיינים הבאים:

• שימוש בארכיטקטורה של טרנספורמר, ולכן הוא מסתמך על קשב עצמי.
• משתמש בחלק המקודד של הטרנספורמר. התפקיד של המקודד הוא ליצור ייצוגי טקסט טובים במקום לבצע משימה ספציפית, כמו סיווג.
• היא דו-כיוונית.
• נעשה שימוש באנונימיזציה לצורך אימון לא מפוקח.

הווריאציות של BERT כוללות:

• ALBERT, שהוא ראשי תיבות של A Light BERT.
• LaBSE

לסקירה כללית של BERT, עיינו במאמר Open Sourcing BERT: State-of-Art-training for Natural Language Processing.

הטיה (אתיקה/הוגנות)

‫1. סטריאוטיפים, דעות קדומות או העדפה כלפי דברים מסוימים, אנשים או קבוצות על פני אחרים. ההטיות האלה יכולות להשפיע על איסוף ופירוש נתונים, על עיצוב המערכת ועל האינטראקציה של המשתמשים עם המערכת. דוגמאות לסוגים כאלה של הטיה:

• הטיית אוטומציה
• הטיית אישור
• ההטיה של הבודק
• הטיה בשיוך קבוצתי
• הטיה מרומזת
• הטיה בתוך הקבוצה
• הטיה והומוגניות של קבוצה מחוץ לקבוצה

‫2. שגיאה מערכתית שנוצרה באמצעות דגימה או תהליך דיווח. דוגמאות לסוגים כאלה של הטיה:

• הטיה בכיסוי
• הטיות ללא תגובה
• הטיית השתתפות
• הטיה בדיווח
• הטיות דגימה
• הטיה בבחירה

חשוב להבדיל בין מונח ההטיה במודלים של למידת מכונה או הטיה של חיזוי.

מונח של הטיה (מתמטיקה) או הטיה

יירוט או היסט ממקור. הטיה היא פרמטר במודלים של למידת מכונה, שמסמל אחד או יותר מהמאפיינים הבאים:

• b
• w₀

לדוגמה, ההטיה היא הערך b בנוסחה הבאה:

בקו דו-ממדי פשוט, ההטיה פירושה "חיתוך y". לדוגמה, ההטיה של הקו באיור הבא היא 2.

קיימת הטיה כי לא כל המודלים מתחילים מהמקור (0,0). לדוגמה, נניח שכניסה לפארק שעשועים היא 2 אירו לכניסה, ועוד 0.5 אירו לכל שעה שבה לקוח שוהה. לכן, במודל שממפה את העלות הכוללת יש הטיה 2 כי העלות הנמוכה ביותר היא 2 אירו.

חשוב להבדיל בין דעות קדומות לבין הטיה והגינות או הטיה של חיזוי.

דו-כיווני

מונח שמשמש לתיאור מערכת שמעריכה את הטקסט שגם קודם וגם עוקב אחרי קטע יעד בטקסט. לעומת זאת, מערכת חד-כיוונית מבצעת הערכה רק של הטקסט שקודם לקטע יעד בטקסט.

לדוגמה, נבחן מודל שפה מסכה שחייב לקבוע הסתברויות למילה או למילים שמייצגות את הקו התחתון בשאלה הבאה:

מה זה _____ איתך?

מודל שפה חד-כיווני צריך לבסס את ההסתברויות שלו רק על ההקשר שמספק המילים "מה", "הוא" ו-"the". לעומת זאת, מודל שפה דו-כיווני יכול לקבל הקשר גם מ'עם' ומ'את/ה', מה שיכול לעזור למודל ליצור חיזויים טובים יותר.

מודל שפה דו-כיווני

מודל שפה שקובע את הסבירות לכך שאסימון נתון נמצא במיקום נתון בקטע טקסט על סמך הטקסט הקודם והעוקב.

Bigram

N-gram שבו N=2.

סיווג בינארי

סוג של משימת סיווג שחוזה אחד משני סיווגים בלעדיים:

• המחלקה החיובית
• המחלקה השלילית

לדוגמה, כל אחד מהמודלים הבאים של למידת מכונה מבצע סיווג בינארי:

• מודל שקובע אם הודעות אימייל הן ספאם (הסיווג החיובי) או לא ספאם (הסיווג השלילי).
• מודל להערכת תסמינים רפואיים כדי לקבוע אם אדם סובל ממחלה מסוימת (הסיווג החיובי) או אם הוא לא חולה את המחלה הזו (המחלקה השלילית).

ניגוד לסיווג מרובה-מחלקות.

אפשר לקרוא גם רגרסיה לוגיסטית וסף סיווג.

תנאי בינארי

בעץ ההחלטות, תנאי שיש לו רק שתי תוצאות אפשריות, בדרך כלל כן או לא. לדוגמה, התנאי הבא הוא תנאי בינארי:

temperature >= 100

השוו בין תנאי לא בינארי.

binning

מילה נרדפת ליצירת קטגוריות.

BLEU (Bilingual Evaluation Substudy)

ציון בין 0.0 ל-1.0, כולל, שמעיד על איכות התרגום בין שתי שפות אנושיות (לדוגמה: בין אנגלית לרוסית). ציון BLEU של 1.0 מציין תרגום מושלם; ציון BLEU: 0.0 מציין תרגום גרוע.

הגדלת

טכניקת למידת מכונה שמשלבת באופן חזרתי קבוצה של מסווגים פשוטים ולא מדויקים מאוד (שנקראים מסווגים 'חלשים') לסיווג עם רמת דיוק גבוהה (סיווג 'חזק') על ידי שקלול של הדוגמאות שהמודל מסווג כרגע באופן שגוי.

תיבה תוחמת (bounding box)

בתמונה, הקואורדינטות (x, y) של מלבן מסביב לאזור עניין מסוים, כמו הכלב בתמונה למטה.

שידור

הרחבת הצורה של אופרנד בפעולה מתמטית במטריצה למאפיינים שתואמים לפעולה הזו. לדוגמה, באלגברה לינארית חייבים להיות אותם מימדים של שתי האופרנדים בפעולת חיבור מטריצה. לכן אי אפשר להוסיף מטריצה של צורה (m, n) לווקטור באורך n. שידור מאפשר את הפעולה הזו על ידי הרחבה וירטואלית של הווקטור של האורך n למטריצה של צורה (m, n) על ידי שכפול של אותם הערכים במורד כל עמודה.

לדוגמה, בהתאם להגדרות הבאות, אלגברה לינארית אוסרת על השימוש ב-A+B כי ל-A ול-B יש מאפיינים שונים:

A = [[7, 10, 4],
     [13, 5, 9]]
B = [2]

עם זאת, השידור מאפשר את הפעולה A+B על ידי הרחבה וירטואלית של B אל:

 [[2, 2, 2],
  [2, 2, 2]]

לכן, A+B הוא עכשיו פעולה תקינה:

[[7, 10, 4],  +  [[2, 2, 2],  =  [[ 9, 12, 6],
 [13, 5, 9]]      [2, 2, 2]]      [15, 7, 11]]

למידע נוסף, ראו שידור ב-NumPy.

יצירת קטגוריות

המרת מאפיין בודד למספר תכונות בינאריות שנקראות קטגוריות או bins, בדרך כלל לפי טווח ערכים. הפיצ'ר המחתוך הוא בדרך כלל פיצ'ר רציף.

לדוגמה, במקום לייצג את הטמפרטורה כתכונה אחת רציפה של נקודה צפה (floating-point), אפשר לקצץ טווחי טמפרטורות לקטגוריות נפרדות, כמו:

• <= 10 מעלות צלזיוס תהיה הקטגוריה ה "קרה".
• הערך של 11-24 מעלות צלזיוס הוא הקטגוריה ה "ממוזגת".
• >= 25 מעלות צלזיוס תהיה הקטגוריה "חם".

המודל יתייחס לכל ערך באותה קטגוריה באופן זהה. לדוגמה, הערכים 13 ו-22 נמצאים שניהם בקטגוריה הממוזג, כך שהמודל מתייחס לשני הערכים באופן זהה.

C

שכבת כיול

התאמה אחרי החיזוי, בדרך כלל כדי להביא בחשבון את ההטיה של החיזוי. החיזויים וההסתברויות המותאמים צריכים להתאים להתפלגות של קבוצת תוויות שנמדדה.

יצירת מועמדים

הקבוצה הראשונית של ההמלצות שנבחרו על ידי מערכת המלצות. לדוגמה, נניח שיש חנות ספרים שמציעה 100,000 כותרים. שלב יצירת המועמד יוצר רשימה קטנה הרבה יותר של ספרים מתאימים למשתמש מסוים, למשל 500. אבל גם 500 ספרים הם הרבה יותר מדי מכדי להמליץ למשתמש. השלבים הבאים של מערכת המלצות (כמו ציון ודירוג מחדש) מצמצמים את 500 השלבים האלה לכדי קבוצת המלצות קטנה ומועילה הרבה יותר.

דגימות של מועמדים

אופטימיזציה בזמן אימון, שמחשבת הסתברות לכל התוויות החיוביות, באמצעות, למשל, softmax, אבל רק עבור מדגם אקראי של תוויות שליליות. לדוגמה, בדוגמה עם התווית ביגל ו-כלב, דגימות המועמדות מחשבת את ההסתברויות החזויות ואת מונחי האובדן התואמים של:

• ביגל
• כלב
• תת-קבוצה אקראית של הסוגים השליליים שנותרו (לדוגמה: cat, lollipop ו-fence).

הרעיון הוא שהסיווגים השליליים יכולים ללמוד מחיזוקים שליליים בתדירות נמוכה יותר, כל עוד סיווגים חיוביים תמיד מקבלים חיזוק חיובי, וזה ניכר באופן אמפירי.

דגימת מועמדים יעילה יותר מבחינה חישובית מאשר אימון אלגוריתמים שמחשבים תחזיות של כל הסוגים השליליים, במיוחד כשמספר הסוגים השליליים גדול מאוד.

נתונים קטגוריים

לתכונות עם קבוצה ספציפית של ערכים אפשריים. לדוגמה, שימו לב לתכונה קטגורית בשם traffic-light-state, שיכול להיות לה רק אחד משלושת הערכים האפשריים הבאים:

• red
• yellow
• green

כשהמודל מייצג את traffic-light-state כתכונה קטגורית, הוא יכול ללמוד את ההשפעות השונות של red, green ו-yellow על התנהגות הנהגים.

תכונות קטגוריות נקראות לפעמים תכונות נפרדות.

השוו בין נתונים מספריים.

מודל שפה סיבתית

מילה נרדפת למודל שפה חד-כיווני.

ראו מודל שפה דו-כיווני כדי להשוות בין גישות כיווניות שונות בבניית מודלים של שפות.

מרכז

מרכז האשכול כפי שנקבע באמצעות אלגוריתם k-means או k-median. למשל, אם k הוא 3, אז האלגוריתם k-media או האלגוריתם k-median מוצא 3 צנטרואידים.

גיבוש דפי אינטרנט לאשכולות לפי מרכז

קטגוריה של אלגוריתמים של קיבוץ נתונים באשכולות, שמארגנים נתונים באשכולות לא היררכיים. k-means הוא אלגוריתם הקיבוץ לאשכולות לפי צנטרואידים.

ביצוע ניגודיות עם אלגוריתמים של אשכולות היררכיים.

הנחיות בטכניקת שרשרת מחשבה

שיטה של הנדסת הנחיות שמעודדת מודל שפה גדול (LLM) להסביר את הנימוקים שלו, שלב אחרי שלב. לדוגמה, שימו לב להנחיה הבאה, ושימו לב במיוחד למשפט השני:

כמה כוחות g שווה נהג במכונית שנע בין 0 ל-96 ק"מ בשעה ב-7 שניות? בתשובה, מציגים את כל החישובים הרלוונטיים.

סביר להניח שהתשובה של ה-LLM:

• הצגת רצף של נוסחאות בפיזיקה, והזנת הערכים 0, 60 ו-7 במקומות המתאימים.
• הסבירו למה בחרו בה את הנוסחאות האלה ומה המשמעות של המשתנים השונים.

הנחיות בטכניקת שרשרת מחשבה מאלצות את ה-LLM לבצע את כל החישובים, ויכול להיות שתקבלו תשובה נכונה יותר. בנוסף, הנחיות בטכניקת שרשרת מחשבה מאפשרות למשתמש לבחון את השלבים של ה-LLM כדי לקבוע אם התשובה הגיונית.

צ'אט, צ'ט, צאט, צט

התוכן של שיח בין שתי פעימות עם מערכת למידת מכונה, בדרך כלל מודל שפה גדול (LLM). האינטראקציה הקודמת בצ'אט (מה הקלדת ואיך תגובת מודל השפה הגדול) הופכת להקשר של החלקים הבאים בצ'אט.

צ'אט בוט הוא אפליקציה של מודל שפה גדול (LLM).

נקודת ביקורת

נתונים שמתעדים את מצב הפרמטרים של המודל באיטרציה מסוימת של אימון. נקודות ביקורת מאפשרות לייצא משקולות של מודל או לבצע אימון בכמה סשנים. נקודות ביקורת (checkpoints) מאפשרות גם להמשיך באימון כדי להמשיך בשגיאות קודמות (לדוגמה, הפסקת עבודה).

אחרי כוונון עדין, נקודת ההתחלה של האימון של המודל החדש תהיה נקודת ביקורת ספציפית של המודל שעבר אימון מראש.

מחלקה

קטגוריה שאליה תווית יכולה להשתייך. למשל:

• במודל של סיווג בינארי שמזהה ספאם, שני הסוגים עשויים להיות ספאם ולא ספאם.
• במודל סיווג רב-סיווגי שמזהה גזעים של כלבים, הטיפוסים יכולים להיות פודל, ביגל, פאג וכן הלאה.

מודל סיווג יוצר חיזוי של מחלקה. לעומת זאת, מודל רגרסיה חוזה מספר ולא מחלקה.

מודל סיווג.

model שהחיזוי שלו הוא model. לדוגמה, המודלים הבאים הם מודלים של סיווג:

• מודל שחוזה את השפה של משפט קלט (צרפתית? ספרדית? איטלקית?).
• מודל שחוזה את זני העצים (מייפל? Oak? באובב?).
• מודל שחוזה את המחלקה החיובית או השלילית במצב רפואי מסוים.

לעומת זאת, מודלים של רגרסיה חוזים מספרים ולא מחלקות.

יש שני סוגים נפוצים של מודלים של סיווג:

• סיווג בינארי
• סיווג לכמה כיתות

סף סיווג (classification threshold)

בסיווג בינארי, מספר בין 0 ל-1 שממיר את הפלט הגולמי של מודל רגרסיה לוגיסטית לחיזוי של המחלקה החיובית או המחלקה השלילית. שימו לב שסף הסיווג הוא ערך שהאדם בוחר, ולא ערך שנבחר על ידי אימון המודל.

מודל רגרסיה לוגיסטי יוצר ערך גולמי בין 0 ל-1. לאחר מכן:

• אם הערך הגולמי הזה גבוה מסף הסיווג, המערכת חזויה את המחלקה החיובית.
• אם הערך הגולמי הזה נמוך מסף הסיווג, המערכת חזויה את המחלקה השלילית.

לדוגמה, נניח שסף הסיווג הוא 0.8. אם הערך הגולמי הוא 0.9, אז המודל חוזה את המחלקה החיובית. אם הערך הגולמי הוא 0.7, המודל חוזה את המחלקה השלילית.

בחירת הסף לסיווג משפיעה באופן משמעותי על מספר התוצאות החיוביות המוטעות ותוצאות שליליות כוזבות.

מערך נתונים עם איזון בכיתה

מערך נתונים של בעיית סיווג שבה המספר הכולל של התוויות בכל מחלקה שונה באופן משמעותי. לדוגמה, נבחן מערך נתונים של סיווג בינארי ששתי התוויות שלו מחולקות באופן הבא:

• 1,000,000 תוויות שליליות
• 10 תוויות חיוביות

היחס בין תוויות שליליות לתוויות חיוביות הוא 100,000 ל-1, אז זהו מערך נתונים לא מאוזן בכיתה.

לעומת זאת, מערך הנתונים הבא לא לא מאוזן, כי היחס בין תוויות שליליות לתוויות חיוביות קרוב יחסית ל-1:

• 517 תוויות שליליות
• 483 תוויות חיוביות

אפשר גם לאזן בין מערכי נתונים מכמה מחלקות. לדוגמה, גם מערך הנתונים הבא של סיווג מרובה-מחלקות לא מאוזן, כי תווית אחת מכילה הרבה יותר דוגמאות משתי התוויות האחרות:

• 1,000,000 תוויות עם סיווג "ירוק"
• 200 תוויות עם סיווג "סגול"
• 350 תוויות עם סיווג "כתום"

ראו גם אנטרופיה, סיווג ראשי וסיווג מיעוט.

חיתוך

שיטה לטיפול בחריגים חריגים באמצעות אחת מהפעולות הבאות או את שתיהן:

• צריך להוריד את ערכי feature שחורגים מהסף המקסימלי.
• להגדיל את הערכים של התכונות שנמוכים מהסף המינימלי עד לסף המינימלי.

לדוגמה, נניח שפחות מ-0.5% מהערכים של תכונה מסוימת נמצאים מחוץ לטווח של 40-60. במקרה כזה, אפשר לבצע את הפעולות הבאות:

• צריך להצמיד את כל הערכים שחורגים מ-60 (הסף המקסימלי) כך שיהיו בדיוק 60.
• צריך להצמיד את כל הערכים מתחת ל-40 (הסף המינימלי) כך שיהיו בדיוק 40.

חריגות חריגות עלולות לגרום נזק למודלים, ולפעמים לגרום למשקולות לגלוש במהלך האימון. ערכים חריגים מסוימים יכולים גם לקלל משמעותית מדדים כמו דיוק. ביצוע קליפים היא שיטה נפוצה להגבלת הנזק.

חיתוך Gradient מאלצת ערכים של הדרגתיות בטווח ייעודי במהלך האימון.

Cloud TPU

מאיץ חומרה מיוחד שנועד להאיץ עומסי עבודה של למידת מכונה ב-Google Cloud.

קיבוץ לאשכולות

דוגמאות קשורות לקיבוץ, במיוחד במהלך למידה בלתי מונחית. אחרי שמקבצים את כל הדוגמאות, אדם יכול לספק משמעות לכל אשכול.

קיימים הרבה אלגוריתמים של קיבוץ. לדוגמה, דוגמאות למצבי אלגוריתמים של k-כלומר על סמך הקרבה שלהם למרכז, כמו בתרשים הבא:

לאחר מכן, חוקר אנושי יכול לבדוק את האשכולות, לדוגמה, לסמן את אשכול 1 כ "עצים ננסיים" ואת אשכול 2 כ "עצים בגודל מלא".

דוגמה נוספת: נבחן אלגוריתם של קיבוץ לפי המרחק של דוגמה מנקודת מרכז, שמוצג כך:

התאמה משותפת

כשנוירונים חוזים דפוסים בנתוני אימון על ידי הסתמכות כמעט רק על פלט של נוירונים ספציפיים אחרים, במקום להסתמך על התנהגות הרשת בכללותה. כשהדפוסים שגורמים להתאמה משותפת לא נמצאים בנתוני האימות, ההתאמה המשותפת גורמת להתאמה יתר. הסתגלות לנטישה מפחיתה את ההתאמה המשותפת, כי הנשירה מבטיחה שהנוירונים לא יכולים להסתמך רק על נוירונים ספציפיים אחרים.

סינון שיתופי

חיזויים לגבי תחומי העניין של משתמש אחד, על סמך תחומי העניין של משתמשים רבים אחרים. במערכות ההמלצות משתמשים בדרך כלל בסינון שיתופי.

סחף קונספט

שינוי בקשר בין תכונות לבין התווית. לאורך זמן, התנודות בקונספט מפחיתות את איכות המודל.

במהלך האימון, המודל לומד את הקשר בין התכונות לבין התוויות שלהן בערכת האימון. אם התוויות בערכת האימון הן שרתי proxy טובים בעולם האמיתי, המודל צריך להפיק חיזויים טובים מהעולם האמיתי. עם זאת, בגלל הבדלים בקונספטים, החיזויים של המודל נוטים לרדת עם הזמן.

לדוגמה, נבחן מודל סיווג בינארי שחוזה אם דגם מסוים של מכונית 'יעיל בדלק'. כלומר, התכונות יכולות להיות:

• משקל הרכב
• דחיסת מנוע
• סוג השידור

כשהתווית היא:

• חסכוני בדלק
• לא חסכוני בדלק

עם זאת, המושג 'מכונית חסכונית בדלק' משתנה שוב ושוב. דגם של מכונית שסווג כיעיל בדלק בשנת 1994 יסומן כלא חסכוני בדלק בשנת 2024. מודל עם סחף קונספטים נוטה להפיק תחזיות פחות שימושיות לאורך זמן.

השוואה וניגוד לללא תחנות.

מצב

בעץ החלטות, כל צומת שמעריך ביטוי. לדוגמה, החלק הבא בעץ ההחלטות מכיל שני תנאים:

תנאי נקרא גם פיצול או בדיקה.

ניגודיות בין המצב עם עלה.

לעיונך:

• תנאי בינארי
• תנאי לא בינארי.
• תנאי יישור לציר
• oblique-condition

קונבולציה

הזיה היא מילה נרדפת.

מונחה הוא כנראה מדויק יותר מבחינה טכנית מאשר הזיה. עם זאת, תגובות לא תואמות נתונים הפכו לפופולריות לפני כולם.

הגדרות אישיות

התהליך של הקצאת ערכי המאפיין הראשוניים שמשמשים לאימון המודל, כולל:

• שכבות ההרכבה של המודל
• המיקום של הנתונים
• היפר-פרמטרים כמו:
  • קצב למידה
  • איטרציות
  • אופטימיזציה
  • פונקציית אובדן

בפרויקטים של למידת מכונה, אפשר להגדיר את התצורה באמצעות קובץ תצורה מיוחד או באמצעות ספריות הגדרות אישיות, כמו:

• HParam
• ג'ין
• Fiddle

הטיית אישור

הנטייה לחפש, לפרש, להעדיף ולהיזכר במידע באופן שמאשר את האמונות הקיימות או ההשערות הקיימות שלו. מפתחי למידת מכונה עשויים לאסוף בטעות נתונים או לתייג אותם בדרכים שמשפיעות על תוצאה שתומכת באמונות הקיימות שלהם. הטיית אישור היא סוג של הטיה מרומזת.

הטייה של הניסוי היא סוג של הטיית אישור, שבה הוא ממשיך לאמן מודלים עד שמאשרים השערה קיימת.

מטריצת בלבול

טבלת NxN שמסכמת את מספר החיזויים הנכונים והשגויים שנוצרו במודל סיווג. לדוגמה, נבחן את מטריצת הבלבול הבאה למודל סיווג בינארי:

מטריצת הבלבול שלמעלה מראה את הדברים הבאים:

• מתוך 19 החיזויים שבהם האמת האדמה הייתה Tumor, המודל סיווג את 18 בצורה נכונה וסיווג את 1 באופן שגוי.
• מתוך 458 החיזויים שבהם האמת (ground tumor) הייתה לא-Tumor, המודל סיווג נכון את 452 והסיווג של 6 בטעות.

מטריצת הבלבול לבעיה של סיווג מרובה-מחלקות יכולה לעזור לכם לזהות דפוסים של טעויות. לדוגמה, נבחן את מטריצת הבלבול הבאה של מודל סיווג רב-סיווגי של 3 מחלקות, שמסווג שלושה סוגים שונים של קשתית העין (וירג'יניה, Versicolor ו-Setosa). כשאמת הבסיס הייתה וירג'יניה, מטריצת הבלבול מראה שלמודל היה סיכוי גבוה בהרבה לחזות בטעות את Versicolor מאשר סטוסה:

דוגמה נוספת: מטריצת בלבול יכולה לגלות שמודל שמאומן לזהות ספרות בכתב יד נוטה לחזות בטעות 9 במקום 4, או לחזות בטעות את הערך 1 במקום 7.

מטריצות בלבול מכילות מספיק מידע לחישוב מגוון מדדי ביצועים, כולל דיוק ואחזור.

ניתוח של מחוז בחירה

פיצול משפט למבנים דקדוקיים קטנים יותר ('מרכיבים'). חלק מאוחר יותר במערכת למידת המכונה, כמו מודל הבנת שפה טבעית (NLP), יכול לנתח את מרכיבים בקלות רבה יותר מאשר המשפט המקורי. לדוגמה, נבחן את המשפט הבא:

חבר שלי אימץ שני חתולים.

מנתח של מחוז בחירה יכול לחלק את המשפט הזה לשני המרכיבים הבאים:

• חבר שלי הוא ביטוי של שם עצם.
• אמץ שני חתולים הוא ביטוי של פועל.

ניתן לחלק את המרכיבים האלה לחלוקות משנה קטנות יותר. לדוגמה, הביטוי של פועל

אימץ שני חתולים

ניתן לחלק אותו לקבוצות משנה:

• adopted הוא פועל.
• שני חתולים הוא ביטוי נוסף של שם עצם.

הטמעת שפה לפי הקשר

הטמעה שמתקרבת ל "הבנה" של מילים וביטויים בדרכים שדוברים אנשים ילידיים יכולים לראות אותן. הטמעות של שפה לפי הקשר יכולות להבין תחביר, סמנטיקה והקשר מורכבים.

לדוגמה, כדאי לשקול הטמעות של המילה באנגלית cow. הטמעות ישנות יותר כמו word2vec יכולות לייצג מילים באנגלית כך שהמרחק במרחב ההטמעה מפרה לשור דומה למרחק בין ewe (כבשה נקבה) ל-ram (כבשה זכרה) או מנקבה לזכר. הטמעה של שפה לפי הקשר יכולה לקחת רחוק יותר, כי היא מזהה שדוברי אנגלית לפעמים משתמשים במילה פרה בתור פרה או שור.

חלון ההקשר

מספר האסימונים שהמודל יכול לעבד בהנחיה נתונה. ככל שחלון ההקשר גדול יותר, כך המודל יכול להשתמש ביותר מידע כדי לספק תשובות עקביות ועקביות להנחיה.

תכונה רציפה

מאפיין נקודה צפה (floating-point) עם טווח אינסופי של ערכים אפשריים, כמו טמפרטורה או משקל.

ניגודיות עם תכונה נפרדת.

דגימת נוחות [ברבים: דגימות נוחוּת]

שימוש במערך נתונים שלא נאסף באופן מדעי כדי להריץ ניסויים מהירים. בשלב מאוחר יותר, חשוב לעבור למערך נתונים שנאסף באופן מדעי.

התכנסות

מצב שאליו מגיעים כשערכי loss משתנים מעט מאוד או בכלל לא בכל איטרציה. לדוגמה, עקומת ההפסד הבאה מצביעה על המרה של כ-700 איטרציות:

המודל מתכנס כשאימון נוסף לא ישפר את המודל.

בלמידה עמוקה (Deep Learning), ערכי אובדן הנתונים נשארים לפעמים קבועים או כמעט באותה מידה באיטרציות רבות לפני שהם יורדים בסופו של דבר. במהלך תקופה ארוכה של ערכי הפסדים קבועים, יכול להיות שתקבלו באופן זמני תחושה שגויה של התכנסות.

למידע נוסף, כדאי לעיין בקטע עצירה מוקדמת.

פונקציית קמור

פונקציה שבה האזור מעל התרשים של הפונקציה הוא קבוצה קמורה. הפונקציה הקמורה האב טיפוסית בנויה בצורת האות U. לדוגמה, כל הפונקציות הבאות הן פונקציות קמורות:

לעומת זאת, הפונקציה הבאה אינה קמורה. שימו לב שהאזור שמעל התרשים לא מייצג קבוצת קמורות:

לפונקציה קמורה מחמירה יש בדיוק נקודת מינימום מקומית אחת, שהיא גם נקודת המינימום הגלובלית. הפונקציות הקלאסיות בצורת U הן פונקציות קמורות לחלוטין. אבל יש פונקציות קמורות (לדוגמה, קווים ישרים) שהן לא בצורת U.

אופטימיזציה של קמורות

תהליך השימוש בטכניקות מתמטיות כמו ירידה הדרגתית כדי למצוא את הערך המינימלי של פונקציה קמורה. הרבה מחקר בלמידת מכונה התמקד בניסוח של בעיות שונות כבעיות אופטימיזציה קמורות, ובפתרון הבעיות האלה באופן יעיל יותר.

הפרטים המלאים זמינים במאמר: בויד ו-ונדנברג, אופטימיזציה קמור.

קבוצה קמורה

קבוצת משנה של המרחב האאוקלידי, כך שהקו שעובר בין שתי נקודות בקבוצת המשנה נשאר במלואו בתוך קבוצת המשנה. לדוגמה, שתי הצורות הבאות הן קבוצות קמורות:

לעומת זאת, שתי הצורות הבאות הן לא קבוצות קמורות:

קונבולציה

במתמטיקה, במילים קלילות, שילוב של שתי פונקציות. בלמידת מכונה, קונבולציה משלבת את המסנן המסומם עם מטריצת הקלט כדי לאמן משקולות.

המונח 'קבולציה' בלמידת מכונה הוא בדרך כלל דרך קצרה להתייחס לפעולה קונבולוציה או לשכבה קונבולוציה.

בלי קונבולציות, האלגוריתם של למידת המכונה צריך ללמוד משקל נפרד לכל תא בטנסור גדול. לדוגמה, אימון של אלגוריתם של למידת מכונה על תמונות בגודל 2K x 2K ייאלץ למצוא 4 מיליון משקולות נפרדות. בזכות קונבולוציות, אלגוריתם של למידת מכונה צריך למצוא משקלים לכל תא רק במסנן המעורבלים, וכך לצמצם משמעותית את הזיכרון שדרוש לאימון המודל. כשמשתמשים במסנן קונבולוציה, הוא פשוט משוכפל בין תאים כך שכל אחד מהם מוכפל במסנן.

מסנן קונבולוציה

אחד משני הגורמים בפעולה קונבולציה. (השחקן השני הוא פרוסה ממטריצת קלט). מסנן קונבולוציה הוא מטריצה שיש לה דירוג זהה לזה של מטריצת הקלט, אבל צורה קטנה יותר. לדוגמה, בהינתן מטריצת קלט של 28x28, המסנן יכול להיות כל מטריצה דו-ממדית קטנה מ-28x28.

במניפולציה מצולמת, כל התאים בפילטר קונבולוציה מוגדרים בדרך כלל לתבנית קבועה של 1 ואפס. בלמידת מכונה, בדרך כלל המקור של מסננים קונבולוציה הוא מספרים אקראיים, והרשת מאמנים את הערכים האידאליים.

שכבת קונבולוציה

שכבה של רשת נוירונים עמוקה שבה מסנן קונבולוציה עובר לאורך מטריצת קלט. לדוגמה, שימו לב למסנן הערוך הבא: 3x3:

האנימציה הבאה מציגה שכבה קונבולוציה שמורכבת מ-9 פעולות קונבולוציה שכוללות מטריצת הקלט 5x5. שימו לב שכל פעולה מתקפלת פועלת על פרוסה אחרת בגודל 3x3 במטריצת הקלט. המטריצה 3x3 שמתקבלת (בצד ימין) מורכבת מהתוצאות של 9 הפעולות המעורבות:

רשת עצבית מתקפלת

רשת נוירונים שבה לפחות שכבה אחת היא שכבה קונבולוציה. רשת עצבית מתקפלת טיפוסית מורכבת משילוב כלשהו של השכבות הבאות:

• שכבות מתקפלות
• מאגרי שכבות
• שכבות צפופות

רשתות נוירונים מלאכותיות השיגו הצלחה רבה בסוגים מסוימים של בעיות, כמו זיהוי תמונות.

פעולה קונבולציה

הפעולה המתמטית הבאה בשני שלבים:

1. הכפלה מבחינת הרכיבים של המסנן המסומם ופרוסה של מטריצת קלט. (לפרוסה של מטריצת הקלט יש דירוג וגודל זהים לאלו של המסנן הקונבולוציה).
2. סיכום של כל הערכים במטריצת המוצרים שמתקבלת.

לדוגמה, נבחן את מטריצת הקלט הבאה בגודל 5x5:

עכשיו נניח את המסנן המסתורי הבא בגודל 2x2:

כל פעולה קונבולציה כוללת פרוסה אחת בגודל 2x2 מתוך מטריצת הקלט. לדוגמה, נניח שאנחנו משתמשים בפלח בגודל 2x2 בפינה השמאלית העליונה של מטריצת הקלט. פעולת הקונבולוציה על הפלח הזה נראית כך:

שכבה מעורפלת מורכבת מסדרה של פעולות קונבולוציה, שכל אחת מהן פועלת על חלק אחר במטריצת הקלט.

עלות

מילה נרדפת להפסד.

אימון משותף

הגישה של למידה מונחית למחצה שימושית במיוחד כשכל התנאים הבאים מתקיימים:

• היחס בין דוגמאות ללא תווית לבין דוגמאות עם תוויות במערך הנתונים הוא גבוה.
• זוהי בעיית סיווג (בינארית או מספר קטגוריות).
• מערך הנתונים מכיל שתי קבוצות שונות של תכונות חיזוי שאינן תלויות אחת בשנייה ומשלימות.

אימון משותף למעשה מגביר אותות עצמאיים לאות חזק יותר. לדוגמה, נבחן מודל סיווג שמסווג רכבים משומשים כטובים או גרועים. קבוצה אחת של תכונות חיזוי עשויה להתמקד במאפיינים מצטברים כמו השנה, היצרן והדגם של הרכב. קבוצה נוספת של תכונות חיזוי עשויה להתמקד בהיסטוריית הנהיגה של הבעלים הקודם ובהיסטוריית התחזוקה של הרכב.

המאמר העיקרי בנושא אימון משותף הוא שילוב של נתונים מתויגים ונתונים לא מתויגים עם אימון משותף של Blum ו-Mitchell.

הוגנות מנוגדת

מדד הוגנות שבודק אם המסווג מניב את אותה תוצאה עבור אדם פרטי אחד כמו במקרה של אדם פרטי אחר שזהה לנכס הראשון, מלבד לגבי מאפיין רגיש אחד או יותר. הערכת מסווג להוגנות מנוגדת היא אחת הדרכים לזיהוי מקורות פוטנציאליים של הטיה במודל.

אפשר לקרוא את המאמר כאשר עולמות מתנגשים: שילוב של הנחות נגדיות שונות בהוגנות" לדיון מפורט יותר על הוגנות נגדית.

הטיית הכיסוי

מידע נוסף זמין בקטע הטיות בבחירות.

פריחה מקרוסלת

משפט או ביטוי עם משמעות לא ברורה. פריחת הנוער היא בעיה משמעותית בהבנת השפה הטבעית. לדוגמה, הכותרת Red Tape Holds Up מלבן עומד היא פריחה כי מודל NLU יכול לפרש את הכותרת באופן מילולי או לפי תיאור.

מבקר

מילה נרדפת ל-Deep Q-Network.

חוצה אנטרופיה

הכללה של אובדן יומן לבעיות בסיווג רב-מחלקות. קרוס-אנטרופיה מכמתת את ההבדל בין שתי התפלגויות הסתברות. ראו גם מורכבות.

אימות צולב

מנגנון להערכת ההשפעה של model על ההכללה של נתונים חדשים על ידי בדיקת המודל מול קבוצת משנה אחת או יותר של נתונים לא חופפים, שלא הוכנסו מmodel.

פונקציית התפלגות מצטברת (CDF)

פונקציה שמגדירה את התדירות של הדגימות קטנה מערך היעד או שווה לו. לדוגמה, נבחן התפלגות נורמלית של ערכים מתמשכים. CDF אומר שכ-50% מהדגימות צריכות להיות קטנות מהממוצע או שווים לו, ושכ-84% מהדגימות צריכות להיות קטנות מסטיית תקן אחת או שווה לה.

D

ניתוח נתונים

קבלת הבנה של הנתונים על ידי התחשבות בדגימות, במדידה ובהצגה חזותית. ניתוח נתונים יכול להיות שימושי במיוחד כשמתקבלים מערך נתונים בפעם הראשונה, לפני שבונים את model הראשון. הוא גם חיוני בהבנת ניסויים ובניפוי באגים בבעיות במערכת.

הגדלת נתונים

הגדלה מלאכותית של הטווח והמספר של דוגמאות האימון על ידי שינוי הדוגמאות הקיימות ליצירת דוגמאות נוספות. לדוגמה, תמונות הן אחת מהתכונות שלכם, אבל מערך הנתונים לא מכיל מספיק דוגמאות של תמונות כדי שהמודל יוכל ללמוד שיוכים מועילים. באופן אידיאלי, כדאי להוסיף למערך הנתונים מספיק תמונות עם תוויות כדי לאפשר למודל לאמן כראוי. אם זה לא אפשרי, אפשר להשתמש בהרחבת נתונים כדי לסובב, למתוח ולשקף כל תמונה כדי ליצור וריאנטים רבים של התמונה המקורית, וכך להניב מספיק נתונים מתויגים כדי לאפשר אימון מצוין.

DataFrame

סוג נתונים פופולרי של פנדות לייצוג מערכי נתונים בזיכרון.

DataFrame מקביל לטבלה או לגיליון אלקטרוני. לכל עמודה ב-DataFrame יש שם (כותרת), וכל שורה מזוהה באמצעות מספר ייחודי.

כל עמודה ב-DataFrame בנויה כמו מערך דו-ממדי, אבל אפשר להקצות לכל עמודה סוג נתונים משלה.

תוכלו לעיין גם בדף העזר הרשמי שלpandas.DataFrame.

מקביליות של נתונים

שיטה להגדלה של האימון או הסקת מסקנות שיוצרת רפליקה של מודל שלם למספר מכשירים, ולאחר מכן מעבירה קבוצת משנה של נתוני הקלט לכל מכשיר. מקבילות של נתונים יכולה לאפשר אימון והסקת מסקנות בגדלים גדולים מאוד של חבילות. עם זאת, במקבילות נתונים, המודל צריך להיות קטן מספיק כדי להתאים לכל המכשירים.

מקביליות של נתונים בדרך כלל מאיצה את האימון וההסקה.

ניתן לעיין גם במודל מקבילה.

מערך נתונים או מערך נתונים

אוסף של נתונים גולמיים, לרוב (אבל לא רק) שמסודרים באחד מהפורמטים הבאים:

• גיליון אלקטרוני
• קובץ בפורמט CSV (ערכים המופרדים בפסיקים)

Dataset API (tf.data)

ממשק API ברמה גבוהה של TensorFlow לקריאת נתונים ולהפיכתם לצורה שנדרשת לאלגוריתם של למידת מכונה. אובייקט tf.data.Dataset מייצג רצף של רכיבים, שבו כל רכיב מכיל חיישן אחד או יותר. אובייקט tf.data.Iterator מספק גישה לרכיבים של Dataset.

לפרטים נוספים על Dataset API, ראו tf.data: Build צינורות עיבוד נתונים של TensorFlow במדריך למתכנת של TensorFlow.

גבול החלטה

המפריד בין מחלקות שנלמדו על ידי מודל במחלקה בינארית או בבעיות סיווג מרובות מחלקות. לדוגמה, בתמונה הבאה שמייצגת בעיית סיווג בינארית, גבולות ההחלטה הם הגבול בין המחלקה הכתומה למחלקה הכחולה:

יער החלטה

מודל שנוצר מכמה עצי החלטות. יער ההחלטות יוצר חיזוי על ידי צבירת החיזויים של עצי ההחלטות שלו. סוגים פופולריים של יערות החלטה כוללים יערות אקראיים ועצים מוגדלים הדרגתיים.

סף לקבלת החלטה

ערך סף לסיווג – מילה נרדפת.

עץ ההחלטות

מודל של למידה בפיקוח שמורכב מקבוצה של conditions וconditions שמסודרים בהיררכיה. לדוגמה, זהו עץ ההחלטות:

מפענח

באופן כללי, כל מערכת למידת מכונה שממירה מייצוג מעובד, דחוס או פנימי לייצוג גולמי, דל או חיצוני יותר.

לרוב, מפענחים הם רכיב במודל גדול יותר, ולעיתים קרובות הם מותאמים למקודד.

במשימות של רצף לרצף, המפענח מתחיל במצב הפנימי שהמקודד יצר כדי לחזות את הרצף הבא.

ההגדרה של מפענח בתוך הארכיטקטורה של הטרנספורמר מופיעה במאמר טרנספורמר.

מודל עמוק

רשת נוירונים שמכילה יותר משכבה מוסתרת אחת.

מודל עומק נקרא גם רשת נוירונים עמוקה.

השוו עם מודל רחב.

של רשת עצבית עמוקה

מילה נרדפת למודל עומק.

Deep Q-Network (DQN)

ב-Q-learning, רשת נוירונים עמוקה שחוזה פונקציות Q.

Critic היא שם נרדף ל-Deep Q-Network.

שוויון דמוגרפי

מדד הוגנות שמתקיימים אם תוצאות הסיווג של המודל לא תלויות במאפיין רגיש נתון.

לדוגמה, אם גם תושבי ליליפוטם וגם תושבי ברודינגנאגיה מגישים בקשה לאוניברסיטת גלודובדוב, תושג שוויון דמוגרפי אם אחוז האנשים שלומדים מהליליפוטים יהיה זהה לאחוז אחוזי הקבלה של תושבי ברודינג, גם אם בממוצע קבוצה אחת לא מתאימה יותר מהשנייה.

ניתן להשוות בין סיכויים שווים ושוויון הזדמנויות, שמאפשרים סיווג מצטבר בהתאם למאפיינים רגישים, אבל לא מאפשרים תוצאות סיווג של תוויות ground truth מסוימות שתלויות במאפיינים רגישים. במאמר המאבק באפליה באמצעות למידת מכונה חכמה יותר אפשר לראות תצוגה חזותית שמפרטת את היתרונות והחסרונות של ביצוע אופטימיזציה לשוויון דמוגרפי.

ניקוי רעשים

גישה נפוצה ללמידה בפיקוח עצמי שבה:

1. רעש נוסף באופן מלאכותי למערך הנתונים.
2. model מנסה להסיר את הרעש.

ביטול "הפרעות" מאפשר ללמוד מדוגמאות ללא תוויות. מערך הנתונים המקורי משמש בתור היעד או התווית, וגם את הנתונים עם הרעש בתור הקלט.

בחלק מהמודלים של שפה התממה משתמשים בביטול רעשים באופן הבא:

1. הוספה של רעש למשפט ללא תווית מתבצעת באופן מלאכותי באמצעות אנונימיזציה של חלק מהאסימונים.
2. המודל מנסה לחזות את האסימונים המקוריים.

רכיב דחוס

תכונה שבה רוב הערכים או כולם הם לא אפס, בדרך כלל חיישן של ערכים בנקודה צפה (floating-point). לדוגמה, ה-Tensor, 10 האלמנטים הבאים צפוף כי 9 מהערכים שלו הם לא אפס:

ניגודיות עם תכונה מצומצמת.

שכבה צפופה

מילה נרדפת לשכבה מקושרת.

עומק

הסכום של הפריטים הבאים ברשת נוירונים:

• מספר השכבות המוסתרות
• מספר שכבות הפלט, שהוא בדרך כלל 1
• מספר שכבות ההטמעה

לדוגמה, לרשת נוירונים עם חמש שכבות מוסתרות ושכבת פלט אחת, העומק הוא 6.

שימו לב ששכבת הקלט לא משפיעה על העומק.

רשת עצבית מתקפלת (קונבולציה) נפרדת בעומק (sepCNN)

ארכיטקטורה של רשת עצבית מתקפלת שמבוססת על Inception, אבל שבה מודולים של InceptionResNetV2 מוחלפים בקיפולים (שאפשר להפריד ביניהם לעומק). נקרא גם Xception.

קונבולציה מתרחבת בדרגה גבוהה (המופיעה גם בקונבולוציה ניתנת להפרדה) יוצרת קונבולציה תלת-ממדית רגילה לשתי פעולות קונבולציה נפרדות, שהן יעילות יותר מבחינה חישובית: הראשונה היא קונבולציה עמוקה, בעומק 1 (n [ n \ 1) ואחר כך עקומה, עם עובי 1 בעובי 1, ואז נקודה השנייה.

מידע נוסף זמין במאמר Xception: למידה עמוקה (Deep Learning) עם קונבולוציות בלמידה עמוקה (Depthwise depthwise Conolutions).

תווית נגזרת

מילה נרדפת לתווית לשרת proxy.

מכשיר

מונח עמוס מדי עם שתי ההגדרות האפשריות הבאות:

1. קטגוריית חומרה שיכולה להריץ סשן של TensorFlow, כולל מעבדי CPU, מעבדי GPU ומעבדי TPU.
2. כשמאמנים מודל למידת מכונה באמצעות צ'יפים של מאיצים (מעבדי GPU או מעבדי TPU), החלק במערכת שמבצע בפועל מניפולציה על כלי כוונון והטמעות. המכשיר פועל על צ'יפים של מאיץ. לעומת זאת, המארח בדרך כלל פועל על מעבד (CPU).

פרטיות דיפרנציאלית

בלמידת מכונה, גישה של אנונימיזציה כדי להגן על מידע אישי רגיש (למשל, מידע אישי של אדם פרטי) שכלול בקבוצת האימון של המודל, מפני חשיפה. הגישה הזו מבטיחה שmodel לא ילמד או יזכור הרבה על אדם מסוים. הדרך לעשות זאת היא באמצעות דגימה והוספת רעש במהלך אימון המודל, כדי לטשטש נקודות נתונים ספציפיות, כדי לצמצם את הסיכון לחשיפת נתוני אימון רגישים.

פרטיות דיפרנציאלית משמשת גם מחוץ ללמידת מכונה. לדוגמה, מדעני נתונים משתמשים לפעמים בפרטיות דיפרנציאלית כדי להגן על הפרטיות של המשתמשים כשהם מחשבים סטטיסטיקות שימוש במוצרים לקבוצות דמוגרפיות שונות.

צמצום מאפיינים

הפחתת מספר המאפיינים שמשמשים לייצוג תכונה מסוימת בווקטור של מאפיין, בדרך כלל על ידי המרה לוקטור הטמעה.

מימדים

המונח עמוס מדי באחת מההגדרות הבאות:

• מספר רמות הקואורדינטות בחיישן. לדוגמה:

  • לסקלר יש אפס מימדים. לדוגמה, ["Hello"].
  • לווקטור יש מאפיין אחד. לדוגמה, [3, 5, 7, 11].
  • למטריצה יש שני מימדים. לדוגמה, [[2, 4, 18], [5, 7, 14]].

  אפשר לציין באופן ייחודי תא מסוים בווקטור חד-ממדי עם קואורדינטה אחת, ואתם צריכים שתי קואורדינטות כדי לציין באופן ייחודי תא מסוים במטריצה דו-ממדית.

• מספר הרשומות בוקטור מאפיין.

• מספר הרכיבים בשכבת הטמעה.

הנחיות ישירות

מילה נרדפת להנחיות מאפס (zero-shot)..

פיצ'ר בדיד

תכונה עם קבוצה מוגבלת של ערכים אפשריים. לדוגמה, תכונה שהערכים שלה יכולים להיות רק בעל חיים, ירק או מינרל, היא תכונה נפרדת (או קטגורית).

ניגודיות עם תכונה רציפה.

מודל דיסקרימינטיבי

model שחוזה model מקבוצה של model אחת או יותר. באופן רשמי יותר, מודלים דיסקרימינטיביים מגדירים את ההסתברות המותנית של פלט בהינתן התכונות והמשקולות. כלומר:

p(output | features, weights)

לדוגמה, מודל שחוזה אם אימייל הוא ספאם מתכונות ומשקולות, הוא מודל דיסקרימינטיבי.

הרוב המכריע של מודלים של למידה בפיקוח, כולל מודלים של סיווג ורגרסיה, הם מודלים דיסקרימינטיביים.

ביצוע ניגוד למודל גנרטיבי.

מבדילה

מערכת שקובעת אם דוגמאות הן אמיתיות או מזויפות.

לחלופין, תת-המערכת בתוך רשת אווירית גנרטיבית שקובעת אם הדוגמאות שנוצרו על ידי המחולל הן אמיתיות או מזויפות.

השפעה שונה

קבלת החלטות לגבי אנשים שמשפיעים באופן לא פרופורציונלי על קבוצות משנה שונות של אוכלוסייה. בדרך כלל מדובר במצבים שבהם תהליך קבלת החלטות באמצעות אלגוריתם פוגע בקבוצות משנה מסוימות או מועיל יותר מאחרות.

לדוגמה, נניח שלאלגוריתם שקובע אם יש לליליפוטם יש אפשרות לקבל הלוואה קטנה לבית יש סיכוי גבוה יותר שהוא יסווג אותו בתור 'לא כשיר' אם הכתובת למשלוח דואר מכילה מיקוד מסוים. אם לליליפוטים ביג-אנד-אנדים יש סיכוי גבוה יותר שיהיו להם כתובות אימייל עם המיקוד הזה, מאשר לליפוטנטים הקטנה-אנדיאנית, לאלגוריתם הזה תהיה השפעה שונה.

לעומת זאת, לטיפול נפרד, שמתמקד בפערים שנובעים כאשר מאפיינים של תתי-קבוצות הם קלט מפורש לתהליך קבלת החלטות באמצעות אלגוריתם.

טיפול שונה

פירוק המאפיינים הרגישים של הנושאים בתהליך קבלת החלטות אלגוריתמי, כך שיטופלו תתי-קבוצות שונות של אנשים באופן שונה.

לדוגמה, נבחן אלגוריתם כדי לקבוע את הזכאות שלהם להלוואה מיניאטורית לבית על סמך הנתונים שהם סיפקו בבקשת ההלוואה. אם האלגוריתם משתמש בשיוך של ליליפוטי כקלט Big-Endian או Little-Endian כקלט, הוא מקבל יחס שונה מזה של המימד הזה.

ניתן להשוות בין השפעה שונה, שמתמקדת בפערים בהשפעות החברתיות של החלטות אלגוריתמיות על תת-קבוצות, בלי קשר לקבוצות המשנה האלה בתור קלט למודל.

זיקוק

תהליך הצמצום של הגודל של model אחד (שנקרא model) למודל קטן יותר (שנקרא model) שמחקה את החיזויים של המודל המקורי בצורה מהימנה ככל האפשר. תהליך הפיזור שימושי כי למודל הקטן יותר יש שני יתרונות מרכזיים על פני המודל הגדול יותר (המורה):

• זמן הסקת מסקנות מהיר יותר
• הפחתה של צריכת הזיכרון והאנרגיה

עם זאת, בדרך כלל החיזויים של התלמיד/ה לא טובים כמו החיזויים של המורה.

פיזור מאמן את המודל של התלמידים למזער את פונקציית אובדן, על סמך ההבדל בין הפלט בין הפלטים של החיזויים של המודלים של התלמידים והמורים.

השוו והבדילו בין זיקוק למונחים הבאים:

• כוונון עדין
• למידה מבוססת-הנחיות

distribution

התדירות והטווח של ערכים שונים ב-feature או ב-label. ההתפלגות מייצגת את הסבירות של ערך מסוים.

התמונה הבאה מציגה היסטוגרמות של שתי הפצות שונות:

• בצד שמאל, התפלגות העושר לפי חוק הכוח לעומת מספר האנשים שמחזיקים בעושר הזה.
• מצד ימין, התפלגות נורמלית של הגובה לעומת מספר האנשים שמחזיקים את הגובה הזה.

אם תבינו את ההתפלגות של כל תכונה ותווית, תוכלו לקבוע איך לנרמל ערכים ולזהות חריגים חשודי טעות.

הביטוי out of grouping מתייחס לערך שלא מופיע במערך הנתונים או לערך שהוא נדיר מאוד. לדוגמה, תמונה של כוכב הלכת שבתאי תיחשב כלא הפצה עבור מערך נתונים שמכיל תמונות של חתולים.

אשכולות מחלקים

ניתן לעיין באשכולות היררכיים.

הפחתת מידע

מונח של עומס יתר יכול להיות אחת מהאפשרויות הבאות:

• הפחתת כמות המידע בתכונה כדי לאמן מודל ביעילות רבה יותר. לדוגמה, לפני אימון של מודל לזיהוי תמונות, מצמצמים את הדגימה של תמונות ברזולוציה גבוהה לפורמט ברזולוציה נמוכה יותר.
• אימון לגבי אחוז נמוך באופן לא פרופורציונלי של דוגמאות לכיתות שמיוצגות יותר מדי, כדי לשפר את אימון המודלים בנושא כיתות שסובלות מחוסר ייצוג. לדוגמה, במערך נתונים לא מאוזן, המודלים נוטים ללמוד הרבה על סיווג הרוב ולא מספיק על סיווג מיעוט. דגימה קטנה יותר עוזרת לאזן את כמות האימון של רוב כיתות מיעוט.

נפסל/ה

קיצור של Deep Q-Network (רשת כזו).

הרגולריזציה של נטישה

סוג של ארגון שמועיל לאימון רשתות נוירונים. הרגולריזציה של נטישה מסירה בחירה אקראית של מספר קבוע של היחידות בשכבת הרשת, בשלב אחד של מעבר הדרגתי. ככל שיותר יחידות נוטשים, כך ההתאמה הרגולרית חזקה יותר. הפעולה הזו מקבילה לאימון הרשת כדי לחקות מערך גדול באופן אקספוננציאלי של רשתות קטנות יותר. לפרטים מלאים ראו עזיבה: דרך פשוטה למנוע התאמה של רשתות נוירונים בין רשתות נוירונים לבין התאמת יתר.

דינמי

פעולה שבוצעה בתדירות גבוהה או ברציפות. המונחים דינמיים ואונליין הם מילים נרדפות בלמידת מכונה. בהמשך מפורטים שימושים נפוצים בלמידת מכונה ובאונליין:

• מודל דינמי (או מודל אונליין) הוא מודל שמאומן מחדש לעיתים קרובות או באופן מתמשך.
• אימון דינמי (או הדרכה אונליין) הוא תהליך האימון לעיתים קרובות או מתמשך.
• הסקה דינמית (או הֶקֵּשׁ אונליין) הוא התהליך של יצירת חיזויים על פי דרישה.

מודל דינמי

model שעובר אימון מחדש לעיתים קרובות (אולי אפילו באופן רציף). מודל דינמי הוא מודל 'למידה לכל החיים' שמתאים את עצמו לנתונים שמתפתחים כל הזמן. מודל דינמי נקרא גם מודל אונליין.

השוו עם המודל הסטטי.

E

ביצוע נחוש

סביבת תכנות של TensorFlow שבה operations פועלות באופן מיידי. לעומת זאת, פעולות שנקראות ביצוע תרשים לא עובדות עד שמתבצעת הערכה שלהן באופן מפורש. ביצוע רציף הוא ממשק חיוני, בדומה לקוד ברוב שפות התכנות. בדרך כלל קל יותר לנפות באגים בתוכניות ביצוע משוערות מאשר בתוכניות ביצוע של תרשימים.

עצירה מוקדמת

שיטה להסדרת האימון שכוללת סיום של האימון לפני שההפסד של האימון מסתיים. בשלב מוקדם של עצירה, אתם מפסיקים באופן מכוון את האימון של המודל כשהאובדן של מערך נתונים של אימות מתחיל לגדול. כלומר, כשההכללה משתפרת.

המרחק של כדור הארץ (EMD)

מדד של הדמיון היחסי בין שתי הפצות. ככל שהמרחק של תנועה בכדור הארץ נמוך יותר, ההתפלגויות דומות יותר.

עריכת המרחק

מדידה של הדמיון בין שתי מחרוזות טקסט. בלמידת מכונה, עריכת המרחק היא שימושית כי היא פשוטה לחישוב, וזו דרך יעילה להשוות בין שתי מחרוזות שידועות כדומות או למצוא מחרוזות דומות למחרוזת נתונה.

יש כמה הגדרות של מרחק עריכה, כל אחת משתמשת בפעולות שונות של מחרוזת. לדוגמה, המרחק של Levenshtein מביא בחשבון את פעולות המחיקה, ההוספה וההחלפה המינימליות ביותר.

לדוגמה, המרחק של לבנשטיין בין המילים 'לב' ל'חיצים' הוא 3, כי שלוש פעולות העריכה הבאות הן השינויים הכי קטנים שעוזרים להפוך מילה אחת לשנייה:

1. לב ← deart (מחליפים את 'h' ב-'d')
2. deart ← dart (Delete "e")
3. חץ ← הטלת חיצים (insert "s")

סימון Einsum

סימון יעיל שמתאר את האופן שבו אפשר לשלב שני טנזטורים. כדי לשלב את הטנסטורים, מכפילים את הרכיבים של טנזור אחד ברכיבים של הטנסור השני ואז מסכמים את המכפלות. בסימון ניכוי מס במקור משתמשים בסמלים כדי לזהות את הצירים של כל טנזור, ואותם סמלים מסודרים מחדש כדי לציין את הצורה של הארגומנט החדש שנוצר.

NumPy מספק הטמעה נפוצה של Einsum.

שכבת הטמעה

שכבה מוסתרת מיוחדת שמבצעת אימון על פיצ'ר קטגורית עם ממדים גבוהים כדי ללמוד בהדרגה מהו וקטור ההטמעה של ממדים נמוכים יותר. שכבת ההטמעה מאפשרת לרשת נוירונים לאמן ביעילות רבה יותר מאשר אימונים רק על שימוש בתכונה קטגורית בעלת ממדים גבוהים.

לדוגמה, Google Earth תומך כרגע בכ-73,000 זני עצים. נניח שמין עץ הוא תכונה במודל, כך ששכבת הקלט של המודל כוללת וקטור לוהט אחד באורך של 73,000 רכיבים. לדוגמה, אולי baobab מיוצגת בערך כך:

מערך של 73,000 רכיבים הוא ארוך מאוד. אם לא מוסיפים למודל שכבת הטמעה, האימון יגזול זמן רב בגלל הכפלה של 72,999 אפסים. נניח ששכבת ההטמעה צריכה לכלול 12 מאפיינים. כתוצאה מכך, שכבת ההטמעה תלמד בהדרגה מהו וקטור הטמעה חדש לכל סוג של עץ.

במצבים מסוימים, גיבוב הוא חלופה סבירה לשכבת הטמעה.

שטח הטמעה

המרחב הווקטורי הדו-ממדי שאליו ממופים מרחב וקטורי גבוה יותר. במקרה האידיאלי, מרחב ההטמעה מכיל מבנה שמוביל לתוצאות מתמטיות משמעותיות. לדוגמה, במרחב הטמעה אידיאלי, חיבור וחיסור של הטמעות יכולות לפתור משימות של אנלוגיה מילולית.

מכפלת הנקודות של שתי הטמעות הוא מדד של הדמיון ביניהן.

וקטור הטמעה

באופן כללי, מערך של מספרים נקודתיים (floating-point) הלקוח מכל שכבה נסתרת שמתארת את הקלט באותה שכבה נסתרת. לעיתים קרובות, וקטור הטמעה הוא מערך של מספרים בנקודה צפה (floating-point) שמאומן בשכבת הטמעה. לדוגמה, נניח ששכבת הטמעה חייבת ללמוד על וקטור הטמעה לכל אחד מ-73,000 מינים של עצים בכדור הארץ. אולי המערך הבא הוא וקטור ההטמעה של עץ באובב:

וקטור הטמעה הוא לא קבוצה של מספרים אקראיים. שכבת הטמעה קובעת את הערכים האלה באמצעות אימון, בדומה לאופן שבו רשת נוירונים לומדת משקולות אחרות במהלך אימון. כל רכיב במערך הוא דירוג לאורך מאפיין מסוים של מין עצים. איזה רכיב מייצג את סוג העצים האופייני לו? קשה מאוד לבני אדם לקבוע זאת.

החלק המתמטי המיוחד בווקטור הטמעה הוא שלפריטים דומים יש קבוצות דומות של מספרים עם נקודה צפה (floating-point). לדוגמה, למיני עצים דומים יש קבוצה דומה יותר של מספרי נקודות צפות מאשר למיני עצים שונים. עצי סקוויה וסקויה הם מינים קשורים של עצים, ולכן יהיה להם קבוצה דומה יותר של מספרים צפים מאשר עצי סקוויה ועצי קוקוס. המספרים בווקטור ההטמעה ישתנו בכל פעם שתאמנו מחדש את המודל, גם אם תאמנו מחדש את המודל עם קלט זהה.

פונקציית ההתפלגות האמפירית המצטברת (eCDF או EDF)

פונקציית התפלגות מצטברת שמבוססת על מדידות אמפיריות ממערך נתונים אמיתי. הערך של הפונקציה בכל נקודה לאורך ציר ה-X הוא חלק מהתצפיות במערך הנתונים ששווה לערך שצוין או קטן ממנו.

צמצום סיכונים אמפירי (ERM)

בחירת הפונקציה שמפחיתה את האובדן בערכת האימון. השוואה בין צמצום סיכונים מבני.

מקודד

באופן כללי, כל מערכת למידת מכונה שממירה מייצוג גולמי, דל או חיצוני לייצוג פנימי מעובד, צפוף או פנימי יותר.

בדרך כלל מקודדים הם רכיב במודל גדול יותר, והרבה פעמים הם מותאמים למפענח. חלק מהטרנספורמרים מקשרים מקודדים למפענחים, אבל טרנספורמרים אחרים משתמשים רק במקודד או רק במפענח.

חלק מהמערכות משתמשות בפלט של המקודד כקלט לרשת סיווג או רגרסיה.

במשימות של רצף לרצף, המקודד לוקח רצף קלט ומחזיר מצב פנימי (וקטור). לאחר מכן, המפענח משתמש במצב הפנימי הזה כדי לחזות את הרצף הבא.

ההגדרה של מקודד בארכיטקטורה של טרנספורמרים מופיעה במאמר טרנספורמר.

אנסמבל

אוסף של מודלים שאומנו בנפרד, והתחזיות שלהם מחושבות כממוצע או כנתונים מצטברים. במקרים רבים, תמהיל מייצר חיזויים טובים יותר מאשר מודל אחד. לדוגמה, יער אקראי הוא מערך שבנוי מכמה עצי החלטה. שימו לב שלא כל יערות ההחלטות הם מורכבים.

אנטרופיה

ב תורת המידע, תיאור עד כמה לא צפויה התפלגות ההסתברות, לחלופין, האנטרופיה מוגדרת גם ככמות המידע שמכילה כל דוגמה. בהתפלגות יש את האנטרופיה הגבוהה ביותר האפשרית אם יש סבירות שווה לכל הערכים של משתנה אקראי.

האנטרופיה של קבוצה עם שני הערכים האפשריים 0 ו-1 (לדוגמה, התוויות בבעיה של סיווג בינארי) מכילה את הנוסחה הבאה:

  H = -p יומן p - q יומן q = -p יומן p - (1-p) * יומן (1-p)

איפה:

• H היא האנטרופיה.
• p הוא השבר של דוגמאות מסוג '1'.
• q הוא החלק מתוך הדוגמאות "0". שימו לב ש-q = (1 - p)
• log הוא בדרך כלל יומן₂. במקרה הזה, יחידת האנטרופיה היא קצת יותר.

לדוגמה, נניח את הדברים הבאים:

• 100 דוגמאות מכילות את הערך '1'
• 300 דוגמאות מכילות את הערך '0'

לכן, ערך האנטרופיה הוא:

• p = 0.25
• q = 0.75
• H = (-0.25)log₂(0.25) - (0.75)log₂(0.75) = 0.81 סיביות לכל דוגמה

אם הקבוצה מאוזנת לחלוטין (לדוגמה, 200 '0' ו-200 '1'), האנטרופיה תהיה של 1.0 ביט בכל דוגמה. ככל שקבוצה הופכת לא מאוזנת, האנטרופיה שלה נעה לכיוון 0.0.

בעצי ההחלטות, האנטרופיה עוזרת לנסח איסוף מידע כדי לעזור למפצל לבחור את התנאים במהלך הצמיחה של עץ החלטות בנוגע לסיווג.

השוו בין אנטרופיה עם:

• gini impurity
• פונקציית אובדן נתונים ב-Cross-entropy

אנטרופיה נקראת בדרך כלל 'אנטרופיה של שנון'.

environment

בלמידת חיזוק, העולם שמכיל את הסוכן ומאפשר לו לצפות במצב של אותו עולם. לדוגמה, העולם המיוצג יכול להיות משחק כמו שחמט, או עולם פיזי כמו מבוך. כשהסוכן מחיל פעולה על הסביבה, הסביבה עוברת בין מצבים.

פרק

בלמידת חיזוק, כל אחד מהניסיונות החוזרים של הסוכן ללמוד סביבה.

תקופה של זמן מערכת

מעבר אימון מלא לאורך כל קבוצת האימון, למשל שכל דוגמה מעובדת פעם אחת.

תקופה של זמן מערכת מייצגת איטרציות לאימון של N/גודל אצוות, כאשר N הוא המספר הכולל של הדוגמאות.

לדוגמה, נניח את הדברים הבאים:

• מערך הנתונים כולל 1,000 דוגמאות.
• גודל הקבוצה הוא 50 דוגמאות.

לכן בתקופה מסוימת נדרשים 20 איטרציות:

1 epoch = (N/batch size) = (1,000 / 50) = 20 iterations

המדיניות בנושא אלגוריתם חמדן אפסילון

בלמידת חיזוק, מדיניות שמבוססת על מדיניות אקראית עם הסתברות של אפסילון, או עם מדיניות של אלגוריתם חמדן, במקרים אחרים. לדוגמה, אם אפסילון הוא 0.9, המדיניות פועלת לפי מדיניות אקראית ב-90% מהפעמים, והמדיניות בנושא חמדנות ב-10% מהמקרים.

בפרקים רצופים, האלגוריתם מפחית את הערך של אפסילון כדי לעבור ממדיניות אקראית לציות למדיניות של חמדנות. על ידי שינוי המדיניות, הנציג בוחן קודם את הסביבה באופן אקראי ואז מנצל בחמדנות את התוצאות של ניתוח אקראי.

שוויון הזדמנויות

מדד הוגנות כדי לבדוק אם מודל חוזה את התוצאה הרצויה באופן שווה לכל הערכים של מאפיין רגיש. במילים אחרות, אם התוצאה הרצויה של מודל היא הסיווג החיובי, המטרה תהיה שהשיעור החיובי האמיתי יהיה זהה בכל הקבוצות.

שוויון הזדמנויות קשור לסיכויים שווה, ולכן שני השיעורים החיוביים האמיתיים והשיעורים החיוביים השגויים זהים בכל הקבוצות.

נניח שאוניברסיטת גלודובדריב מודה גם לליליפוטים וגם לבני ברודינגנאגיאן בתוכנית מתמטיקה קפדנית. בתי הספר התיכון לליליפוטם מציעים תוכנית לימודים מקיפה של שיעורי מתמטיקה, ורוב הסטודנטים עומדים בקריטריונים להשתתפות בתוכנית האוניברסיטה. בתי ספר התיכון לבני ברודינג לא מציעים בכלל שיעורי מתמטיקה, וכתוצאה מכך, הרבה פחות מהתלמידים כשירים. ניתן לקבל שוויון הזדמנויות עבור התווית המועדפת של 'מותרת' ביחס ללאום (ליליפוטי או ברודינגנאגי) אם יש סיכוי שווה להתקבל על סטודנטים מוסמכים, בין אם הם ליליפוטיים או ברודינגנגים.

לדוגמה, נניח ש-100 ליליפוטים ו-100 ליליפוטים ו-100 אנשי ברודינגנאגינאים מגישים בקשה לאוניברסיטת גלודובדוב, והחלטות קבלה מתקבלות כך:

טבלה 1. מועמדים ל-Liliputian (90% זכאים)

טבלה 2. מועמדי Brobdingnagian (10% זכאים):

הדוגמאות שלמעלה הן שוויון הזדמנות לקבל תלמידים מוסמכים, כי לליליפוטים ולתושבי ברודינגנאים מוסמכים יש סיכוי של 50% להתקבל.

למרות ששוויון ההזדמנות מתקיים, שני המדדים הבאים של הוגנות לא מתקיימים:

• שוויון דמוגרפי: סטודנטים ליליפוטים וברודינגנגים מקבלים לאוניברסיטה בשיעורים שונים. 48% מהסטודנטים מליליפוטים מתקבלים, אבל רק 14% מהסטודנטים מברודנגנגים מתקבלים.
• סיכויים שווה: אמנם יש סיכוי גבוה יותר להתקבל לתוכנית סטודנטים בליפוטם וסטודנטים ברמת ברודינג, אבל ההגבלה הנוספת שלפיה גם לליליפוטים לא מוסמכים וגם לסטודנטים ברודינגנאגיה יש סיכוי זהה להידחות לא מתקיימת. לליליפוטים לא מוסמכים יש שיעור דחיות של 70%, ואילו שיעור הדחיות של סטודנטים שלא עומדים בדרישות הם 90%.

למידע מפורט יותר על שוויון הזדמנויות, ראו שוויון הזדמנויות בלמידה בפיקוח. בנוסף, כדאי לעיין במאמר "ההגנה על אפליה באמצעות למידת מכונה חכמה יותר" כדי להציג תצוגה חזותית שמפרטת את האיזונים בתהליך אופטימיזציה להשגת שוויון הזדמנויות.

סיכויים שווים

מדד של הוגנות, שלפיו המודל יכול לחזות תוצאות באופן שווה בכל הערכים של מאפיין רגיש, תוך התייחסות גם לסיווג החיובי וגם ל-סיווג שלילי – לא רק לקטגוריה אחת או לקטגוריה אחרת באופן בלעדי. במילים אחרות, גם השיעור החיובי האמיתי וגם השיעור השלילי השגוי צריכים להיות זהים בכל הקבוצות.

סיכויים שווים קשורים לשוויון ההזדמנויות, שמתמקד רק בשיעורי השגיאות ברמה אחת (חיובית או שלילית).

לדוגמה, נניח שאוניברסיטת גלואבדאבדריב מקדמת גם תושבי ליליפוטים וגם ברובינגנגים לתוכנית מתמטיקה קפדנית. בתי הספר התיכוניים של ליליפוטם מציעים תוכנית לימודים מקיפה של שיעורי מתמטיקה, והרוב המכריע של התלמידים זכאים להשתתף בתוכנית האוניברסיטה. בבתי ספר תיכון של ברודינגנגים לא מציעים בכלל שיעורי מתמטיקה, וכתוצאה מכך, הרבה פחות מהתלמידים מתאימים להם. הסיכויים שוויוניים מתקבלים בתנאי שאין חשיבות לכך שהמועמד הוא ליליפוטי או ברובדינג, אם הוא עומד בדרישות, יש סיכוי שווה להתקבל לתוכנית. אם מגיש הבקשה לא עומד בדרישות, יש סיכוי שווה להידחות.

נניח ש-100 ליליפוטים ו-100 אנשי ברובדינג פונים לאוניברסיטת גלובדובדריב, והחלטות לגבי קבלה מתקבלות כך:

טבלה 3. מועמדים ל-Liliputian (90% זכאים)

טבלה 4. מועמדי Brobdingnagian (10% זכאים):

הסיכויים השווים מתקיימים כי לתלמידים ליליפוטיים וברודינגנגים מוסמכים יש סיכוי של 50% להתקבל, ולליליפוטיאן ולברובדנגנאגי יש סיכוי של 80% להידחות.

סיכויים שוויוניים מוגדרים באופן רשמי בסעיף "שוויון הזדמנות בלמידה בפיקוח". כך: "החיזוי ביחס לסיכויים שוויוניים ביחס למאפיין המוגן A ותוצאה Y אם results ו-A הם עצמאיים, מותנים ב-Y".

מעריך

ממשק API של TensorFlow שהוצא משימוש. צריך להשתמש ב-tf.keras במקום ב-Metrics.

הערכה

תהליך מדידת האיכות של החיזויים של מודל למידת מכונה. כשמפתחים מודל, בדרך כלל מחילים מדדי הערכה לא רק על קבוצת האימון, אלא גם על קבוצת אימות וקבוצת בדיקה. תוכלו גם להשתמש במדדי הערכה כדי להשוות בין מודלים שונים.

דוגמה

הערכים של שורה אחת של features ואולי גם תווית. הדוגמאות בקטגוריה למידה מונחית מתחלקות לשתי קטגוריות כלליות:

• דוגמה עם תווית מורכבת ממאפיין אחד או יותר ומתווית. במהלך האימון נעשה שימוש בדוגמאות מסומנות בתוויות.
• דוגמה ללא תווית כוללת תכונה אחת או יותר, אבל ללא תווית. בתהליך ההסקה נעשה שימוש בדוגמאות ללא תוויות.

לדוגמה, נניח שאתם מאמנים מודל כדי לקבוע את ההשפעה של תנאי מזג האוויר על ציוני המבחנים של התלמידים. לפניכם שלוש דוגמאות לתוויות:

הנה שלוש דוגמאות לא מסומנות:

השורה של מערך נתונים היא בדרך כלל המקור הגולמי של דוגמה. כלומר, הדוגמה בדרך כלל מורכבת מקבוצת משנה של העמודות במערך הנתונים. בנוסף, התכונות שבדוגמה יכולות לכלול גם תכונות סינתטיות, כמו הצלבות פיצ'רים.

שידור חוזר של החוויה

בלמידת חיזוק, שיטת DQN שמשמשת לצמצום מתאמים של זמן בנתוני האימון. הסוכן מאחסן את מעברי המצבים במאגר נתונים זמני להפעלה מחדש, ולאחר מכן הדגימות עובר ממאגר הנתונים הזמני של השידור החוזר ליצירת נתוני אימון.

הטיה של עורך הניסוי

מידע נוסף זמין בקטע הטיית אישור.

בעיה של הדרגתי מתפוצץ

הנטייה של הדרגתיות ברשתות נוירונים עמוקות (במיוחד רשתות נוירונים חוזרות) להפוך לתלולים באופן מפתיע (גבוה). הדרגתיות תלולים גורמת לעיתים קרובות לעדכונים גדולים מאוד למשקולות של כל צומת ברשת נוירונים עמוקה.

מודלים שסובלים מבעיית ההדרגתיות המתפוצצת הופכים לקשה או בלתי אפשרי לאמן. חיתוך באמצעות Gradient יכול לפתור את הבעיה הזו.

ניתן להשוות לבעיה נעלמת של הדרגתי.

נ

F₁

מדד סיווג בינארי של 'נכס-על' שמתבסס גם על דיוק וגם על אחזור. זאת הנוסחה:

לדוגמה, בהינתן המשפט הבא:

• דיוק = 0.6
• ריקול = 0.4

כשהדיוק והזכירה די דומים (כמו בדוגמה הקודמת), F₁ קרוב לממוצע שלהם. אם יש הבדל משמעותי בין הדיוק והזכירה, המקש F₁ קרוב יותר לערך הנמוך יותר. למשל:

• דיוק = 0.9
• ריקול = 0.1

מגבלה על הוגנות

• עיבוד לאחר עיבוד הפלט של המודל.
• שינוי של פונקציית הפסד כדי לכלול קנס על הפרה של מדד הוגנות.
• הוספה ישירה של מגבלה מתמטית לבעיית אופטימיזציה.

מדד הוגנות

הגדרה מתמטית של 'הוגנות' הניתנת למדידה. דוגמאות למדדים נפוצים של הוגנות:

• סיכויים שווה
• צמד חזוי
• הוגנות מנוגדת
• שוויון דמוגרפי

יש הרבה מדדים של הוגנות שאין ביניהם חפיפה. אפשר לראות חוסר תאימות של מדדי הוגנות.

false negative (FN)

דוגמה שבה המודל חוזים בטעות את המחלקה השלילית. לדוגמה, המודל מסיק שהודעת אימייל מסוימת היא לא ספאם (הסיווג השלילי), אבל הודעת האימייל בפועל היא ספאם.

שיעור FALSE שלילי

היחס של הדוגמאות החיוביות בפועל שעבורן המודל חזה בטעות את המחלקה השלילית. הנוסחה הבאה מחשבת את השיעור השלילי השגוי:

תוצאה חיובית כוזבת (FP)

דוגמה שבה המודל חוזים בטעות את המחלקה החיובית. לדוגמה, המודל חוזים שהודעת אימייל מסוימת היא ספאם (הסיווג החיובי), אבל הודעת האימייל הזו למעשה לא ספאם.

שיעור חיובי שווא (FPR)

היחס של הדוגמאות השליליות בפועל שעבורן המודל חזה בטעות את המחלקה החיובית. הנוסחה הבאה מחשבת את השיעור החיובי השגוי:

השיעור החיובי השגוי הוא ציר ה-X בעקומת ROC.

מאפיין

משתנה קלט למודל למידת מכונה. דוגמה כוללת תכונה אחת או יותר. לדוגמה, נניח שאתם מאמנים מודל כדי לקבוע את ההשפעה של תנאי מזג האוויר על ציוני המבחנים של התלמידים. בטבלה הבאה מוצגות שלוש דוגמאות, וכל אחת מהן כוללת שלוש תכונות ותווית אחת:

השוו בין באמצעות תווית.

צלב פיצ'רים

תכונה סינתטית שנוצרה באמצעות תכונות קטגוריות או קטגוריות 'חוצות'.

לדוגמה, נבחן מודל 'חיזוי מצבי רוח' שמייצג את הטמפרטורה באחת מארבע הקטגוריות הבאות:

• freezing
• chilly
• temperate
• warm

הוא מייצג את מהירות הרוח באחת משלוש הקטגוריות הבאות:

• still
• light
• windy

בלי הצלבות של מאפיינים, המודל הלינארי עובר אימון בנפרד לכל אחת משבע הקטגוריות השונות שקדמו לו. כך המודל מתאמן על freezing, למשל, בנפרד מהאימון על windy, למשל.

לחלופין, תוכלו ליצור מאפיין להשוואה בין הטמפרטורה ומהירות הרוח. לתכונה הסינתטית הזו יש את 12 הערכים האפשריים הבאים:

• freezing-still
• freezing-light
• freezing-windy
• chilly-still
• chilly-light
• chilly-windy
• temperate-still
• temperate-light
• temperate-windy
• warm-still
• warm-light
• warm-windy

בזכות הצלבות, המודל יכול ללמוד את ההבדלים במצבי הרוח בין יום freezing-windy ליום freezing-still.

אם יוצרים תכונה סינתטית משתי תכונות שבכל אחת מהן יש הרבה קטגוריות שונות, להצלב של התכונות שתתקבל תהיה מספר עצום של שילובים אפשריים. לדוגמה, אם למאפיין אחד יש 1,000 קטגוריות ולתכונה השנייה יש 2,000 קטגוריות, ב-method של המאפיין שמתקבל יש 2,000,000 קטגוריות.

באופן רשמי, צלב הוא מכפלה קרטזית.

הצלבות פיצ'רים משמשות בעיקר במודלים ליניאריים, ורק לעיתים רחוקות משתמשים בהן ברשתות נוירונים.

הנדסת פיצ'רים (feature engineering)

תהליך שכולל את השלבים הבאים:

1. להחליט אילו תכונות יכולות להועיל לאימון המודל.
2. המרת נתונים גולמיים ממערך הנתונים לגרסאות יעילות של התכונות האלה.

לדוגמה, תוכלו להחליט ש-temperature היא תכונה שימושית. לאחר מכן תוכלו להתנסות ביצירת קטגוריות כדי לבצע אופטימיזציה של מה שהמודל יכול ללמוד מטווחים שונים של temperature.

הנדסת פיצ'רים נקראת לפעמים חילוץ פיצ'רים או פיצ'ר.

חילוץ פיצ'רים

המונח עמוס מדי באחת מההגדרות הבאות:

• אחזור ייצוגים של תכונות ביניים שמחושבים על ידי ערכים של מודל ללא פיקוח או מודל שעבר אימון מראש (למשל, ערכים של שכבה מוסתרת ברשת נוירונים) לשימוש במודל אחר כקלט.
• מילה נרדפת להנדסת תכונות.

חשיבות התכונות

מילה נרדפת לחשיבות משתנה.

קבוצת פיצ'רים

קבוצת התכונות שלפיהן מתבצע אימון המודל של למידת המכונה. לדוגמה, המיקוד, גודל הנכס ומצב הנכס יכולים להוות קבוצת תכונות פשוטה למודל שחוזה את מחירי הדיור.

מפרט תכונות

מיועד לחילוץ נתוני תכונות ממאגר הפרוטוקולים tf.Example. מכיוון שמאגר הנתונים הזמני של tf.Example הוא רק קונטיינר של נתונים, צריך לציין את הפרטים הבאים:

• הנתונים לחילוץ (כלומר, המפתחות של התכונות)
• סוג הנתונים (לדוגמה: מספר ממשי (float) או int)
• האורך (קבוע או משתנה)

וקטור מאפיינים

המערך של ערכי feature שכוללים דוגמה. הווקטור המאפיין הוא קלט במהלך האימון ובמהלך הסקה. לדוגמה, הווקטור המאפיין של מודל עם שתי תכונות נפרדות עשוי להיות:

[0.92, 0.56]

כל דוגמה מספקת ערכים שונים לווקטור המאפיין, ולכן הווקטור של המאפיין בדוגמה הבאה יכול להיות משהו כמו:

[0.73, 0.49]

הנדסת פיצ'רים (feature engineering) קובעת איך לייצג תכונות בווקטור המאפיין. לדוגמה, תכונה בינארית קטגורית עם חמישה ערכים אפשריים עשויה להיות מיוצגת באמצעות קידוד חד-פעמי (one-hot). במקרה כזה, החלק של וקטור המאפיין בדוגמה מסוימת יכלול ארבעה אפסים ו-1.0 יחיד במיקום השלישי, באופן הבא:

[0.0, 0.0, 1.0, 0.0, 0.0]

דוגמה נוספת, נניח שהמודל שלך מורכב משלוש תכונות:

• תכונה בינארית קטגורית עם חמישה ערכים אפשריים שמיוצגים בקידוד חד-פעמי. לדוגמה: [0.0, 1.0, 0.0, 0.0, 0.0]
• עוד תכונה בינארית קטגורית עם שלושה ערכים אפשריים שמיוצגים בקידוד חד-פעמי; לדוגמה: [0.0, 0.0, 1.0]
• רכיב נקודה צפה (floating-point). לדוגמה: 8.3.

במקרה הזה, הווקטור המאפיין של כל דוגמה מיוצג על ידי תשעה ערכים. בהתאם לערכים לדוגמה ברשימה שלמעלה, הווקטור של המאפיין יהיה:

0.0
1.0
0.0
0.0
0.0
0.0
0.0
1.0
8.3

פיצ'ר

התהליך של חילוץ תכונות ממקור קלט, כמו מסמך או סרטון, ומיפוי התכונות האלה לוקטור פיצ'רים.

חלק ממומחי למידת המכונה משתמשים בפיצ'ר כמילה נרדפת להנדסת פיצ'רים (feature engineering) או לחילוץ פיצ'רים.

למידה משותפת (Federated)

גישה של למידת מכונה מבוזרת שמאמנים מודלים של למידת מכונה באמצעות דוגמאות מבוזרות שנמצאות במכשירים כמו סמארטפונים. בלמידה משותפת, קבוצת משנה של מכשירים מורידה את המודל הנוכחי משרת תיאום מרכזי. המכשירים משתמשים בדוגמאות שמאוחסנות במכשירים כדי לבצע שיפורים במודל. לאחר מכן המכשירים מעלים את שיפורי המודל (אבל לא את דוגמאות האימון) לשרת התיאום, שם הם נצברים יחד עם עדכונים אחרים כדי ליצור מודל גלובלי משופר. אחרי הצבירה, אין יותר צורך בעדכוני המודל שמחושבים על ידי מכשירים, ואפשר למחוק אותם.

מכיוון שדוגמאות האימון אף פעם לא מועלות, הלמידה המשותפת פועלת לפי עקרונות הפרטיות של איסוף נתונים ממוקד והגבלה על איסוף המידע.

במדריך הזה תוכלו לקרוא מידע נוסף על למידה משותפת.

לולאת משוב

בלמידת מכונה, מצב שבו החיזויים של המודל משפיעים על נתוני האימון של אותו מודל או של מודל אחר. לדוגמה, מודל שממליץ על סרטים ישפיע על הסרטים שאנשים יראו, וזה ישפיע על המודלים הבאים של המלצות על סרטים.

רשת זרימה קדימה (FFN)

רשת נוירונים ללא חיבורים מחזוריים או רקורסיביים. לדוגמה, רשתות נוירונים עמוקות מסורתיות הן רשתות נוירונים מלאכותיות. השוואה לרשתות נוירונים חוזרות, שהן מחזוריות.

למידה מכמה דוגמאות

גישה של למידת מכונה, שלרוב משמשת לסיווג אובייקטים, שנועדה לאמן מסווגים יעילים על סמך מספר קטן של דוגמאות אימון בלבד.

למידע נוסף, אפשר לקרוא על למידה מדוגמה אחת ולמידה ללא צילום (zero-shot)..

הנחיות מכמה דוגמאות

הנחיה שמכילה יותר מדוגמה אחת ('מעט'), שממחישה איך מודל השפה הגדול (LLM) צריך להגיב. לדוגמה, ההנחיה הארוכה הבאה מכילה שתי דוגמאות שמראות איך מודל שפה גדול (LLM) עונה על שאילתה.

יצירת הנחיות מכמה דוגמאות בדרך כלל מניבה תוצאות רצויות יותר מאשר יצירת הנחיות מאפס ויצירת הנחיות מדוגמה אחת. עם זאת, כדי ליצור הנחיות מכמה דוגמאות צריך הנחיה ארוכה יותר.

הנחיה עם כמה דוגמאות (Few-shot) היא סוג של למידה בכמה דוגמאות, שמיושמת בלמידה מבוססת-הנחיות.

כינור

ספריית הגדרות המבוססת על Python, שמגדירה את הערכים של פונקציות ומחלקות ללא קוד או תשתית פולשניים. במקרה של Pax – ובסיסי קוד אחרים של למידת מכונה – הפונקציות והמחלקות האלה מייצגות מודלים ו-training היפר-פרמטרים.

Fiddle מניח שבסיסי קוד של למידת מכונה מחולקים בדרך כלל ל:

• קוד הספרייה, שמגדיר את השכבות ואת כלי האופטימיזציה.
• קוד 'דבק' של מערך הנתונים, שקורא לספריות ומחבר את כל הרכיבים יחד.

Fiddle מתעד את מבנה הקריאה של קוד החיבור בצורה שלא נבדקת ולא ניתנת לשינוי.

כוונון עדין

מעבר אימון נוסף שספציפי למשימה, בוצע על מודל שעבר אימון מראש כדי לצמצם את הפרמטרים לתרחיש ספציפי לדוגמה. לדוגמה, רצף האימון המלא של מודלים גדולים של שפה (LLM) הוא:

1. אימון מראש: אימון מודל שפה גדול על מערך נתונים כללי נרחב, כמו כל דפי ויקיפדיה באנגלית.
2. כוונון עדין: מאמנים את המודל שעבר אימון מראש לבצע משימה ספציפית, כמו מענה לשאילתות רפואיות. בדרך כלל כוונון עדין כולל מאות או אלפי דוגמאות שמתמקדות במשימה הספציפית.

דוגמה נוספת, רצף האימון המלא של מודל תמונה גדול הוא:

1. אימון מראש: אימון מודל תמונה גדול על מערך נתונים כללי נרחב של תמונה, כמו כל התמונות ב-Wikimedia Commons.
2. כוונון: מאמנים את המודל שעבר אימון מראש לבצע משימה ספציפית, כמו יצירת תמונות של אורקות.

כוונון עדין יכול לכלול כל שילוב של השיטות הבאות:

• שינוי כל הפרמטרים הקיימים של המודל שעבר אימון מראש. פעולה זו נקראת לפעמים כוונון עדין.
• שינוי רק חלק מהפרמטרים הקיימים של המודל שעבר אימון מראש (בדרך כלל השכבות הקרובות ביותר לשכבת הפלט), תוך שמירה על שאר הפרמטרים הקיימים ללא שינוי (בדרך כלל השכבות הקרובות ביותר לשכבת הקלט). למידע נוסף, אפשר לקרוא על כוונון יעיל בפרמטרים.
• הוספת שכבות נוספות, בדרך כלל מעל השכבות הקיימות הקרובות ביותר לשכבת הפלט.

כוונון עדין הוא סוג של למידת העברה. לכן, כוונון עדין עשוי להשתמש בפונקציית אובדן, או בסוג מודל שונה מזה שמשמש לאימון המודל שעבר אימון מראש. לדוגמה, תוכלו לכוונן מודל של תמונות גדולות שעבר אימון מראש כדי ליצור מודל רגרסיה שיחזיר את מספר הציפורים בתמונת קלט.

השוו בין כוונון עדין בעזרת המונחים הבאים:

• זיקוק
• למידה מבוססת-הנחיות

פשתן

ספרייה בקוד פתוח עם ביצועים גבוהים ללמידה עמוקה (Deep Learning) המבוססת על JAX. Flax מספקת פונקציות לאימון רשתות נוירונים וגם שיטות להערכת הביצועים.

פלקספורמר

ספריית בקוד פתוח של Transformer, שנבנתה על Flax, ומיועדת בעיקר לעיבוד שפה טבעית (NLP) ולמחקר רב-אופני.

מחיקת השער

החלק בתא זיכרון לטווח קצר שמווסת את זרימת המידע בתא. המערכת שוכחת את השערים ושומרת על ההקשר באמצעות החלטה איזה מידע למחוק ממצב התא.

softmax מלא

מילה נרדפת ל-softmax.

השוו לדגימת מועמדים.

שכבה מחוברת

שכבה מוסתרת שבה כל צומת מחובר לכל הצומת בשכבה המוסתרת הבאה.

שכבה שמחוברת באופן מלא נקראת גם שכבה צפופה.

טרנספורמציה של פונקציה

פונקציה שמקבלת פונקציה כקלט ומחזירה כפלט פונקציה שעברה טרנספורמציה. JAX משתמש בטרנספורמציות של פונקציות.

G

GAN

קיצור של generative Adversarial Network (רשת נגד למידה גנרטיבית).

הכללה

היכולת של המודל לבצע חיזויים נכונים על נתונים חדשים שלא נצפו בעבר. מודל שאפשר ליצור כללי הוא המודל ההפוך למודל שמבצעים התאמות.

עקומת הכללה

תרשים של הפסד אימון והפסד באימות כפונקציה של מספר איטרציות.

עקומת הכללה יכולה לעזור לזהות התאמה אפשרית. לדוגמה, עקומת ההכללה הבאה מצביעה על התאמת יתר כי האובדן של האימות בסופו של דבר הופך להיות גבוה יותר באופן משמעותי מאובדן האימון.

מודל ליניארי כללי

הכללה של מודלים של רגרסיה של ריבועים פחות, שמבוססים על רעש גאוסיאני, לסוגי מודלים אחרים על סמך סוגים אחרים של רעש, כמו רעש פואסון או רעש קטגורי. דוגמאות למודלים ליניאריים כלליים:

• רגרסיה לוגיסטית
• רגרסיה רב-שלבית
• רגרסיה של ריבועים לפחות

אפשר למצוא את הפרמטרים של מודל ליניארי כללי באמצעות אופטימיזציה קדומה.

מודלים ליניאריים כלליים מייצגים את המאפיינים הבאים:

• החיזוי הממוצע של מודל הרגרסיה האופטימלי של הריבועים הפחותים שווה לתווית הממוצעת בנתוני האימון.
• ההסתברות הממוצעת שחזויה לפי מודל הרגרסיה הלוגיסטית האופטימלית שווה לתווית הממוצעת בנתוני האימון.

הכוח של מודל ליניארי כללי מוגבל על ידי התכונות שלו. בניגוד למודל עומק, מודל ליניארי כללי לא יכול "ללמוד תכונות חדשות".

רשת למידה חישובית גנרטיבית (GAN)

מערכת ליצירת נתונים חדשים שבהם מחולל יוצר נתונים וכלי להבחנה קובע אם הנתונים שנוצרו תקפים או לא חוקיים.

בינה מלאכותית גנרטיבית

תחום מתפתח ומהנה ללא הגדרה רשמית. עם זאת, רוב המומחים מסכימים שמודלים של בינה מלאכותית גנרטיבית יכולים ליצור (ליצור) תוכן שכולל את כל הסוגים הבאים:

• מורכב
• קוהרנטית
• מקורית

לדוגמה, מודל של בינה מלאכותית גנרטיבית יכול ליצור תמונות או מאמרים מתוחכמים.

גם כמה טכנולוגיות קודמות, כולל LSTM וRNN, יכולות ליצור תוכן מקורי וקוהרנטי. חלק מהמומחים מתייחסים לטכנולוגיות הקודמות האלה כאל בינה מלאכותית גנרטיבית, ויש אחרים שמרגישים ש-AI גנרטיבי אמיתי דורש פלט מורכב יותר ממה שהטכנולוגיות הקודמות יכולות לייצר.

השוו בין למידת מכונה חזויה.

מודל גנרטיבי

בפועל, מודל שעושה אחת מהפעולות הבאות:

• יוצר (יוצר) דוגמאות חדשות ממערך הנתונים לאימון. לדוגמה, מודל גנרטיבי יכול ליצור שירה אחרי אימון על מערך נתונים של שירים. הקטגוריה הזו כוללת גם את החלק של המחולל מרשת נגד תוכנות זדוניות גנרטיבית.
• ההגדרה קובעת את הסבירות שדוגמה חדשה תגיע מקבוצת האימון או שנוצרה מאותו מנגנון שיצר את קבוצת האימון. לדוגמה, אחרי אימון על מערך נתונים שמורכב ממשפטים באנגלית, מודל גנרטיבי יכול לקבוע את ההסתברות שקלט חדש הוא משפט תקף באנגלית.

מודל גנרטיבי יכול להבחין באופן תיאורטי את ההתפלגות של דוגמאות או תכונות מסוימות במערך נתונים. כלומר:

p(examples)

מודלים של למידה בלתי מונחית הם גנרטיביים.

השוו בין מודלים מפלה.

מחולל

תת-המערכת בתוך רשת גנרטיבית שיוצרת דוגמאות חדשות.

סתירה עם מודל מפלה.

טוהר ג'יני

מדד שדומה ל-entropy. מפצלים משתמשים בערכים שנגזרים מטוהר ג'יני או מאנטרופיה כדי להרכיב תנאים לסיווג עצי החלטה. איסוף מידע נגזר מאנטרופיה. אין מונח מקביל ומקובל באופן אוניברסלי למדד שנגזר מחוסר תקינות של ג'יני

זיהום ג'יני נקרא גם מדד ג'יני, או פשוט gini.

מערך נתונים ברמת הזהב

קבוצת נתונים שנאספו באופן ידני ומתעדים אמת קרקע. צוותים יכולים להשתמש במערך נתונים אחד או יותר כדי להעריך את איכות המודל.

חלק ממערכי הנתונים המוזהבים מתעדים תת-דומיינים שונים של אמת קרקע. לדוגמה, מערך נתונים זהוב לסיווג תמונות עשוי לתעד את תנאי התאורה ואת רזולוציית התמונה.

GPT (טרנספורמר גנרטיבי שעבר אימון מראש)

משפחה של מודלים גדולים של שפה (LLM) שמבוססים על טרנספורמר שפותחה על ידי OpenAI.

וריאציות של GPT יכולות לחול על כמה שיטות, כולל:

• יצירת תמונות (לדוגמה, ImageGPT)
• יצירת טקסט לתמונה (למשל, DALL-E).

הדרגתי

הווקטור של נגזרות חלקיות ביחס לכל המשתנים הבלתי תלויים. בלמידת מכונה, השיפוע הוא הווקטור של נגזרות חלקיות של פונקציית המודל. ההדרגתיות מצביעה על כיוון העלייה התלולה ביותר.

הצטברות הדרגתית

שיטת הפצה לאחור שמעדכנת את הפרמטרים רק פעם אחת בכל תקופה, ולא פעם אחת בכל איטרציה. לאחר העיבוד של כל מיני-אצווה, הצטברות הדרגתית פשוט מעדכנת את הסכום הכולל של הדרגתיות. לאחר מכן, לאחר עיבוד המיני-אצווה האחרון בתקופה האחרונה, המערכת מעדכנת את הפרמטרים על סמך המספר הכולל של כל השינויים ההדרגתיים.

צבירה הדרגתית שימושית כשגודל האצווה גדול מאוד בהשוואה לנפח הזיכרון הזמין לאימון. כשהזיכרון הוא בעיה, הנטייה הטבעית היא להקטין את כמות הקבצים. עם זאת, צמצום הכמות של האצווה בהפצה חוזרת רגילה מגדיל את מספר העדכונים של הפרמטרים. צבירה הדרגתית מאפשרת למודל להימנע מבעיות בזיכרון אבל להמשיך לאמן ביעילות.

עצים מוגברים הדרגתיים (החלטה) (GBT)

סוג של יער החלטות שבו:

• האימון מבוסס על הגדלה הדרגתית של התוכן.
• המודל החלש הוא עץ החלטות.

הגדלה הדרגתית

אלגוריתם אימון שבו מודלים חלשים מאומנים לשפר באופן איטרטיבי את האיכות של מודל חזק (לצמצם את האובדן). לדוגמה, מודל חלש יכול להיות מודל לינארי או מודל של עץ החלטות קטן. המודל החזקה הופך לסכום של כל המודלים החלשים שאימנו קודם לכן.

בשיטה הפשוטה ביותר של הגדלת הדרגתיות, בכל איטרציה מודל חלש עובר אימון כדי לחזות את שיפוע האובדן של המודל החזקה. לאחר מכן, הפלט של המודל החזקה מתעדכן על ידי חיסור ההדרגתיות החזויה, בדומה לירידה הדרגתית.

איפה:

• $F_{0}$ הוא המודל החזקה מתחיל.
• $F_{i+1}$ הוא המודל החזקה הבא.
• $F_{i}$ הוא המודל החזקה הנוכחי.
• $\xi$ הוא ערך בין 0.0 ל-1.0 שנקרא shrinkage, והוא מקביל לקצב הלמידה בירידה הדרגתית.
• $f_{i}$ הוא המודל החלש שאומן לחזות את שיפוע ההפסד של $F_{i}$.

וריאציות מודרניות של הגדלת הדרגתיות כוללות גם את הנגזרת השנייה (הסיאנית) של אובדן בחישוב שלהם.

עצי החלטה בדרך כלל משמשים כמודלים חלשים של הגדלה הדרגתית. ראו עצים מוגברים הדרגתיים (החלטה).

חיתוך הדרגתי

מנגנון נפוץ לצמצום בעיית הדרגתיות מתפוצצת על ידי הגבלה מלאכותית (החלקה) של הערך המקסימלי של הדרגתיות כשמשתמשים בירידה הדרגתית כדי לאמן מודל.

ירידה הדרגתית

שיטה מתמטית לצמצום הפסד. תהליך הירידה ההדרגתי משנה באופן חזרתי את המשקולות ואת הטיות, וכך מוצא בהדרגה את השילוב הטוב ביותר כדי למזער את האובדן.

תהליך הירידה ההדרגתי הוא ישן יותר – הרבה, הרבה יותר ישן – מלמידת מכונה.

תרשים

ב-TensorFlow, מפרט מחשוב. הצמתים בתרשים מייצגים פעולות. הקצוות מכוונים ומייצגים העברה של התוצאה של פעולה (Tensor) כאופרנד לפעולה אחרת. אפשר להשתמש ב-TensorBoard כדי להציג תרשים באופן חזותי.

ביצוע תרשים

סביבת תכנות של TensorFlow שבה התוכנה יוצרת קודם תרשים ואז מפעילה את כל התרשים או חלק ממנו. הרצת התרשים היא מצב הביצוע שמוגדר כברירת מחדל ב-TensorFlow 1.x.

השוו בין ביצוע eene.

המדיניות בנושא אלגוריתם חמדן

בלמידת חיזוק, מדיניות שבוחרת תמיד את הפעולה עם ההחזר הגבוה ביותר הצפוי.

אמת קרקע

מציאות.

מה שקרה בפועל.

לדוגמה, נבחן מודל של סיווג בינארי שחוזה אם תלמיד בשנה הראשונה באוניברסיטה יסיים את הלימודים בתוך 6 שנים. האמת לגבי המודל הזה היא אם התלמיד סיים את הלימודים בתוך שש שנים או לא.

הטיית שיוך בקבוצה

בהנחה שמה שקורה לאדם פרטי, נכון גם לכל מי שנמצא בקבוצה. אם משתמשים בדגימת נוחות לאיסוף נתונים, אפשר להחמיר את ההשפעות של הטיות בשיוך קבוצתי. במדגם לא מייצג, ניתן להוסיף קרדיטים שלא משקפים את המציאות.

ראו גם הטיה והומוגניות של קבוצה מחוץ לקבוצה והטיה בתוך הקבוצה.

H

הזיה

יצירת פלט שנראה הגיוני אבל למעשה שגוי על ידי מודל בינה מלאכותית גנרטיבית, שמתייעץ לכאורה לגבי העולם האמיתי. לדוגמה, מודל של בינה מלאכותית גנרטיבית שטוען שברק אובמה מת ב-1865 הוא הזות.

גיבוב (hashing)

בלמידת מכונה, מנגנון לחלוקה לקטגוריות של נתונים קטגוריים, במיוחד כשמספר הקטגוריות גדול, אבל מספר הקטגוריות שמופיעות בפועל במערך הנתונים קטן יחסית.

לדוגמה, ב-Earth יש כ-73,000 זני עצים. אפשר לייצג כל אחד מ-73,000 מינים של עצים ב-73,000 קטגוריות קטגוריות נפרדות. לחלופין, אם רק 200 מסוגי העצים האלה מופיעים בפועל במערך נתונים, אפשר להשתמש בגיבוב (hashing) כדי לחלק את זני העצים ל-500 קטגוריות אולי.

קטגוריה אחת יכולה להכיל מספר מינים של עצים. לדוגמה, גיבוב (hashing) עלול להוביל לאותה קטגוריה: באובב ומייפל אדום – שני מינים שונים מבחינה גנטית. בכל מקרה, גיבוב (hashing) עדיין הוא דרך טובה למפות קבוצות גדולות של קטגוריות למספר הקטגוריות שנבחר. הגיבוב הופך תכונה שמכילה מספר גדול של ערכים אפשריים למספר קטן הרבה יותר של ערכים, על ידי קיבוץ ערכים באופן דטרמיני.

היוריסטיקה

פתרון פשוט ויעיל לבעיה. לדוגמה, "באמצעות היוריסטיקה השגנו דיוק של 86%. כשעברנו לרשת נוירונים עמוקה, הדיוק עלה ל-98%".

שכבה נסתרת

שכבה ברשת נוירונים בין שכבת הקלט (התכונות) לבין שכבת הפלט (החיזוי). כל שכבה מוסתרת מורכבת מנוירונים אחד או יותר. לדוגמה, רשת הנוירונים הבאה מכילה שתי שכבות נסתרות, הראשונה עם שלוש נוירונים והשנייה עם שני נוירונים:

רשת נוירונים עמוקה מכילה יותר משכבה מוסתרת אחת. לדוגמה, האיור שלמעלה הוא רשת נוירונים עמוקה כי המודל מכיל שתי שכבות נסתרות.

אשכולות היררכיים

קטגוריה של אלגוריתמים של אשכולות שיוצרים עץ של אשכולות. אשכולות היררכיים מתאימים מאוד לנתונים היררכיים, כמו טקסונומיות בוטניות. יש שני סוגים של אלגוריתמים של אשכולות היררכיים:

• אשכולות אגרגטיביים משייכים כל דוגמה לאשכול משלה, וממזגים באופן איטרטיבי את האשכולות הקרובים ביותר כדי ליצור עץ היררכי.
• קיבוץ לאשכולות לפי מקבץ קודם את כל הדוגמאות לאשכול אחד, ואז מחלק את האשכול באופן חזרתי לעץ היררכי.

השוו בין אשכולות מבוססי מרכז.

אובדן צירים

משפחה של loss משמשת לסיווג, שנועדה לדאוג לכך שגבול ההחלטה יהיה רחוק ככל האפשר מכל דוגמה לאימון, וכך למקסם את המרווח בין הדוגמאות לגבולות. מכונות KSVM משתמשות באובדן ציר (או בפונקציה קשורה, כמו אובדן צירים מרובעים). בסיווג בינארי, הפונקציה של אובדן צירים מוגדרת כך:

כאשר y הוא התווית האמיתית, -1 או +1, ו-y' הוא הפלט הגולמי של מודל המסווג:

כתוצאה מכך, תרשים של אובדן צירים לעומת (y * y') נראה כך:

הטיה היסטורית

סוג של הטיה שכבר קיימת בעולם ונחשפה למערך נתונים. ההטיות האלה נוטים לשקף סטריאוטיפים תרבותיים קיימים, אי שוויון דמוגרפי ודעות קדומות כנגד קבוצות חברתיות מסוימות.

לדוגמה, כדאי להשתמש במודל סיווג שחוזה אם מועמד להלוואה יקבל את ברירת המחדל של ההלוואה, שעבר אימון על נתונים היסטוריים של ברירת מחדל להלוואות משנות ה-80 של המאה ה-20, מהבנקים המקומיים, ובשתי קהילות שונות. אם מועמדים בעבר מקהילה א' היו בעלי סבירות גבוהה פי 6 למלא הלוואות בהשוואה למועמדים מקהילה ב', יכול להיות שהמודל ילמד הטיה היסטורית והסיכוי שהמודל יאשר הלוואות בקהילה א' היה נמוך יותר, גם אם התנאים ההיסטוריים שהובילו לשיעורי ברירת המחדל הגבוהים של הקהילה לא היו רלוונטיים יותר.

נתוני החזקה לצורך משפטי

דוגמאות שלא נעשה בהן שימוש מכוון ('לא בוטלה') במהלך האימון. מערך הנתונים של האימות ומערך הנתונים לבדיקה הם דוגמאות לנתוני השהיה. נתוני החזקה לצורך משפטי עוזרים להעריך את יכולת המודל ליצור הכללות על נתונים שאינם הנתונים שעליהם הוא אומן. האובדן של קבוצת ההפסדים מספק הערכה טובה יותר של האובדן במערך נתונים שלא נצפה מאשר ההפסד בקבוצת האימון.

מארח

כשמאמנים מודל למידת מכונה באמצעות צ'יפים של מאיץ (מעבדי GPU או מעבדי TPU), החלק במערכת ששולט בשני הפריטים הבאים:

• התהליך הכולל של הקוד.
• חילוץ וטרנספורמציה של צינור עיבוד הנתונים.

המארח פועל בדרך כלל במעבד (CPU) ולא בצ'יפ מאיץ. המכשיר מבצע שינויים במרכזי האימון שבצ'יפים של המאיץ.

היפר-פרמטר

המשתנים שאתם או שירות כוונון היפר-פרמטרים מתאימים במהלך רציפות עוקבות של אימון מודל. לדוגמה, קצב למידה הוא היפר-פרמטר. אפשר להגדיר את קצב הלמידה ל-0.01 לפני סשן אימון אחד. אם תגיעו למסקנה ש-0.01 גבוה מדי, תוכלו לשנות את קצב הלמידה ל-0.003 בסשן האימון הבא.

לעומת זאת, פרמטרים הם המשקלים השונים וההטיות השונות שהמודל לומד במהלך האימון.

היפר-מטוס

תחום שמפריד בין רווח לשני תת-מרחבים. לדוגמה, קו הוא היפר-מישור בשני ממדים ומישור הוא היפר-מישור בשלושה ממדים. בלמידת מכונה, בדרך כלל, היפר-מישור הוא הגבול שמפריד בין מרחב רב-ממדי. מכונות וקטוריות לתמיכה בליבה (kernel) משתמשות בהיפר-מישורים כדי להפריד בין סיווגים חיוביים לסיווגים שליליים, בדרך כלל במרחב עם מידות גבוהות.

I

כלומר

קיצור של הפצה עצמאית וזהה.

זיהוי תמונות, זיהוי תמונה

תהליך שמסווג אובייקטים, תבניות או מושגים בתמונה. זיהוי תמונות נקרא גם סיווג תמונות.

למידע נוסף, ראו ML Practicum: סיווג תמונות.

מערך נתונים לא מאוזן

מילה נרדפת למערך נתונים עם איזון בכיתה.

הטיה מרומזת

יצירת שיוך או הנחה באופן אוטומטי על סמך מודלים של מוחות וזיכרונות. הטיה מרומזת יכולה להשפיע על:

• איך נאספים ומסווגים נתונים?
• איך מערכות למידת מכונה תוכננו ומפתחים.

לדוגמה, כאשר בונים מסַווג לזיהוי תמונות מהחתונה, מהנדס יכול להשתמש בנוכחות של שמלה לבנה בתמונה. יחד עם זאת, שמלות לבנות נהוגות רק בתקופות מסוימות ובתרבויות מסוימות.

ראו גם הטיית אישור.

יישום

חישובים של הערך בצורה קצרה

חוסר תאימות של מדדי הוגנות

הרעיון שכמה מושגים של הוגנות אינם תואמים זה לזה, ואי אפשר למלא אותם בו-זמנית. כתוצאה מכך, אין מדד אוניברסלי אחד לכמת את ההוגנות שאפשר להחיל על כל הבעיות בלמידת מכונה.

אומנם הפעולה הזאת יכולה להיראות מיישמת, אבל חוסר התאמה של מדדי הוגנות לא מרמז על כך שמאמצים להוגנות לא מניבים תוצאות. במקום זאת, נראה שיש להגדיר הוגנות לפי הקשר לבעיה נתונה בלמידת מכונה, במטרה למנוע פגיעה ספציפית בתרחישים לדוגמה שלה.

לדיון מפורט יותר בנושא הזה אפשר לקרוא את המאמר "האפשרות (ה שאפשר) של הוגנות".

למידה בהקשר

מילה נרדפת להנחיות מכמה דוגמאות.

מופצת באופן עצמאי וזהה (i.d)

נתונים הנובעים מהתפלגות שלא משתנה, וכשכל ערך שמשורטט לא תלוי בערכים שנשלפו בעבר. Ii.d. הוא הגז האידיאלי של למידת מכונה – מבנה מתמטי שימושי, שכמעט אף פעם לא נמצא בדיוק בעולם האמיתי. לדוגמה, התפלגות המבקרים בדף אינטרנט עשויה להיות כלומר במהלך פרק זמן קצר. כלומר, ההתפלגות לא משתנה במהלך חלון הזמן הקצר הזה, ובדרך כלל ביקור של אדם אחד תלוי בביקור של אדם אחר. עם זאת, אם מרחיבים את חלון הזמן, עשויים להופיע הבדלים עונתיים בין המבקרים בדף האינטרנט.

ניתן לעיין גם במאמר לא תחנה.

הוגנות אישית

מדד של הוגנות שבודק אם אנשים דומים מסווגים באופן דומה. לדוגמה, יכול להיות שבאקדמיה של ברודינגכדי לעמוד בדרישות הוגנות, לוודא ששני תלמידים בעלי ציונים זהים וציוני בחינות סטנדרטיים צפויים לקבל את כולם במידה שווה.

חשוב לשים לב שההוגנות האישית מסתמכת אך ורק על האופן שבו מגדירים 'דמיון' (במקרה הזה, הציונים וציוני המבחן), ויש סיכון של יצירת בעיות חדשות הוגנות אם במדדי הדמיון מפספסים מידע חשוב (למשל, סדר הפרטים של התלמידים).

ראו "יושרה באמצעות מוּדעוּת" לדיון מפורט יותר לגבי הוגנות אינדיבידואלית.

הֶקֵּשׁ,

בלמידת מכונה, תהליך יצירת תחזיות על ידי החלת מודל מאומן על דוגמאות ללא תווית.

להשערה יש משמעות שונה מעט בסטטיסטיקה. למידע נוסף, אפשר לעיין ב מאמר בוויקיפדיה על מסקנות סטטיסטיות.

נתיב ההסקה

בעץ ההחלטות, במהלך הסקה, המסלול דוגמה מסוימת לוקח מהרמה הבסיסית (root) אל תנאים אחרים, שמסתיים בעל. לדוגמה, בעץ ההחלטות הבא, החיצים העבים יותר מייצגים את נתיב ההסקה של דוגמה עם ערכי המאפיינים הבאים:

• x = 7
• y = 12
• z = -3

נתיב ההֶקֵּשׁ באיור הבא עובר בין שלושה תנאים לפני הגעה לעה (Zeta).

שלושת החיצים העבים מראים את נתיב ההסקה.

איסוף מידע

ביערות החלטות, ההפרש בין אנטרופיה של צומת לבין הסכום המשוקלל (לפי מספר הדוגמאות) של האנטרופיה של צומתי הצאצאים שלו. האנטרופיה של הצומת היא האנטרופיה של הדוגמאות באותו צומת.

לדוגמה, נבחן את ערכי האנטרופיה הבאים:

• האנטרופיה של צומת ההורה = 0.6
• אנטרופיה של צומת צאצא אחד עם 16 דוגמאות רלוונטיות = 0.2
• ב-צומת צאצא אחר עם 24 דוגמאות רלוונטיות = 0.1

לכן 40% מהדוגמאות נמצאות בצומת צאצא אחד ו-60% נמצאות בצומת צאצא אחר. לכן:

• סכום האנטרופיה המשוקללת של צומתי צאצא = (0.4 * 0.2) + (0.6 * 0.1) = 0.14

כלומר, כמות המידע שמתקבלת היא:

• השגת מידע = אנטרופיה של צומת הורה – סכום אנטרופיה משוקלל של צומתי צאצא
• רווח מידע = 0.6 - 0.14 = 0.46

רוב הפיצולים רוצים ליצור תנאים שממקסמים את קבלת המידע.

הטיה בתוך הקבוצה

הצגת חלקיות על הקבוצה של עצמך או על המאפיינים שלו. אם בודקים או מדרגים כוללים חברים, בני משפחה או עמיתים של מפתח למידת המכונה, הטיה בתוך הקבוצה עשויה לשלול את תוקף בדיקת המוצרים או את מערך הנתונים.

הטיה בתוך קבוצה היא סוג של הטיה בשיוך קבוצתי. ראו גם הטיה והומוגניות של קבוצה מחוץ לקבוצה.

מחולל קלט

מנגנון שבאמצעותו הנתונים נטענים לרשת נוירונים.

אפשר להתייחס למחולל קלט כרכיב שאחראי לעיבוד נתונים גולמיים לטנזטורים שעוברים איטרציה כדי ליצור קבוצות לאימון, להערכה ולהסקת מסקנות.

שכבת קלט

השכבה של רשת נוירונים שבה שמור וקטור המאפיין. כלומר, שכבת הקלט מספקת דוגמאות לאימון או להסקה. לדוגמה, שכבת הקלט ברשת הנוירונים הבאה מורכבת משתי תכונות:

תנאי מוגדר

בעץ החלטות, תנאי שבודק אם יש פריט אחד בקבוצת פריטים. לדוגמה, הדוגמה הבאה היא תנאי מוגדר:

  house-style in [tudor, colonial, cape]

במהלך ההסקה, אם הערך של התכונה בסגנון בית הוא tudor או colonial או cape, התנאי הזה יהיה 'כן'. אם הערך של המאפיין 'סגנון בית' הוא משהו אחר (למשל, ranch), התנאי הזה מקבל את הערך No.

תנאים קבועים בדרך כלל מובילים לעצי קבלת החלטות יעילים יותר מאשר תנאים שבודקים תכונות של קידוד בקידוד חם אחד.

מכונה

example מילה נרדפת.

כוונון לפי הוראות

סוג של כוונון עדין שמשפר את היכולת של מודל בינה מלאכותית גנרטיבית לפעול לפי ההוראות. כוונון של הוראות כולל אימון של המודל לפי סדרה של הנחיות להוראה, שבדרך כלל כוללות מגוון רחב של משימות. לאחר מכן, המודל שמכוונן לפי הוראות נוטה ליצור תשובות מועילות להנחיות מאפס במגוון משימות.

השוו והבדילו עם:

• כוונון יעיל בפרמטרים
• כוונון הנחיות

בינה מלאכותית

היכולת להסביר או להציג לאדם מודל של למידת מכונה במונחים מובנים.

למשל, רוב המודלים של רגרסיה ליניארית ניתנות להבנה גבוהה. (כל מה שצריך לעשות הוא לבדוק את המשקולות לכל מאפיין). גם ביערות החלטה ניתן להבין בצורה משמעותית. עם זאת, חלק מהמודלים דורשים המחשה מתוחכמת כדי שיהיה אפשר לפרש את התוכן.

תוכלו להשתמש בכלי לפירוש הנתונים (LIT) כדי לפרש מודלים של למידת מכונה.

הסכם בין המדרגים

מדידה של התדירות שבה מדרגים אנושיים מסכימים כשהם מבצעים משימה. אם המדרגים לא מסכימים, ייתכן שצריך לשפר את הוראות המשימה. נקרא גם הסכם בין המשתמשים שהוספו הערות או אמינות בין המדרגים. ראו גם Kappa של קרן, שהוא אחד המדידות הפופולריות ביותר של הסכמים בין תעריפים.

הצטלבות דרך איחוד (IoU)

הצטלבות של שתי קבוצות חלקי האיחוד שלהן. במשימות זיהוי תמונות של למידת מכונה, IoU משמש למדידת הדיוק של התיבה התוחמת של המודל ביחס לתיבה התוחמת ground-truth. במקרה הזה, ה-IoU של שתי התיבות הוא היחס בין האזור החופף לשטח הכולל, והערכים שלו נעשים בין 0 (ללא חפיפה בין התיבה החזויה לבין התיבה התוחמת עם הקרקע החזויה) ל-1 (החיזוי של התיבה התוחמת והתיבה התוחמת של חוקי הקרקע יש את אותן הקואורדינטות בדיוק).

למשל, בתמונה הבאה:

• התיבה התוחמת החזויה (הקואורדינטות המפרידות בין המיקום שבו המודל חוזים את טבלת הלילה בציור) מתוארת בסגול.
• התיבה התוחמת בקרקע (הקואורדינטות המפרידות את המיקום של שולחן הלילה בציור) מתוארת בירוק.

כאן, נקודת החיתוך של התיבות התוחמות לחיזוי ואמת הקרקע (מתחת לשמאל) הוא 1, והאיחוד של התיבות התוחמות לחיזוי ואמת הקרקע (מתחת מימין) הוא 7, כך שה-IoU הוא \(\frac{1}{7}\).

IoU

קיצור של intersection over union.

מטריצת פריטים

במערכות ההמלצות, מטריצה של וקטורים של הטמעה שנוצרה על ידי פירוק לגורמים של מטריצות, וכוללת אותות לטנטיים לגבי כל פריט. כל שורה במטריצת הפריטים מכילה את הערך של מאפיין סמוי אחד לכל הפריטים. לדוגמה, נבחן מערכת המלצות על סרטים. כל עמודה במטריצת הפריטים מייצגת סרט אחד. האותות הסמויים עשויים לייצג ז'אנרים, או שאולי יהיה קשה יותר לפרש אותות שכרוכים באינטראקציות מורכבות בין הז'אנר, הכוכבים, גיל הסרט או גורמים אחרים.

במטריצת הפריטים יש אותו מספר עמודות כמו במטריצת היעד שמפולחים לגורמים. לדוגמה, בהינתן מערכת המלצות לסרטים שמעריכה 10,000 כותרים של סרטים, מטריצת הפריטים תכלול 10,000 עמודות.

פריטים

במערכת המלצות, הישויות שמומלצות על ידי המערכת. לדוגמה, סרטונים הם הפריטים שמומלצים בחנות סרטונים, ואילו ספרים הם הפריטים שמומלצים על ידי חנות ספרים.

איטרציה

עדכון יחיד של הפרמטרים של מודל – המשקלים והטיות של המודל – במהלך אימון. גודל האצווה קובע כמה דוגמאות המודל מעבד באיטרציה אחת. למשל, אם גודל האצווה הוא 20, אז המודל מעבד 20 דוגמאות לפני התאמת הפרמטרים.

כשמאמנים רשת נוירונים, איטרציה אחת כוללת את שני המעברים הבאים:

1. מעבר קדימה כדי להעריך הפסד באצווה אחת.
2. העברה לאחור (הפצה לאחור) לשינוי הפרמטרים של המודל על סמך ההפסד וקצב הלמידה.

J

JAX

ספריית מחשוב של מחשוב שמשלבת את XLA (Accelerated Linear Algebra) ומיועדת באופן אוטומטי למחשוב מספרי בעל ביצועים גבוהים. JAX מספק API פשוט וחזק לכתיבת קוד מספרי מואץ עם טרנספורמציות קומפוזביליות. JAX מספק תכונות כמו:

• grad (הבחנה אוטומטית)
• jit (אוסף 'בדיוק בזמן')
• vmap (חלוקה אוטומטית לווקטורים או קיבוץ)
• pmap (טעינה מקבילה)

JAX היא שפה להבעה ולחיבור של טרנספורמציות של קוד מספרי. הטרנספורמציות האלה אנלוגיות, אבל בהיקף נרחב הרבה יותר, לספריית NumPy של Python. (למעשה, ספריית .numpy של JAX היא מקבילה מבחינה פונקציונלית, אבל גרסה משוכתבת לחלוטין של ספריית Python NumPy).

JAX מתאים במיוחד להאצת משימות רבות של למידת מכונה על ידי הפיכת המודלים והנתונים לצורה שמתאימה במקבילות בין GPU וצ'יפים של מאיץ TPU.

ספריות Flax , Optax ו-Pax והרבה ספריות נוספות מבוססות על התשתית של JAX.

K

Keras

API פופולרי ללמידת מכונה של Python. Keras פועלת במספר מסגרות של למידה עמוקה (Deep Learning), כולל TensorFlow, שזמינה בתור tf.keras.

מכונות וקטורים לתמיכה בליבה (KSVMs)

אלגוריתם סיווג שמטרתו למקסם את השוליים בין ערכים חיוביים וסיווגים שליליים על ידי מיפוי וקטורים של נתוני קלט למרחב עם ממדים גבוהים יותר. לדוגמה, נבחן בעיית סיווג שבה במערך הנתונים של הקלט יש מאה מאפיינים. כדי להגדיל את השוליים בין סיווגים חיוביים ושליליים, KSVM יכולה למפות באופן פנימי את המאפיינים האלה למרחב עם מיליון מאפיינים. מכונות KSVM משתמשות בפונקציית אובדן שנקראת אובדן ציר.

נקודות מפתח

הקואורדינטות של ישויות מסוימות בתמונה. לדוגמה, עבור מודל של זיהוי תמונות שמפריד בין מינים של פרחים, נקודות מפתח יכולות להיות המרכז של כל עלה כותרת, גזע, אבקן וכן הלאה.

אימות פי K-F

אלגוריתם לחיזוי היכולת של המודל לבצע הכללה לנתונים חדשים. הערך k בקיפול k מייצג את מספר הקבוצות שוות שאליהן מחלקים את הדוגמאות של מערך נתונים. כלומר, מאמנים ובודקים את המודל k פעמים. בכל סבב של אימון ובדיקות, קבוצת הבדיקה היא קבוצה שונה, וכל הקבוצות הנותרות הופכות לקבוצת האימון. לאחר K סבבים של אימון ובדיקה, מחשבים את הממוצע ואת סטיית התקן של מדדי הבדיקה שנבחרו.

למשל, נניח שמערך הנתונים מכיל 120 דוגמאות. נניח גם שאתם מחליטים להגדיר את k ל-4. לכן אחרי שמארגנים את הדוגמאות באופן אקראי, מחלקים את מערך הנתונים לארבע קבוצות שוות של 30 דוגמאות ועורכים ארבעה סבבי אימון/בדיקה:

לדוגמה, Mean Squared Error (MSE) יכול להיות המדד המשמעותי ביותר למודל רגרסיה לינארי. לכן אפשר למצוא את הממוצע ואת סטיית התקן של ה-MSE בכל ארבעת הסיבובים.

K-כלומר

אלגוריתם פופולרי של אשכולות שמקבץ דוגמאות בלמידה לא מונחית. המשמעות של אלגוריתם k-הוא בעצם את הדברים הבאים:

• הוא קובע באופן איטרטיבי את נקודות המרכז (k) הטובות ביותר (שנקראות מרכזים).
• מקצה כל דוגמה למרכז הסוג הקרוב ביותר. הדוגמאות הקרובות ביותר לאותו מרכז שייכות לאותה קבוצה.

האלגוריתם k-כלומר בוחר מיקומים מרכזיים כדי לצמצם את הריבוע המצטבר של המרחקים מכל דוגמה למיקום המרכזי שלה.

לדוגמה, נבחן את התרשים הבא של גובה הכלב ורוחב הכלב:

אם k=3, האלגוריתם k-כלומר יקבע שלושה מרכזים. כל דוגמה מוקצית למרכז העיר הקרוב ביותר, ומייצרות שלוש קבוצות:

נניח שיצרן רוצה לקבוע את המידות האידיאליות לסוודרים קטנים, בינוניים וגדולים לכלבים. שלושת המרכזים מזהים את הגובה הממוצע והרוחב הממוצע של כל כלב באשכול הזה. לכן, סביר להניח שהיצרן יבסס את מידות סוודרים על שלושת המרכזים האלה. שימו לב שהמרכז של האשכול הוא בדרך כלל לא דוגמה באשכול.

באיורים הקודמים רואים k-כלומר לדוגמאות עם שתי תכונות בלבד (גובה ורוחב). שימו לב ש-k-יכול לקבץ דוגמאות בין תכונות רבות.

חציון K

אלגוריתם של קיבוץ באשכולות שקשור מאוד ל-k-means. ההבדל בפועל בין שני התרחישים הוא:

• כלומר, מרכזים נקבעים על ידי מזעור הריבועים של המרחק בין המועמד במרכז לבין כל אחת מהדוגמאות שלו.
• בחציון k, צנטרואידים נקבעים על ידי מזעור המרחק בין המועמד הריכוזי לבין כל אחת מהדוגמאות שלו.

שימו לב שההגדרות של מרחק שונות גם הן:

• k-פירושו של המרחק האוקלידי מהמרכז עד לדוגמה. (בשני ממדים, המשמעות של המרחק האוקלידיאני היא שימוש במשפט פיתגורס כדי לחשב את היתר.) לדוגמה, המרחק k-בין (2,2) ל-(5,-2) יהיה:

• k-median מסתמך על המרחק של מנהטן מהמרכז כדי להציג דוגמה. המרחק הזה הוא הסכום של ההפרשים המוחלטים בכל מימד. לדוגמה, המרחק החציוני k בין (2,2) ל-(5,-2) יהיה:

L

תקינה₀

סוג של סידור שמערער על המספר הכולל של משקולות שאינם אפס במודל. לדוגמה, על מודל עם 11 משקולות שאינן אפס יוטלו סנקציות על מודל דומה, עם 10 משקולות שהן לא אפס.

הרגולריזציה של L₀ נקראת לפעמים regularization L0-norm.

הפסד ₁

פונקציית הפסד שמחשבת את הערך המוחלט של ההפרש בין ערכי label בפועל לבין הערכים שמודל חוזים. לדוגמה, כך חישוב של הפסד _{L1 באצווה של חמש דוגמאות:}

אובדן ₁ פחות רגיש לחריגים חשודי טעות מאשר הפסד _L2.

Mean Absolute Error הוא אובדן ממוצע של L₁ לכל דוגמה.

תקינה₁

סוג של regularization שמענישה משקולות ביחס לסכום הערך המוחלט של המשקולות. הרגולריזציה ₁ עוזרת להגביר את המשקולות של תכונות לא רלוונטיות או שכמעט לא רלוונטיות ל-0 בדיוק. תכונה עם משקל של 0 מוסרת מהמודל.

השוו עם L₂ רגולריזציה.

אובדן ₂ L

פונקציית הפסד שמחשבת את הריבוע של ההפרש בין ערכי label בפועל לבין הערכים שמודל חוזים. לדוגמה, כך חישוב של הפסד _L2 באצווה של חמש דוגמאות:

בגלל ספירת הקולות, הפסדי ה-L₂ מגבירים את ההשפעה של חריגים חשודי טעות. כלומר, L₂ אובדן תגובה חזק יותר לחיזויים גרועים מאשר L₁ הפסד אחד לדוגמה, הפסד L₁ בקבוצה הקודמת יהיה 8 ולא 16. שימו לב שיוצא מן הכלל אחד מביא בחשבון 9 מתוך ה-16.

מודלים של רגרסיה בדרך כלל משתמשים באובדן L₂ כפונקציית הפסד.

השגיאה הממוצעת בריבוע היא אובדן הממוצע של L₂ לדוגמה. הפסד ריבועי הוא שם נוסף להפסד של L₂.

תקינה₂

סוג של סידור מחדש שמעניש משקולות ביחס לסכום הריבועים של המשקולות. הרגולריזציה של L₂ עוזרת לעודד משקלים חריגים (עם ערכים חיוביים או שליליים גבוהים) שקרובים ל-0 אבל לא בדיוק 0. תכונות עם ערכים קרובים מאוד ל-0 נשארות במודל, אבל לא משפיעות על התחזית של המודל באופן משמעותי.

₂ הרגולריזציה תמיד משפרת את הכללה במודלים לינאריים.

השוו עם L₁ רגיל.

label

ב-למידת מכונה בפיקוח, החלק של ה"תשובה" או של ה "תוצאה" מדוגמה.

כל דוגמה עם תווית מורכבת מתכונה אחת או יותר ותווית. לדוגמה, במערך נתונים של זיהוי ספאם, התווית תכיל להיות 'ספאם' או 'לא ספאם'. במערך נתונים של גשם, התווית עשויה להיות כמות הגשם שירד בתקופה מסוימת.

דוגמה עם תווית

דוגמה שכוללת תכונות אחת או יותר ותווית. לדוגמה, בטבלה הבאה מוצגות שלוש דוגמאות לתוויות ממודל של הערכת בית, כאשר לכל אחת מהן יש שלוש תכונות ותווית אחת:

בלמידת מכונה בפיקוח, מודלים מאמנים על דוגמאות מתויגות ויוצרים תחזיות לגבי דוגמאות ללא תוויות.

יש להשוות בין דוגמאות עם תוויות לדוגמאות ללא תווית.

דליפת תווית

פגם בעיצוב של המודל, שבו פיצ'ר הוא שרת proxy לתווית. לדוגמה, כדאי להשתמש במודל סיווג בינארי שחוזה אם לקוח פוטנציאלי ירכוש מוצר מסוים. נניח שאחת מהתכונות של המודל היא ערך בוליאני בשם SpokeToCustomerAgent. בנוסף, נניח שסוכן הלקוח מוקצה רק אחרי שהלקוח הפוטנציאלי רכש בפועל את המוצר. במהלך האימון, המודל ילמד במהירות על הקשר בין SpokeToCustomerAgent לתווית.

למבדה

מילה נרדפת לשיעור הנורמליזציה.

Lambda הוא מונח עמוס מדי. כאן מתמקדים בהגדרת המונח בארגון.

LaMDA (מודל שפה לאפליקציות דיאלוג)

מודל שפה גדול (LLM) שמבוסס על טרנספורמר שפותח על ידי Google כדי ללמוד על מערך נתונים גדול של דיאלוג, שיכול ליצור תשובות ריאליסטיות בשיחות.

LaMDA: טכנולוגיית השיחות פורצת הדרך שלנו מספקת סקירה כללית.

ציוני דרך

מילה נרדפת לנקודות מפתח.

מודל שפה

model שמעריך את הסבירות לכך שmodel או רצף של אסימונים ברצף ארוך יותר.

מודל שפה גדול (LLM)

מונח לא רשמי שאין לו הגדרה מחמירה, ובדרך כלל משמעותו מודל שפה שיש בו מספר גבוה של פרמטרים. חלק ממודלים גדולים של שפה (LLM) מכילים יותר מ-100 מיליארד פרמטרים.

מרחב לטנטי

מילה נרדפת להטמעת המרחב.

שכבה

קבוצה של נוירונים ברשת נוירונים. קיימים שלושה סוגים נפוצים של שכבות:

• שכבת הקלט, שמספקת ערכים לכל התכונות.
• שכבה מוסתרת אחת או יותר, שבה מוצאים קשרים לא ליניאריים בין התכונות לבין התווית.
• שכבת הפלט, שמספקת את החיזוי.

לדוגמה, באיור הבא מוצגת רשת נוירונים עם שכבת קלט אחת, שתי שכבות מוסתרות ושכבת פלט אחת:

ב-TensorFlow, שכבות הן גם פונקציות Python שמקבלות Tensors ואפשרויות הגדרה כקלט, ומייצרות tensors אחרים כפלט.

Layers API (tf.layers)

ממשק API של TensorFlow ליצירת רשת נוירונים עמוקה כהרכב של שכבות. ה-Layers API מאפשר ליצור סוגים שונים של שכבות, כמו:

• tf.layers.Dense בשכבה שמחוברת באופן מלא.
• tf.layers.Conv2D לשכבה קונבולוציה.

ה-Layers API פועל בהתאם למוסכמות ה-API של שכבות Keras. כלומר, מעבר לקידומת שונה, לכל הפונקציות ב-Layers API יש את אותם השמות והחתימות כמו המקבילות ב-Keraslayers API.

עלה

כל נקודת קצה בעץ החלטות. בניגוד לתנאי, עלה לא מבצע בדיקה. במקום זאת, עלה הוא חיזוי אפשרי. עלה הוא גם הצומת הטרמינל של נתיב ההסקה.

לדוגמה, עץ ההחלטות הבא מכיל שלושה עלים:

כלי לחיזוי למידה (LIT)

כלי אינטראקטיבי להבנת מודלים ולהמחשה חזותית של נתונים.

אפשר להשתמש ב-LIT בקוד פתוח כדי לפרש מודלים או כדי להמחיש טקסט, תמונה ונתוני טבלאי.

קצב למידה

מספר עם נקודה צפה (floating-point) שמציין לאלגוריתם הירידה ההדרגתית את מידת ההתאמה של המשקולות וההטיות בכל איטרציה. לדוגמה, קצב למידה של 0.3 ישנה את המשקולות וההטיות, פי 3, יותר מאשר קצב למידה של 0.1.

קצב הלמידה הוא היפר-פרמטר מפתח. אם קצב הלמידה יהיה נמוך מדי, האימון יימשך יותר מדי זמן. אם הגדרתם את קצב הלמידה גבוה מדי, בירידה ההדרגתית יש בדרך כלל בעיה להגיע לאיחוד.

רגרסיה של ריבועים לפחות

מודל רגרסיה לינארי שאומן על ידי צמצום של L₂ אובדן.

ליניארי

קשר בין שני משתנים או יותר שאפשר לייצג אך ורק באמצעות חיבור וכפל.

התרשים של קשר ליניארי הוא קו.

השוו ל-לא לינארי.

מודל לינארי

model שמקצה model אחד לכל model ליצירת model. (מודלים לינאריים גם כוללים הטיה). לעומת זאת, הקשר בין תכונות לחיזויים במודלים עמוקים הוא בדרך כלל לא לינארי.

בדרך כלל קל יותר לאמן מודלים לינאריים והם מתורגמים יותר ממודלים עמוקים. עם זאת, מודלים עמוקים יכולים ללמוד על קשרים מורכבים בין תכונות.

רגרסיה לינארית ורגרסיה לוגיסטית הם שני סוגים של מודלים ליניאריים.

y' = 7 + (-2.5)(x1) + (-1.2)(x2) + (1.4)(x3)

y' = 7 + (-2.5)(4) + (-1.2)(-10) + (1.4)(5)
y' = 16

רגרסיה ליניארית

סוג של מודל למידת מכונה שבו מתקיימים שני התנאים הבאים:

• המודל הוא מודל לינארי.
• החיזוי הוא ערך בנקודה צפה (floating-point). (זהו החלק של הרגרסיה של רגרסיה ליניארית).

בצעו השוואה בין רגרסיה ליניארית לבין רגרסיה לוגיסטית. בנוסף, השוו בין רגרסיה לבין סיווג.

LIT

קיצור של Learning preability Tool (LIT), שקודם לכן היה הכלי לפירוש השפה.

מודל שפה גדול (LLM)

קיצור של large language model (מודל שפה גדול).

רגרסיה לוגיסטית

סוג של מודל רגרסיה שחוזה הסתברות. למודלים של רגרסיה לוגיסטית יש את המאפיינים הבאים:

• התווית היא קטגורית. המונח רגרסיה לוגיסטית בדרך כלל מתייחס לרגרסיה לוגיסטית בינארית, כלומר למודל שמחשב הסתברויות לתוויות עם שני ערכים אפשריים. רגרסיה לוגיסטית ריבוינומית היא וריאנט פחות נפוץ, שמחשב את הסתברויות לתוויות עם יותר משני ערכים אפשריים.
• פונקציית האובדן במהלך האימון היא מחיקת יומנים. (אפשר למקם במקביל מספר יחידות של אובדן יומנים עבור תוויות עם יותר משני ערכים אפשריים).
• למודל יש ארכיטקטורה ליניארית, ולא רשת נוירונים עמוקה. עם זאת, שאר ההגדרה הזו רלוונטית גם למודלים עמוקים שחוזים הסתברויות לתוויות קטגוריות.

לדוגמה, נבחן מודל רגרסיה לוגיסטי שמחשב את ההסתברות שאימייל קלט הוא ספאם או לא ספאם. במהלך ההסקה, נניח שהמודל חוזה את הערך 0.72. לכן המודל מבצע הערכה של:

• סיכוי של 72% שהאימייל הוא ספאם.
• סיכוי של 28% שהודעת האימייל היא לא ספאם.

מודל רגרסיה לוגיסטי מבוסס על ארכיטקטורת שני שלבים:

1. המודל יוצר חיזוי גולמי (y) על ידי החלת פונקציה לינארית של תכונות הקלט.
2. המודל משתמש בחיזוי הגולמי כקלט לפונקצייתsigmoid, שממירה את החיזוי הגולמי לערך בין 0 ל-1, לא כולל.

בדומה לכל מודל רגרסיה, מודל רגרסיה לוגיסטי חוזה מספר. עם זאת, המספר הזה בדרך כלל הופך לחלק ממודל סיווג בינארי באופן הבא:

• אם המספר החזוי הוא גדול מסף הסיווג, מודל הסיווג הבינארי חוזה את המחלקה החיובית.
• אם המספר החזוי נמוך מסף הסיווג, מודל הסיווג הבינארי חוזה את המחלקה השלילית.

פונקציות הלוג'יט

הווקטור של תחזיות גולמיות (לא מנורמלות) שמודל סיווג יוצר, ובדרך כלל מועבר לפונקציית נירמול. אם המודל פותר בעיה של סיווג מרובה-מחלקות, פונקציות הלוג'יט בדרך כלל הופכות לקלט של הפונקציה softmax. בשלב הבא, הפונקציה softmax יוצרת וקטור של הסתברויות (מנורמלות) עם ערך אחד לכל מחלקה אפשרית.

אובדן תיעוד

פונקציית ההפסד שמשמשת ברגרסיה לוגיסטית בינארית.

סיכויים לרישום ביומן

הלוגריתם של הסיכויים לאירוע מסוים.

זיכרון ארוך לטווח קצר (LSTM)

סוג של תא ברשת נוירונים חוזרת שמשמש לעיבוד סדרות של נתונים באפליקציות כמו זיהוי כתב יד, תרגום מכונה וכיתובי תמונות. רכיבי LSTM מטפלים בבעיית ההדרגתיות הנעלמת שמתרחשת בזמן אימון RNN עקב רצפי נתונים ארוכים. לשם כך, אנחנו שומרים על ההיסטוריה במצב זיכרון פנימי, על סמך קלט והקשר חדשים מהתאים הקודמים ברשת ה-RNN.

LoRA

קיצור של Adaptability בדירוג נמוך.

הפסד

במהלך האימון של מודל בפיקוח, מדד שמציין את המרחק של החיזוי של המודל מהתווית שלו.

פונקציית הפסד מחשבת את אובדן.

אתר אגרגטור למחירי הפסדים

סוג של אלגוריתם למידת מכונה שמשפר את הביצועים של מודל על ידי שילוב החיזויים של מספר מודלים ושימוש בחיזויים האלה ליצירת חיזוי יחיד. כתוצאה מכך, אתר אגרגטור של הפסדים יכול לצמצם את השונות של החיזויים ולשפר את הדיוק של החיזויים.

עקומת הפסד

תרשים של הפסד כפונקציה של מספר איטרציות לאימון. בתרשים הבא מוצגת עקומת הפסדים טיפוסית:

עקומות של הפסדים יכולות לעזור לכם לקבוע מתי המודל מקיים שיחה או התאמת יתר.

עקומות אובדן יכולות להציג את כל סוגי האובדן הבאים:

• הפסד אימון
• הפסד אימות
• הפסד בדיקה

ראו גם עקומת הכללה.

את פונקציית האובדן

במהלך אימון או בדיקה, פונקציה מתמטית שמחשבת את ההפסד באצווה של דוגמאות. פונקציית הפסד מחזירה ערך נמוך יותר במודלים שמספקים תחזיות טובות לעומת מודלים שיוצרים חיזויים גרועים.

מטרת האימון היא בדרך כלל לצמצם את רמת האובדן שפונקציית הפסד מחזירה.

יש סוגים רבים ושונים של פונקציות אובדן. כדאי לבחור את פונקציית האובדן המתאימה לסוג המודל שמפתחים. למשל:

• אובדן L₂ (או שגיאה ממוצעת בריבוע) היא פונקציית האובדן של רגרסיה לינארית.
• Log Loss היא פונקציית האובדן של רגרסיה לוגית.

שטח אובדן

גרף של משקל(משקלים) לעומת ירידה. המטרה של ירידה הדרגתית היא למצוא את המשקל או המשקל ששטח ההפסדים שבו שטח ההפסד עומד במינימום המקומי.

יכולת התאמה לדירוג נמוך (LoRA)

אלגוריתם לביצוע כוונון יעיל בפרמטרים שמכוונן רק קבוצת משנה של פרמטרים של מודל שפה גדול (LLM). LoRA מספק את היתרונות הבאים:

• הכוונון מהיר יותר מאשר שיטות שמחייבות כוונון עדין של כל הפרמטרים של המודל.
• הפחתת העלות החישובית של הסקת מסקנות במודל המכוונן.

מודל שמכוונן באמצעות LoRA שומר או משפר את האיכות של החיזויים.

LoRA מאפשר להפעיל כמה גרסאות מיוחדות של המודל.

פתרון בעיות LSTM

קיצור של זיכרון לטווח קצר (LFV).

M

למידת מכונה

תוכנית או מערכת שמאמנים מודל מנתוני קלט. המודל שעבר אימון יכול ליצור תחזיות שימושיות מנתונים חדשים (שלא הוצגו בעבר) מאותה התפלגות כמו זו ששימשה לאימון המודל.

למידת מכונה מתייחסת גם לתחום הלימודים שקשור לתוכניות או למערכות האלה.

קבוצת הרוב

התווית הנפוצה יותר במערך נתונים ללא איזון בין מחלקות. לדוגמה, בהתחשב במערך נתונים שמכיל 99% תוויות שליליות ו-1% תוויות חיוביות, התוויות השליליות הן סיווג הרוב.

השוו ל-סיווג מיעוט.

תהליך ההחלטה של מרקוב (MDP)

תרשים שמייצג את מודל קבלת ההחלטות שבו נלקחות החלטות (או פעולות) כדי לנווט על רצף של מדינות בהנחה שיש בנכס מרקוב. בלמידת חיזוק, המעברים האלה בין מדינות מחזירים תגמול מספרי.

נכס מרקוב

מאפיין של סביבות מסוימות, שבהן העברות בין מדינות נקבעות לחלוטין על סמך המידע המרומז במצב הנוכחי והפעולה של הנציג.

מודל התממת שפה (MLM)

מודל שפה שחוזים את ההסתברות שאסימונים מועמדים להשלים את החלקים הריקים ברצף. לדוגמה, מודל התממת שפה יכול לחשב הסתברויות למילים מועמדות כדי להחליף את הקו התחתון במשפט הבא:

ה-____ בכובע חזר.

בכתבה בדרך כלל נעשה שימוש במחרוזת "MASK" במקום עם קו תחתון. למשל:

ה-"MASK" בכובע חזר.

רוב המודלים המודרניים של שפה מתמשכת הם דו-כיווניים.

Matplotlib

ספריית Python 2D ליצירת תרשימים בקוד פתוח. matplotlib עוזרת להמחיש היבטים שונים של למידת מכונה.

פירוק לגורמים של מטריצות

במתמטיקה, מנגנון למציאת מטריצות שמכפלת הנקודות שלהן קרובה למטריצת יעד.

במערכות של המלצות, בדרך כלל מטריצת היעד שומרת את הדירוגים של המשתמשים בפריטים. לדוגמה, מטריצת היעד של מערכת המלצות על סרטים עשויה להיראות בערך כך, כאשר המספרים השלמים החיוביים הם דירוגי משתמשים, ו-0 פירושו שהמשתמש לא דירוג את הסרט:

מטרת מערכת ההמלצות על סרטים היא לחזות את דירוגי המשתמשים לסרטים ללא סיווג. לדוגמה, האם משתמש 1 יאהב את הפנתר השחור?

גישה אחת למערכות של המלצות היא להשתמש בחלוקה לגורמים של מטריצות (factoring) כדי ליצור את שתי המטריצות הבאות:

• מטריצה של משתמשים, בצורת מספר המשתמשים X מספר מאפייני ההטמעה.
• מטריצת פריטים, בצורת מספר מאפייני ההטמעה X מספר הפריטים.

לדוגמה, שימוש בפקודת מטריצות של שלושת המשתמשים וחמישה פריטים עשוי להניב את מטריצת המשתמשים ומטריצת הפריטים הבאה:

User Matrix                 Item Matrix

1.1   2.3           0.9   0.2   1.4    2.0   1.2
0.6   2.0           1.7   1.2   1.2   -0.1   2.1
2.5   0.5

המכפלה של מטריצת המשתמשים ומטריצת הפריטים יוצרת מטריצת המלצות שמכילה לא רק את דירוגי המשתמשים המקוריים, אלא גם חיזויים לסרטים שכל משתמש לא ראה. לדוגמה, נניח שהדירוג של משתמש 1 הוא קזבלנקה, שהוא 5.0. המכפלה של מטריצת ההמלצות שתואמת לתא הזה מטריצת ההמלצות אמורה להיות בערך 5.0, והוא:

(1.1 * 0.9) + (2.3 * 1.7) = 4.9

חשוב יותר: האם משתמש 1 יאהב את הפנתר השחור? אם לוקחים את מכפלת הנקודות שתואם לשורה הראשונה והעמודה השלישית, מתקבל דירוג חזוי של 4.3:

(1.1 * 1.4) + (2.3 * 1.2) = 4.3

פירוק לגורמים של מטריצות בדרך כלל מניב מטריצת משתמשים ומטריצת פריטים, שביחד הם קומפקטיים יותר באופן משמעותי ממטריצת היעד.

שגיאה אבסולוטית ממוצעת (MAE)

האובדן הממוצע לכל דוגמה כשמשתמשים בהפסד L₁. חשבו את השגיאה המוחלטת הממוצעת באופן הבא:

1. מחשבים את הפסד ה-L₁ באצווה.
2. מחלקים את אובדן L₁ במספר הדוגמאות באצווה.

לדוגמה, נבחן את החישוב של אובדן L₁ על סמך חמש הדוגמאות הבאות:

כלומר, הפסד ₁ הוא 8 ומספר הדוגמאות הוא 5. לכן, השגיאה המוחלטת הממוצעת היא:

Mean Absolute Error = L1 loss / Number of Examples
Mean Absolute Error = 8/5 = 1.6

השוו בין שגיאה אבסולוטית ממוצעת עם שגיאה ממוצעת בריבוע ושגיאה ממוצעת בריבוע.

שגיאה בריבוע ממוצע (MSE)

אובדן ממוצע לדוגמה במקרה של L₂ הפסד. חשבו את השגיאה הממוצעת בריבוע באופן הבא:

1. מחשבים את הפסד ה-L₂ באצווה.
2. מחלקים את הערך של הפסד _L2 במספר הדוגמאות באצווה.

לדוגמה, נבחן את ההפסד באצווה הבאה של חמש דוגמאות:

לכן, השגיאה הממוצעת בריבוע היא:

Mean Squared Error = L2 loss / Number of Examples
Mean Squared Error = 16/5 = 3.2

Mean Squared Error הוא כלי אופטימיזציה פופולרי לאימון, במיוחד לרגרסיה לינארית.

ביצוע ניגודיות בין שגיאת ריבוע ממוצעת עם שגיאה אבסולוטית ממוצעת ושגיאה ממוצעת בריבוע.

TensorFlow Playground משתמש ב-Mean Squared Error כדי לחשב את ערכי אובדן הנתונים.

רשת

בתכנות מקביל של למידת מכונה, מונח שמשויך להקצאת הנתונים והמודל לצ'יפים של TPU, ולהגדרת האופן שבו הערכים האלה יפוצלו או ישוכפלו.

Mesh הוא מונח של עומס יתר, שיכול להיות אחת מהאפשרויות הבאות:

• פריסה פיזית של שבבי TPU.
• מבנה לוגי מופשט למיפוי הנתונים והמודל לשבבי ה-TPU.

בכל מקרה, רשת מצוינת כצורה.

מטא-למידה

קבוצת משנה של למידת מכונה שחוקרת או משפרת אלגוריתם של למידה. מערכת מטא-למידת מכונה יכולה גם לאמן מודל כדי ללמוד במהירות משימה חדשה מתוך כמות קטנה של נתונים או מניסיון שצברתם במשימות קודמות. אלגוריתמים של מטא-למידה בדרך כלל מנסים להשיג את המטרות הבאות:

• לשפר או ללמוד תכונות שפותחו ביד (כמו מאתחל או אופטימיזציה).
• ייעול הנתונים וייעול המחשוב.
• שיפור ההכללה.

מטא-למידה קשורה ללמידה מסוימת (few-shot).

ערך

נתון סטטיסטי שחשוב לכם.

יעד הוא מדד שמערכת למידת מכונה מנסה לבצע אופטימיזציה.

Metrics API (tf.metrics)

ממשק API של TensorFlow להערכת מודלים. לדוגמה, הערך tf.metrics.accuracy קובע באיזו תדירות החיזויים של המודל תואמים לתוויות.

מיני-אצווה

קבוצת משנה קטנה שנבחרת באופן אקראי של אצווה שמעובדת באיטרציה אחת. גודל האצווה של מיני-אצווה הוא בדרך כלל בין 10 ל-1,000 דוגמאות.

לדוגמה, נניח שכל קבוצת האימון (הקבוצה המלאה) כוללת 1,000 דוגמאות. בנוסף, נניח שהגדרתם את גודל האצווה של כל מיני-אצווה ל-20. לכן, כל איטרציה קובעת את ההפסד ב-20 אקראיים מתוך 1,000 הדוגמאות, ואז מתאימה את המשקולות ואת ההטיות בהתאם.

הרבה יותר יעיל לחשב את האובדן בחבילה קטנה מאשר בכל הדוגמאות בחבילה הכוללת.

ירידה הדרגתית בסגנון מיני-אצווה

אלגוריתם של ירידה הדרגתית שמשתמש ביחידות קטנות. במילים אחרות, אם חלה ירידה סטוכסטית קטנה בכמות גדולה, מתבצעת הערכה של ההדרגתיות על סמך קבוצת משנה קטנה של נתוני האימון. ירידה אקראית אקראית הרגילה משתמשת במיני-אצווה בגודל 1.

הפסד של minimax

פונקציית אובדן נתונים של רשתות זדוניות גנרטיביות, שמבוססת על אנטרופיה חוצת-אנטרופיה בין התפלגות הנתונים שנוצרו לבין נתונים אמיתיים.

במאמר הראשון מוסבר על הפסד מינימלי כדי לתאר רשתות יריבות גנרטיביות.

סיווג מיעוט

התווית הפחות נפוצה במערך נתונים ללא איזון בין מחלקות. לדוגמה, בהתחשב במערך נתונים שמכיל 99% תוויות שליליות ו-1% תוויות חיוביות, התוויות החיוביות הן סיווג המיעוט.

ניגודיות עם סיווג רוב.

ML

קיצור של machine learning (למידת מכונה).

MNIST

מערך נתונים בדומיין ציבורי, שנאסף על ידי LeCun, Cortes ו-Burges, ומכיל 60,000 תמונות, כשכל תמונה מראה איך אדם כתב באופן ידני ספרה מסוימת מ-0 עד 9. כל תמונה מאוחסנת כמערך מספרים שלמים בגודל 28x28, כאשר כל מספר שלם הוא ערך בגווני אפור בין 0 ל-255, כולל.

MNIST הוא מערך נתונים קנוני ללמידת מכונה, שמשמש לעיתים קרובות לבדיקת גישות חדשות של למידת מכונה. לפרטים נוספים, ראו מסד הנתונים של MNIST לספרות בכתב יד.

מודל עזר

קטגוריית נתונים ברמה גבוהה. לדוגמה, מספרים, טקסט, תמונות, וידאו ואודיו הם חמישה שיטות שונות.

model

באופן כללי, כל מבנה מתמטי שמעבד נתוני קלט ומחזיר פלט. מודל מפרש בצורה שונה את קבוצת הפרמטרים והמבנה שדרושים למערכת כדי לבצע חיזויים. בלמידת מכונה בפיקוח, מודל מקבל דוגמה כקלט ומסיק חיזוי כפלט. בלמידת מכונה בפיקוח, המודלים שונים במידה מסוימת. למשל:

• מודל רגרסיה לינארי מורכב מקבוצה של משקולות והטיה.
• מודל של רשת נוירונים מורכב מ:
  • קבוצה של שכבות מוסתרות, שכל אחת מהן מכילה נוירונים אחד או יותר.
  • המשקולות וההטיה שמשויכות לכל נוירון.
• מודל של עץ החלטות כולל:
  • צורת העץ, כלומר הדפוס שבו התנאים והעלים מחוברים.
  • התנאים והעלים.

אפשר לשמור מודל, לשחזר אותו או ליצור עותקים שלו.

למידת מכונה לא בפיקוח יוצרת גם מודלים, בדרך כלל פונקציה שיכולה למפות דוגמה לקלט לאשכול המתאים ביותר.

  f(x, y) = 3x -5xy + y2 + 17

def half_of_greater(x, y):
  if (x > y):
    return(x / 2)
  else
    return(y / 2)

קיבולת המודל

המורכבות של הבעיות שהמודל יכול ללמוד. ככל שהבעיות שהמודל יכול ללמוד מורכבות יותר, כך הקיבולת שלו גבוהה יותר. בדרך כלל, הקיבולת של המודל גדלה ככל שמספר הפרמטרים של המודל גדל. להגדרה הרשמית של קיבולת המסווג ראו מאפיין VC.

סדר מדורג

מערכת שבוחרת את הmodel האידיאלי לשאילתת הסקה ספציפית.

דמיינו קבוצה של מודלים, שנעה בין גדול מאוד (הרבה פרמטרים) להרבה יותר קטן (הרבה פחות פרמטרים). מודלים גדולים מאוד צורכים יותר משאבי חישוב בזמן הסקה מאשר מודלים קטנים יותר. עם זאת, מודלים גדולים מאוד יכולים בדרך כלל להסיק בקשות מורכבות יותר ממודלים קטנים יותר. רצף של מודלים קובע את המורכבות של שאילתת ההסקה, ואז בוחר את המודל המתאים לביצוע ההסקה. המניע העיקרי של סיווג המודלים הוא להפחית את עלויות ההסקה על ידי בחירה במודלים קטנים יותר, ובחירת מודל גדול יותר לשאילתות מורכבות יותר.

נניח שמודל קטן פועל בטלפון וגרסה גדולה יותר של המודל פועלת בשרת מרוחק. רצף טוב של מודלים מפחית את העלות ואת זמן האחזור בכך שהוא מאפשר למודל הקטן יותר לטפל בבקשות פשוטות ולבצע קריאה למודל המרוחק בלבד כדי לטפל בבקשות מורכבות.

ראו גם דגם של נתב.

מקביליות של מודל

דרך להתאים לעומס (scaling) של האימון או המסקנות, שמשלבת חלקים שונים של model אחד לmodel שונים. מקבילה של מודלים מאפשרת מודלים גדולים מדי מכדי להתאים למכשיר יחיד.

כדי ליישם מקבילות של מודל, מערכת בדרך כלל מבצעת את הפעולות הבאות:

1. חלקיקים (מחלקים) את המודל לחלקים קטנים יותר.
2. מחלק את האימון של החלקים הקטנים האלה בין מספר מעבדים. כל מעבד מאמן את החלק שלו במודל.
3. משלבת את התוצאות כדי ליצור מודל אחד.

המקבילות בין מודלים מאטה את האימון.

ניתן לראות גם מקבילות של נתונים.

נתב מודל

האלגוריתם שקובע את הmodel האידיאלי עבור model בmodel. נתב מודל הוא בדרך כלל מודל למידת מכונה שלומד בהדרגה איך לבחור את המודל הטוב ביותר לקלט נתון. עם זאת, לפעמים נתב מודל יכול להיות אלגוריתם פשוט יותר שאינו למידת מכונה.

אימון מודלים

התהליך לבחירת model הטוב ביותר.

מומנטום

אלגוריתם מתוחכם של ירידה הדרגתית, שבו שלב למידה תלוי לא רק בנגזרת בשלב הנוכחי, אלא גם בנגזרות של השלבים שקדמו לו. מומנטום כרוך בחישוב ממוצע נע של ההדרגתיות המשוקלל באופן אקספוננציאלי לאורך זמן, בדומה לתנע בפיזיקה. המומנטום לפעמים מונע מצב של למידה להיתקע במינימום המקומי.

סיווג לכמה כיתות

בלמידה מונחית, קיימת בעיית סיווג שבה מערך הנתונים מכיל יותר משתי כיתות של תוויות. לדוגמה, התוויות במערך הנתונים של Iris חייבות להיות אחת משלוש הסוגים הבאים:

• אירוס סטוסה
• אירוס וירג'יניה
• אירוס צבעוני

במסגרת מודל שאומן על מערך הנתונים של Iris כדי לחזות את סוג האירוס על סמך דוגמאות חדשות, מתבצע סיווג מרובה.

לעומת זאת, בעיות סיווג שמבדילות בין שתי מחלקות בדיוק הן מודלים בינאריים של סיווג. לדוגמה, מודל אימייל שחוזה ספאם או לא ספאם הוא מודל סיווג בינארי.

בבעיות אשכולות, סיווג מרובה-מחלקות מתייחס ליותר משני אשכולות.

רגרסיה לוגיסטית רב-תחומית

שימוש ברגרסיה לוגיסטית בבעיות סיווג רב-מחלקות.

קשב עצמי עם מספר ראשים

תוסף של הקשב עצמי, שמופעל על ידי מנגנון הקשב העצמי כמה פעמים על כל מיקום ברצף הקלט.

טרנספורמרים מאפשרים עכשיו קשב עצמי עם מספר ראשים.

מודל רב-אופני

מודל שהקלט ו/או הפלט שלו כוללים יותר משיטה אחת. לדוגמה, נבחן מודל שלוקח גם תמונה וגם כיתוב טקסט (בשתי שיטות) כתכונות, ומפיק ציון שמציין עד כמה כיתוב הטקסט מתאים לתמונה. כך שהקלטים במודל הזה הם רב-אופניים והפלט הוא לא-מודאלי.

סיווג מולטינומי

מילה נרדפת לסיווג רב-קטגוריות.

רגרסיה רב-נומית

רגרסיה לוגיסטית רב-תחומית היא מילה נרדפת.

מולטיטסקינג

שיטת למידת מכונה שבה model יחיד אומן לבצע מספר model.

מודלים של ריבוי משימות נוצרים על ידי אימון על נתונים שמתאימים לכל אחת מהמשימות השונות. כך המודל ילמד לשתף מידע בין המשימות, וזה יעזור למודל ללמוד בצורה יעילה יותר.

מודל שאומן לביצוע משימות מרובות בדרך כלל משפר את יכולות ההכללה, ויכול להיות חזק יותר בטיפול בסוגים שונים של נתונים.

לא

מלכודת NaN

כשמספר אחד במודל הופך ל-NaN במהלך האימון, וכתוצאה מכך מספר רב או כל המספרים האחרים במודל הופכים בסופו של דבר ל-NaN.

NaN הוא קיצור של Not a N (ב).

הבנת שפה טבעית (NLU)

קביעת כוונת המשתמש על סמך מה שהוא הקליד או אמר. לדוגמה, מנוע חיפוש משתמש בהבנת שפה טבעית (NLP) כדי לקבוע מה המשתמש מחפש על סמך מה שהוא הקליד או אמר.

סיווג שלילי

בסיווג בינארי, המחלקה נקראת חיובית והשנייה נקראת שלילית. הסיווג החיובי הוא הדבר או האירוע שעבורם המודל בודק, והסיווג השלילי הוא האפשרות האחרת. למשל:

• הסיווג השלילי בבדיקה רפואית עשוי להיות 'לא גידול'.
• הסיווג השלילי במסווג אימייל עשוי להיות 'לא ספאם'.

השוו עם סיווג חיובי.

דגימה שלילית

דגימת מועמדים היא מילה נרדפת.

חיפוש ארכיטקטורה נוירונים (NAS)

שיטה לעיצוב אוטומטי של הארכיטקטורה של רשת נוירונים. אלגוריתמים של NAS יכולים לצמצם את כמות הזמן והמשאבים שנדרשים כדי לאמן רשת נוירונים.

בדרך כלל, פרוטוקול NAS מבוסס על:

• מרחב חיפוש, שהוא קבוצה של ארכיטקטורות אפשריות.
• פונקציית כושר, שהיא מדד של רמת הביצועים של ארכיטקטורה מסוימת במשימה נתונה.

אלגוריתמים של NAS מתחילים לעיתים קרובות בקבוצה קטנה של ארכיטקטורות אפשריות, ובהדרגה מרחיבים את תחום החיפוש ככל שהאלגוריתם לומד יותר על הארכיטקטורות היעילות. פונקציית הכושר מבוססת בדרך כלל על ביצועי הארכיטקטורה בערכת אימון, והאלגוריתם של בדרך כלל מאומן באמצעות שיטת למידת חיזוק.

האלגוריתמים של NAS הוכיחו את עצמם כאפקטיביים במציאת ארכיטקטורות עם ביצועים גבוהים למגוון משימות, כולל סיווג של תמונות, סיווג טקסט ותרגום מכונה.

רשת הזרימה קדימה

model שמכיל לפחות model אחת. רשת נוירונים עמוקה היא סוג של רשת נוירונים שמכילה יותר משכבה מוסתרת אחת. לדוגמה, בתרשים הבא מוצגת רשת נוירונים עמוקה שמכילה שתי שכבות נסתרות.

כל נוירון ברשת נוירונים מתחבר לכל הצמתים בשכבה הבאה. לדוגמה, בתרשים הקודם, תוכלו לראות שכל אחד משלושת הנוירונים בשכבה הסמויה הראשונה מתחברים בנפרד לשני הנוירונים בשכבה השנייה הסמויה.

רשתות נוירונים שמוטמעות במחשבים נקראות לפעמים רשתות נוירונים מלאכותיות כדי להבדיל ביניהן לבין רשתות נוירונים שנמצאות במוח ובמערכות עצבים אחרות.

רשתות נוירונים מסוימות יכולות לחקות קשרים לא ליניאריים מורכבים מאוד בין תכונות שונות לבין התווית.

ראו גם רשת עצבית מתקפלת ורשת נוירונים חוזרת.

נוירון

בלמידת מכונה, יחידה נפרדת בתוך שכבה מוסתרת של רשת נוירונים. כל נוירון מבצע את הפעולה הדו-שלבית הבאה:

1. מחשבת את הסכום המשוקלל של ערכי הקלט כפול המשקולות התואמים שלהם.
2. מעביר את הסכום המשוקלל כקלט לפונקציית הפעלה.

נוירון בשכבה המוסתרת הראשונה מקבל קלט מערכי המאפיינים בשכבת הקלט. נוירון בכל שכבה נסתרת מעבר לשכבה הראשונה מקבל קלט מהנוירונים בשכבה הסמויה הקודמת. לדוגמה, נוירון בשכבה הסמויה השנייה מקבל את הקלט מהנוירונים בשכבה הסמויה הראשונה.

באיור הבא מדגישים שני נוירונים ואת הקלט שלהם.

נוירון ברשת נוירונים מחקה את ההתנהגות של נוירונים במוח ובחלקים אחרים של מערכות העצבים.

N-gram

רצף סדור של N מילים. לדוגמה, truly madly – 2 גרם. מכיוון שסדר הסדר רלוונטי, ברצינות רצינית הוא גרם 2 גרם שונה מבאמת משוגע.

הרבה מודלים של הבנת שפה טבעית מסתמכים על סימני N-gram כדי לחזות את המילה הבאה שהמשתמש יקליד או יאמר. לדוגמה, נניח שמשתמש הקליד שלושת עיוורים. מודל NLU שמבוסס על טריגרים צפוי לחזות שהמשתמש יהיה מסוג עכברים בשלב הבא.

השוו בין גרמים מסוג N עם שקיות מילים, שהן קבוצות של מילים לא ממוינות.

NLU

קיצור להבנת שפה טבעית (NLP).

צומת (עץ החלטות)

בעץ החלטות, כל תנאי או עלה.

צומת (רשת נוירונים)

נוירון בשכבה מוסתרת.

צומת (תרשים TensorFlow)

פעולה בתרשים של TensorFlow.

רעש

באופן כללי, כל מה שמסתיר את האות במערך נתונים. אפשר להוסיף רעש לנתונים במגוון דרכים. למשל:

• מדרגים אנושיים טועים בתוויות.
• בני אדם ומכשירים מתעדים באופן שגוי או להשמיט את ערכי המאפיינים.

תנאי א-בינארי

תנאי שמכיל יותר משתי תוצאות אפשריות. לדוגמה, התנאי הלא בינארי הבא מכיל שלוש תוצאות אפשריות:

לא לינארי

קשר בין שני משתנים או יותר שאי אפשר לייצג רק באמצעות חיבור וכפל. אפשר לייצג קשר לינארי כקו; אי אפשר לייצג קשר לא ליניארי כקו. לדוגמה, נבחן שני מודלים שכל אחד מהם משייך תכונה אחת לתווית אחת. המודל משמאל הוא ליניארי והמודל מימין הוא לא ליניארי:

הטייה של אי-תגובה

מידע נוסף זמין בקטע הטיות בבחירות.

שאינו תחנה

תכונה שהערכים שלה משתנים במאפיין אחד או יותר, בדרך כלל זמן. לדוגמה, שימו לב לדוגמאות הבאות של מיקום שאינו נייח:

• מספר בגדי הים שנמכרים בחנות מסוימת משתנה בהתאם לעונה.
• כמות פירות מסוימת שקטפה באזור מסוים היא אפס במשך רוב השנה, אבל היא גדולה לפרק זמן קצר.
• עקב שינויי האקלים, הטמפרטורות השנתיות הממוצעות משתנות.

ניגודיות עם תחנות.

נירמול

באופן כללי, התהליך של המרת טווח הערכים בפועל של משתנה לטווח ערכים סטנדרטי, למשל:

• -1 עד +1
• 0 עד 1
• את ההתפלגות הנורמלית

לדוגמה, נניח שטווח הערכים בפועל של ישות מסוימת הוא 800 עד 2,400. כחלק מהנדסת תכונות, אפשר לנרמל את הערכים בפועל עד לטווח סטנדרטי, כמו -1 עד +1.

נירמול הוא משימה נפוצה בהנדסת תכונות. לרוב, מודלים מאמנים את המודל מהר יותר (ומפיקים תחזיות טובות יותר) כשלכל תכונה מספרית בוקטור התכונות יש טווח פחות או יותר זהה.

זיהוי חידושים

התהליך שבו קובעים אם דוגמה חדשה (חדשה) מגיעה מאותה הפצה כמו קבוצת האימון. כלומר, אחרי אימון של ערכת האימון, זיהוי החדשנות קובע אם דוגמה חדשה (במהלך ההסקה או במהלך אימון נוסף) היא חריג חשוד טעות.

השוו עם זיהוי חריג חשוד טעות.

נתונים מספריים

תכונות שמיוצגות כמספרים שלמים או כמספרים בעלי ערך ממשי. לדוגמה, מודל הערכת הבית ככל הנראה ייצג את גודל הבית (במטרים רבועים או במטרים רבועים) כנתונים מספריים. ייצוג של תכונה כנתונים מספריים מציין שלערכים של התכונה יש קשר מתמטי לתווית. כלומר, סביר להניח שלמספר המטרים המרובעים בבית יש קשר מתמטי מסוים לערך של הבית.

לא כל נתוני המספרים השלמים צריכים להיות מיוצגים כנתונים מספריים. לדוגמה, מיקודים בחלקים מסוימים בעולם הם מספרים שלמים. אבל מיקודים במספרים שלמים לא צריכים להיות מיוצגים כנתונים מספריים במודלים. הסיבה לכך היא שהמיקוד של 20000 לא חזק פי שניים (או חצי) מאשר מיקוד של 10000. בנוסף, למרות שמיקודים שונים כן תואמים לערכי נדל"ן שונים, אנחנו לא יכולים להניח שערכי הנדל"ן במיקוד 20000 חשובים פי 2 מערכי הנדל"ן במיקוד 10000. צריך לייצג את מספרי המיקוד בתור נתונים קטגוריים במקום זאת.

תכונות מספריות נקראות לפעמים תכונות רציפות.

NumPy

ספריית מתמטיקה בקוד פתוח שמספקת פעולות מערך יעילות ב-Python, כך פנדות מבוססת על NumPy.

O

יעד

מדד שהאלגוריתם שלך מנסה לבצע אופטימיזציה שלו.

פונקציית יעד

הנוסחה המתמטית או המדד שהמודל נועד לבצע אופטימיזציה. לדוגמה, פונקציית היעד של רגרסיה ליניארית היא בדרך כלל הפסד ממוצע בריבוע. לכן, כשמאמנים מודל רגרסיה ליניארית, האימון נועד למזער את האובדן הממוצע בריבוע.

במקרים מסוימים, המטרה היא למקסם את פונקציית היעד. לדוגמה, אם פונקציית היעד היא דיוק, המטרה היא למקסם את הדיוק.

ראו גם הפסד.

מצב משופע

בעץ החלטות, תנאי שכולל יותר ממאפיין אחד. לדוגמה, אם גובה ורוחב הם שתי הישויות, התנאי הבא הוא אלכסוני:

  height > width

השוו בין תנאי יישור לציר.

אופליין

מילה נרדפת לסטטי.

הסקת מסקנות אופליין

התהליך שבו מודל יוצר קבוצה של חיזויים ואז שומר את החיזויים האלה במטמון (שומר). לאחר מכן אפליקציות יכולות לגשת לחיזוי שהוסקו מהמטמון במקום להריץ את המודל מחדש.

לדוגמה, נניח שיש לכם מודל שיוצר תחזיות מזג אוויר מקומיות (חיזויים) פעם אחת בכל ארבע שעות. אחרי כל הרצה של מודל, המערכת שומרת במטמון את כל תחזיות מזג האוויר המקומיות. אפליקציות מזג אוויר מאחזרות את התחזיות מהמטמון.

הסקת מסקנות אופליין נקראת גם הסקה סטטית.

השוו בין הסקת מסקנות אונליין.

קידוד חד-פעמי

ייצוג של נתונים קטגוריים כווקטור שבו:

• רכיב אחד מוגדר ל-1.
• כל שאר הרכיבים מוגדרים כ-0.

בדרך כלל משתמשים בקידוד חד-פעמי כדי לייצג מחרוזות או מזהים שיש להם קבוצה מוגבלת של ערכים אפשריים. לדוגמה, נניח שלתכונה מסווגת מסוימת בשם Scandinavia יש חמישה ערכים אפשריים:

• "דנמרק"
• "שוודיה"
• "נורווגיה"
• "פינלנד"
• "איסלנד"

קידוד חם אחד יכול לייצג כל אחד מחמשת הערכים באופן הבא:

בזכות קידוד אחיד, המודל יכול ללמוד חיבורים שונים בהתאם לכל אחת מחמש המדינות.

ייצוג של תכונה כנתונים מספריים הוא אלטרנטיבה לקידוד יחיד. לצערי, לא מומלץ לייצג את מדינות סקנדינביה באופן מספרי. לדוגמה, נבחן את הייצוג המספרי הבא:

• "דנמרק" הוא 0
• "Sweden" הוא 1
• 'נורווגיה' היא 2
• 'פינלנד' הוא 3
• 'איסלנד' הוא 4

באמצעות קידוד מספרי, המודל יפרש את המספרים הגולמיים באופן מתמטי, וינסה לאמן את המספרים האלה. עם זאת, איסלנד לא למעשה גדולה פי שניים (או חצי ממה) בהשוואה לנורווגיה, כך שהמודל יעלה כמה מסקנות מוזרות.

למידה במצב אחד

גישה של למידת מכונה, שלרוב משמשת לסיווג אובייקטים, שנועדה ללמוד על מסווגים יעילים מדוגמה אחת לאימון.

תוכלו לקרוא גם למידה בכמה דוגמאות (few-shot) ולמידה מזריזות (zero-shot).

יצירת הנחיות מדוגמה אחת

הנחיה שמכילה דוגמה אחת שממחישה איך מודל שפה גדול (LLM) צריך להגיב. לדוגמה, ההנחיה הבאה מכילה דוגמה אחת שממחישה איך מודל שפה גדול (LLM) צריך לענות על שאילתה.

אתם יכולים להשוות בין הנחיות מדוגמה אחת לבין המונחים הבאים:

• יצירת הנחיות מאפס
• יצירת הנחיות מכמה דוגמאות

אחד לעומת כולם

בגלל בעיית סיווג ב-N מחלקות, פתרון שמורכב מ-N מסווגים בינאריים נפרדים – מסווג בינארי אחד לכל תוצאה אפשרית. לדוגמה, בהינתן מודל שמסווג דוגמאות כבעלי חיים, ירקות או מינרל, פתרון של אחד מול כולם יספק את שלושת המסווגים הבינאריים הבאים:

• בעל חיים לעומת לא בעל חיים
• ירק לעומת ללא ירק
• מינרל לעומת לא מינרלי

online

דינמית היא מילה נרדפת.

הֶקֵּשׁ אונליין

יצירת חיזויים על פי דרישה. לדוגמה, נניח שאפליקציה מעבירה קלט למודל ושולחת בקשה לחיזוי. מערכת שמשתמשת בהסקת מסקנות אונליין מגיבה לבקשה על ידי הפעלת המודל (והחזרת החיזוי לאפליקציה).

השוו בין הסקת מסקנות אופליין.

פעולה (תפעול)

ב-TensorFlow, כל תהליך יצירה, מניפולציה או השמדה של Tensor. לדוגמה, הכפלה של מטריצה היא פעולה שלוקחת שני Tensor כקלט ויוצרת פלט אחד של Tensor.

אופטיקס

ספריית עיבוד הדרגתי ואופטימיזציה עבור JAX. Optax מאפשר מחקר על ידי מתן אבני בניין שאפשר לשלב אותן מחדש בדרכים מותאמות אישית, כדי לבצע אופטימיזציה של מודלים פרמטרים, כמו רשתות נוירונים עמוקות. יעדים נוספים:

• לספק הטמעות יעילות וקריאה של רכיבי ליבה, שנבדקו היטב.
• שיפור הפרודוקטיביות באמצעות שילוב של מרכיבים ברמה נמוכה עם כלי אופטימיזציה מותאמים אישית (או רכיבים אחרים של עיבוד הדרגתי).
• האצת אימוץ רעיונות חדשים על ידי מתן אפשרות לכולם לתרום בקלות.

כלי אופטימיזציה

הטמעה ספציפית של אלגוריתם הירידה ההדרגתית. מומחי אופטימיזציה פופולריים כוללים:

• AdaGrad, שהוא ראשי התיבות ADAptive GRADient descent.
• אדם, ראשי תיבות של ADAptive with Momentum.

הטיה הומוגנית כלפי חוץ

הנטייה לראות את החברים מחוץ לקבוצה דומים יותר לחברים בקבוצה, כשמשווים גישות, ערכים, תכונות אישיות ומאפיינים אחרים. בקבוצה: אנשים שיש לכם אינטראקציה איתם באופן קבוע. המונח קבוצות מחוץ לקבוצה מתייחס לאנשים שאין לכם אינטראקציה איתם באופן קבוע. אם יוצרים מערך נתונים כשמבקשים מאנשים לספק מאפיינים של קבוצות מחוץ לקבוצות, המאפיינים האלה עשויים להיות פחות מדויקים וסטריאוטיפים מאשר המאפיינים שהמשתתפים מציינים לאנשים בקבוצה שלהם.

לדוגמה, ליליפוטם יכול לתאר בפירוט את הבתים של ליליפוטים אחרים, תוך אזכור הבדלים קלים בסגנונות ארכיטקטוניים, חלונות, דלתות וגדלים. עם זאת, אותם ליליפוטים יכולים פשוט להכריז שכל התושבים של בראונדנגים חיים בבתים זהים.

הטיה של הומוגניות מחוץ לקבוצה היא סוג של הטיית שיוך (Attribution) לקבוצה.

למידע נוסף, כדאי לעיין גם בהטיה בתוך הקבוצה.

זיהוי חריג חשוד טעות

תהליך הזיהוי של חריגים חשודי טעות בקבוצת אימון.

השוו עם זיהוי חידושים.

חריגים חשודי טעות

ערכים רחוקים מרוב הערכים האחרים. בלמידת מכונה, כל אחד מהדברים הבאים הוא חריג חשוד טעות:

• צריך להזין נתונים שהערכים שלהם גדולים מ-3 סטיות תקן בערך מהממוצע.
• משקל עם ערכים מוחלטים גבוהים.
• הערכים החזויים רחוקים יחסית מהערכים בפועל.

לדוגמה, נניח ש-widget-price היא תכונה של מודל מסוים. נניח שהממוצע widget-price הוא 7 אירו עם סטיית תקן של 1 אירו. דוגמאות עם ערך widget-price של 12 אירו או 2 אירו ייחשבו כחריגות, כי כל אחד מהמחירים האלה מכיל חמש סטיות תקן מהממוצע.

ערכים חריגים נגרמים בדרך כלל משגיאות הקלדה או משגיאות קלט אחרות. במקרים אחרים, חריגים חריגים הם לא טעויות. אחרי הכול, צריך להגדיר חמש סטיות תקן מהממוצע הן נדירות, אבל כמעט בלתי אפשרי.

חריגות חשודי טעות בדרך כלל גורמים לבעיות באימון המודלים. חיתוך הוא אחת הדרכים לניהול ערכים חריגים.

הערכה מחוץ לתיק (הערכת OOB)

מנגנון להערכת האיכות של יער ההחלטות, באמצעות בדיקת כל עץ ההחלטות מול הדוגמאות שלא נעשה בהן שימוש במהלך האימון של עץ ההחלטות הזה. לדוגמה, בתרשים הבא, תוכלו לראות שהמערכת מאמנת כל עץ החלטות על כשני שלישים מהדוגמאות, ולאחר מכן מבצעת הערכה מול שליש מהדוגמאות שנותרו.

הערכה מחוץ לתיק היא הערכה שמרנית ויעילה מבחינת מנגנון האימות צולב. באימות צולב, מודל אחד מאומן לכל סבב אימות מוצלב (לדוגמה, 10 מודלים מאומנים באימות צולב של 10 פעמים). בעזרת הערכת OOB, מתבצע אימון של מודל יחיד. מכיוון שאריזה כוללת נתונים מסוימים מכל עץ במהלך האימון, הערכת OOB יכולה להשתמש בנתונים האלה כדי לבצע הערכה של אימות צולב.

שכבת פלט

השכבה "הסופית" של רשת נוירונים. שכבת הפלט מכילה את החיזוי.

באיור הבא מוצגת רשת נוירונים עמוקה קטנה עם שכבת קלט, שתי שכבות מוסתרות ושכבת פלט:

התאמת יתר (overfitting)

יצירת model שתואם לmodel עד כדי כך שהמודל לא מצליח לבצע חיזויים נכונים על נתונים חדשים.

הסתגלות יכולה לצמצם את התאמת יתר. גם אימונים על מערך אימונים גדול ומגוון יכול לצמצם את ההתאמה יתר.

דגימת יתר

שימוש חוזר בדוגמאות של כיתות מיעוט במערך נתונים לא מאוזן לכיתה כדי ליצור קבוצת אימון מאוזנת יותר.

לדוגמה, נניח שיש בעיה של סיווג בינארי שבה היחס בין סיווג רוב לסיווג מיעוט הוא 5,000:1. אם מערך הנתונים מכיל מיליון דוגמאות, אז מערך הנתונים מכיל רק כ-200 דוגמאות לסיווג מיעוט, וזה עלול להיות מעט מדי דוגמאות לאימון יעיל. כדי להתגבר על החוסר הזה, אפשר לדגום (להשתמש שוב) ב-200 הדוגמאות האלה כמה פעמים, וכך אולי להניב מספיק דוגמאות לאימון שימושי.

חשוב להיזהר לגבי התאמת יתר של דגימת יתר.

השוו בין שימוש בדגימה חסרת.

P

דחיסת נתונים

גישה לאחסון נתונים בצורה יעילה יותר.

הנתונים הארוזים מאוחסנים בפורמט דחוס או בדרך אחרת שמאפשרת לגשת אליהם בצורה יעילה יותר. חבילת הגלישה מפחיתה את כמות הזיכרון והחישובים שנדרשים כדי לגשת אליהם, וכך מתאפשרת אימון מהיר יותר ומודל יעיל יותר להסקת מסקנות.

בדרך כלל משתמשים בנתונים ארוזים בשיטות אחרות, כמו הרחבת נתונים וארגון, כדי לשפר עוד יותר את הביצועים של מודלים.

פנדות

ממשק API לניתוח נתונים שמתמקד בעמודות ומבוסס על numpy. פלטפורמות רבות של למידת מכונה, כולל TensorFlow, תומכות במבני נתונים של פנדות כקלט. פרטים נוספים זמינים במאמרי העזרה של פנדה.

פרמטר

המשקולות וההטיות שהמודל לומד במהלך אימון. לדוגמה, במודל רגרסיה ליניארית, הפרמטרים מכילים הטיה (b) וכל המשקולות (w₁, w₂ וכן הלאה) בנוסחה הבאה:

לעומת זאת, היפר-פרמטר הם הערכים שאתם (או שירות כוונון היפר-פרמטרים) מספקים למודל. לדוגמה, קצב למידה הוא היפר-פרמטר.

כוונון יעיל בפרמטרים

קבוצת שיטות לכוונון מודל שפה גדול (PLM) בצורה יעילה יותר מאשר כוונון עדין מלא. כוונון יעיל בפרמטרים בדרך כלל מכוונן פחות פרמטרים מאשר כוונון עדין, אבל באופן כללי נוצר באופן כללי מודל שפה גדול (LLM) שמניב ביצועים טובים (או כמעט טובים) כמו מודל שפה גדול (LLM) שנוצר באמצעות כוונון עדין.

השוו והבדילו בין כוונון יעיל בפרמטרים לבין:

• כוונון הוראות
• כוונון הנחיות

כוונון יעיל בפרמטרים נקרא גם כוונון יעיל בפרמטרים.

שרת פרמטרים (PS)

משימה שעוקבת אחרי הפרמטרים של מודל בסביבה מבוזרת.

עדכון פרמטרים

פעולת התאמת הפרמטרים של מודל במהלך האימון, בדרך כלל באיטרציה אחת של ירידה הדרגתית.

נגזרת חלקית

נגזרת שבה כל המשתנים למעט אחד נחשבים קבועים. לדוגמה, הנגזרת החלקית של f(x, y) ביחס ל-x היא הנגזרת של f שנחשבת כפונקציה של x בלבד (כלומר, שמירה על y קבוע). הנגזרת החלקית של f ביחס ל-x מתמקדת רק באופן שבו x משתנה, ומתעלמת מכל המשתנים האחרים במשוואה.

הטיה בהשתתפות

מילה נרדפת להטיות שלא מבוססות על תגובה. מידע נוסף זמין בקטע הטיות בבחירות.

אסטרטגיית חלוקה למחיצות (partitioning)

האלגוריתם שלפיו המשתנים מחולקים בין שרתי פרמטרים.

פקס

מסגרת תכנות שמיועדת לאימון מודלים של רשת נוירונים בקנה מידה גדול כל כך עד שהם מתפרשים על פני מספר TPU שבב מאיץ פרוסות או Pods.

אפליקציית Pax מבוססת על Flax, שמבוסס על JAX.

פרצפטרון

מערכת (חומרה או תוכנה) שלוקחת ערך קלט אחד או יותר, מפעילה פונקציה על הסכום המשוקלל של הקלט ומחשבת ערך פלט אחד. בלמידת מכונה, הפונקציה בדרך כלל לא לינארית, כמו ReLU, sigmoid או tanh. לדוגמה, התפיסה הבאה מסתמך על פונקציית sigmoid כדי לעבד שלושה ערכי קלט:

באיור הבא, הפרספקטיבה מקבלת שלושה ערכי קלט, שכל אחד מהם משתנה בעצמו באמצעות משקולת לפני הכניסה של הפרספקטרון:

פרספקטיבים הם הנוירונים ברשתות נוירונים.

ביצועים

מונח עמוס מדי עם המשמעויות הבאות:

• המשמעות הסטנדרטית בהנדסת תוכנה. לדוגמה: באיזו מהירות (או יעילה) התוכנה פועלת?
• המשמעות בלמידת מכונה. כאן רמת הביצועים עונה על השאלה הבאה: עד כמה model הזה נכון? כלומר, עד כמה החיזויים של המודל טובים?

חשיבות של משתנה תמורה

סוג של חשיבות משתנה שמעריך את העלייה בשגיאת החיזוי של מודל אחרי שינוי ערכי התכונה. חשיבות משתנה הפרמוטציה היא מדד תלוי-מודל.

מבוכה

אחד המדדים שבהם אפשר לראות באיזו מידה model יכול לבצע את המשימה שלו. לדוגמה, נניח שהמשימה שלכם היא לקרוא את האותיות הראשונות של מילה שהמשתמש מקליד במקלדת של הטלפון, ולהציג רשימה של מילים אפשריות להשלמה. בהירות, P, במשימה זו היא בערך מספר הניחושים שצריך להציע כדי שהרשימה תכיל את המילה שהמשתמש מנסה להקליד בפועל.

רמת המורכבות קשורה לאנטרופיה אחרת באופן הבא:

צינור עיבוד נתונים

התשתית שמקיפה אלגוריתם של למידת מכונה. צינור עיבוד נתונים כולל איסוף הנתונים, הטמעת הנתונים בקובצי נתונים לאימון, אימון מודל אחד או יותר וייצוא המודלים לסביבת הייצור.

צינור עיבוד נתונים

צורה של התאמה של מודל שבה עיבוד המודל מחולק לשלבים עוקבים, וכל שלב מתבצע במכשיר אחר. בזמן שבשלב מסוים מתבצע עיבוד של אצווה אחת, השלב הקודם יכול לעבוד באצווה הבאה.

למידע נוסף, ראו הדרכה מדורגת.

pjit

פונקציית JAX שמפצלת קוד כדי לעבור בין כמה צ'יפים של מאיצים. המשתמש מעביר פונקציה ל-pjit, שמחזיר פונקציה שיש לה את הסמנטיקה המקבילה, אבל עובר חישוב XLA שרץ במספר מכשירים (כמו מעבדי GPU או ליבות TPU).

בעזרת pjit, משתמשים יכולים לפצל את החישובים מבלי לשכתב אותן באמצעות המחיצה (partitioning) של SPMD.

במרץ 2023, הדומיין pjit מוזג עם jit. לפרטים נוספים עיינו במאמר מערכים מבוזרים ומקביליזציה אוטומטית.

PLM

קיצור של מודל שפה שעבר אימון מראש.

Pmap

פונקציית JAX שמפעילה עותקים של פונקציית קלט במספר מכשירי חומרה בסיסיים (מעבדים, מעבדי GPU או מעבדי TPU), עם ערכי קלט שונים. pmap מופעל על סמך SPMD.

policy

בלמידת חיזוק, מיפוי הסתברותי של סוכן ממצבים לפעולות.

יצירת מאגרים

מצמצמים מטריצה (או מטריצה) שנוצרה על ידי שכבה קדומה יותר למטריצה קטנה יותר. בדרך כלל, יצירת מאגרים כוללת את הערך המקסימלי או הממוצע בכל שטח המאגר. לדוגמה, נניח שיש לנו את המטריצה הבאה בגודל 3x3:

פעולת מאגר, בדיוק כמו פעולה קונבולוציה, מחלקת את המטריצה הזו לפרוסות, ואז מחליקה את הפעולה המתקפלת בצעדים. לדוגמה, נניח שפעולת המאגר מחלקת את המטריצה המתקפלת לפרוסות בגודל 2x2 צעדים בקצב של 1x1. כפי שמוצג בתרשים הבא, מתבצעות ארבע פעולות קיבוץ. נניח שכל פעולת מאגר בוחרת את הערך המקסימלי של ארבע הפרוסות באותה פרוסה:

התכונה 'מאגר נתונים' עוזרת לאכוף אי-שונות מתורגמת במטריצת הקלט.

יצירת מאגר לאפליקציות חזותיות ידועה יותר כמאגר מרחבי. אפליקציות של סדרת זמנים מתייחסות בדרך כלל לקיבוץ כמאגר זמני. באופן פחות רשמי, קיבוץ הנתונים נקרא דגימה משנית או הקטנה.

קידוד תלוי מיקום

שיטה להוספת מידע על המיקום של אסימון ברצף להטמעה של האסימון. מודלים של טרנספורמרים משתמשים בקידוד תלוי מיקום כדי להבין טוב יותר את הקשר בין חלקים שונים ברצף.

הטמעה נפוצה של קידוד מבוסס-מיקום משתמשת בפונקציה סינוסאידלית. (באופן ספציפי, התדר והמשרעת של הפונקציה הסינוסאידלית נקבעים לפי המיקום של האסימון ברצף.) השיטה הזו מאפשרת למודל של טרנספורמר ללמוד להתייחס לחלקים שונים של הרצף על סמך המיקום שלו.

כיתה חיובית

הכיתה שעבורה מתבצעת הבדיקה.

לדוגמה, הסיווג החיובי במודל סרטן עשוי להיות 'גידול'. הסיווג החיובי במסווג אימיילים עשוי להיות 'ספאם'.

השוו בין סיווג שלילי.

לאחר עיבוד

התאמת הפלט של המודל אחרי הפעלת המודל. ניתן להשתמש בעיבוד לאחר עיבוד כדי לאכוף אילוצים של הוגנות מבלי לשנות את המודלים עצמם.

לדוגמה, אפשר להחיל לאחר העיבוד על מסווג בינארי על ידי הגדרת סף סיווג, כך ששוויון ההזדמנויות נשמר למאפיין מסוים, על ידי בדיקה שהשיעור החיובי האמיתי זהה לכל הערכים של המאפיין הזה.

PR AUC (אזור מתחת לעקומת ה-PR)

השטח מתחת לעקומת זכירת הדיוק שעבר אינטרפולציה, שמתקבל על ידי הצגת נקודות (recall, precision) לערכים שונים של סף הסיווג. בהתאם לאופן החישוב, ערך PR AUC עשוי להיות שווה לדיוק הממוצע של המודל.

פרקיס

ספריית ליבה של Pax עם ביצועים גבוהים של למידת מכונה. מודל Praxis נקרא בדרך כלל 'Layer Library' (ספריית השכבות).

פרוטוקול Praxis מכיל לא רק את ההגדרות של המחלקה Layer, אלא גם את רוב הרכיבים התומכים שלו, כולל:

• קלט של נתונים
• ספריות תצורה (HParam ו-Fiddle)
• כלי אופטימיזציה

Praxis מספק את ההגדרות למחלקה Model.

דיוק

מדד למודלים של סיווג שעונה על השאלה הבאה:

כשהמודל חזה את הסיווג החיובי, איזה אחוז מהחיזויים היו נכונים?

זאת הנוסחה:

איפה:

• המשמעות היא שהמודל חזה נכון את המחלקה החיובית.
• המשמעות היא שהמודל חזה בטעות את הסיווג החיובי.

לדוגמה, נניח שמודל ביצע 200 חיזויים חיוביים. מתוך 200 החיזויים החיוביים האלה:

• 150 היו תוצאות חיוביות אמיתיות.
• 50 היו תוצאות חיוביות מוטעות

במקרה זה:

השוו עם דיוק ואחזור.

עקומת זיכרון-דיוק

עקומה של דיוק לעומת ריקול בספי סיווג שונים.

חיזוי (prediction)

הפלט של המודל. למשל:

• החיזוי של מודל סיווג בינארי הוא המחלקה החיובית או המחלקה השלילית.
• החיזוי של מודל סיווג מרובה מחלקות הוא מחלקה אחת.
• החיזוי של מודל רגרסיה ליניארית הוא מספר.

הטיית חיזוי

ערך שמציין את המרחק הממוצע של החיזויים מהממוצע של התוויות במערך הנתונים.

חשוב להבדיל עם המונח של ההטיה במודלים של למידת מכונה או עם הטיה באתיקה והוגנות.

למידת מכונה חזויה

כל מערכת למידת מכונה סטנדרטית ('קלאסית').

למונח למידת מכונה חזויה אין הגדרה רשמית. במקום זאת, המונח יוצר הבחנה בין קטגוריות של מערכות למידת מכונה לא על סמך בינה מלאכותית גנרטיבית.

שוויון חזוי

מדד הוגנות שבודק אם, מבחינת סיווג נתון, שיעורי הדיוק מקבילים לקבוצות משנה שנמצאות בבדיקה.

לדוגמה, מודל שחוזה קבלה של מכללה יהיה זכאי לשוויון חזוי ללאום, אם שיעור הדיוק שלו זהה בקרב הליליפוטים והברודינגנאגיה.

שוויון חזוי נקרא גם שוויון חזוי.

לדיון מפורט יותר על שוויון חזוי, אפשר לעיין בקטע "הסבר על הגדרות הוגנות" (סעיף 3.2.1).

שוויון שיעורי חיזוי

שם נוסף להתאמה חזויה.

עיבוד מראש

מודל שעבר אימון מראש

מודלים או רכיבי מודל (כמו וקטור הטמעה) שכבר אומנו. לפעמים מזינים וקטורים של הטמעה שאומנו מראש לרשת נוירונים. במקרים אחרים, המודל יאמן את הווקטורים של ההטמעה בעצמם במקום להסתמך על ההטמעות שאומנו מראש.

המונח מודל שפה שעבר אימון מראש מתייחס למודל שפה גדול (LLM) שעבר אימון מראש.

אימון מראש

אימון ראשוני של מודל על מערך נתונים גדול. חלק מהמודלים שאומנו מראש הם ענקיים מגושם, ובדרך כלל צריך לחדד אותם באמצעות אימון נוסף. לדוגמה, מומחים ללמידת מכונה עשויים לאמן מראש מודל שפה גדול (LLM) על מערך נתונים גדול של טקסט, כמו כל הדפים באנגלית בוויקיפדיה. לאחר האימון מראש, אפשר לשפר עוד יותר את המודל שמתקבל באמצעות כל אחת מהשיטות הבאות:

• זיקוק
• כוונון עדין
• כוונון הוראות
• כוונון יעיל בפרמטרים
• כוונון הנחיות

אמונה קודמת

מה דעתכם על הנתונים לפני שאתם מתחילים להתאמן עליהם. לדוגמה, הרגולריזציה של L₂ מסתמכת על אמונה קודמת שמשקולות צריכות להיות קטנות ולהתחלק בדרך כלל סביב אפס.

מודל רגרסיה הסתברותי

מודל רגרסיה שמשתמש לא רק במשקולות של כל מאפיין, אלא גם באי-הוודאות של המשקולות האלה. מודל רגרסיה הסתברותי יוצר חיזוי ואת אי-הוודאות של החיזוי הזה. לדוגמה, מודל רגרסיה הסתברותי עשוי להניב חיזוי של 325 עם סטיית תקן של 12. למידע נוסף על מודלים של רגרסיה הסתברותית, ראו Colab ב-tensorflow.org.

פונקציית צפיפות ההסתברות

פונקציה שמזהה את התדירות של דגימות הנתונים שיש להן ערך בדיוק. כשהערכים של מערך נתונים הם מספרים רציפים של נקודות צפות, לעיתים רחוקות מתרחשות התאמות מדויקות. עם זאת, integrating של פונקציית צפיפות של הסתברות מהערך x לערך y מניב את התדירות הצפויה של דגימות נתונים בין x ל-y.

לדוגמה, נניח שהתפלגות נורמלית עם ממוצע של 200 וסטיית תקן של 30. כדי לקבוע את התדירות הצפויה של דגימות נתונים שנמצאות בטווח של 211.4 עד 218.7, אפשר לשלב את פונקציית צפיפות ההסתברות של התפלגות נורמלית מ-211.4 עד 218.7.

הצעה לפעולה

כל טקסט שהוזן כקלט למודל שפה גדול (LLM) כדי להתנות את המודל כך שיתנהג בצורה מסוימת. ההנחיות יכולות להיות קצרות כביטוי או ארוכות באופן שרירותי (לדוגמה, כל הטקסט של רומן). ההנחיות מתחלקות לכמה קטגוריות, כולל אלו שמוצגות בטבלה הבאה:

מודל בינה מלאכותית גנרטיבית יכול להגיב להנחיה עם טקסט, קוד, תמונות, הטמעות, סרטונים... כמעט הכול.

למידה מבוססת-הנחיות

יכולת של מודלים מסוימים שמאפשרים להם להתאים את ההתנהגות שלהם בתגובה לקלט טקסט שרירותי (הנחיות). בפרדיגמה אופיינית של למידה שמבוססת על הנחיות, מודל שפה גדול (LLM) משיב להנחיה באמצעות יצירת טקסט. לדוגמה, נניח שמשתמש מזין את ההנחיה הבאה:

סכם את חוק התנועה השלישי של ניוטון.

מודל שיכול ללמוד על בסיס הנחיות לא אומן באופן ספציפי לענות על ההנחיה הקודמת. המודל "יודע" הרבה עובדות על פיזיקה, הרבה על כללי שפה כלליים והרבה על מה שמגדירים באופן כללי תשובות מועילות. הידע הזה מספיק כדי לתת תשובה מועילה (אני מקווה). משוב אנושי נוסף ('התשובה הזו הייתה מורכבת מדי', או 'מהי תגובה?') מאפשר למערכות למידה מבוססות-הנחיות לשפר בהדרגה את התועלת של התשובות שלהן.

עיצוב הנחיות

מילה נרדפת להנדסת הנחיות.

הנדסת הנחיות

אומנות יצירת הנחיות שגורמת לתשובות הרצויות ממודל שפה גדול (LLM). בני אדם מבצעים הנדסת הנחיות. כתיבת הנחיות מובְנות היטב היא חלק חיוני בהבטחת תשובות מועילות ממודל שפה גדול. הנדסת פרומפטים תלויה בגורמים רבים, כולל:

• מערך הנתונים שמשמש לאימון מראש ואולי לכוונון של מודל השפה הגדול.
• הטמפרטורה ופרמטרים אחרים של פענוח שבהם המודל משתמש כדי ליצור תשובות.

במאמר מבוא לעיצוב הנחיות תוכלו לקרוא עוד על כתיבת הנחיות מועילות.

עיצוב פרומפטים הוא שם נרדף להנדסת פרומפטים.

כוונון של הנחיות

מנגנון כוונון יעיל בפרמטרים שלומד 'קידומת' שהמערכת מצרפת להנחיה בפועל.

וריאציה אחת של כוונון של הנחיות, שלפעמים נקראת כוונון קידומת, היא להוסיף את הקידומת בכל שכבה. לעומת זאת, רוב הכוונון של ההנחיות מוסיף רק קידומת לשכבת הקלט.

תוויות לשרת proxy

נתונים שמשמשים לחישוב משוער של תוויות שלא זמינים ישירות במערך נתונים.

לדוגמה, נניח שצריך לאמן מודל כדי לחזות את רמת הלחץ של העובדים. מערך הנתונים מכיל הרבה תכונות חיזוי, אבל הוא לא מכיל תווית בשם רמת מתח. ללא חשש, אתם בוחרים באפשרות "תאונות במקום העבודה" כתווית לשרת proxy לרמת העומס. אחרי הכול, עובדים שנמצאים בלחץ גבוה נתקלים במספר גדול יותר של תאונות מאשר עובדים רגועים. או שאולי נכון? אולי למעשה תאונות במקום העבודה עולות ונופלות מסיבות שונות.

דוגמה שנייה: נניח שאתם רוצים ש-האם יורד גשם? תהיה תווית בוליאנית של מערך הנתונים, אבל מערך הנתונים לא מכיל נתוני גשם. אם יש צילומים זמינים, תוכלו להגדיר תמונות של אנשים שנושאים מטריות כתווית בתווית של שרת proxy עבור האם יורד גשם? האם זו תווית טובה של שרת proxy? יכול להיות, אבל בתרבויות מסוימות יש סיכוי גבוה יותר לשאת מטריות להגנה מפני שמש מאשר גשם.

תוויות proxy הן לעיתים קרובות שגויות. כשאפשר, כדאי לבחור תוויות בפועל במקום תוויות לשרת proxy. עם זאת, אם אין תווית בפועל, בחרו בקפידה את התווית של שרת ה-proxy ובחרו את התווית הכי פחות גרועה של שרת proxy.

שרת proxy (מאפיינים רגישים)

פונקציה טהורה

פונקציה שהפלט שלה מבוסס רק על הקלט שלה, ואין לה תופעות לוואי. באופן ספציפי, פונקציה בלבד לא משתמשת במצב גלובלי כלשהו, כמו תוכן הקובץ או הערך של משתנה מחוץ לפונקציה, ולא משנה אותו.

אפשר להשתמש בפונקציות טבעיות כדי ליצור קוד בטוח לשרשורים, וזה מועיל כשמחלקים את הקוד של model בין מספר model.

ב-methods של JAX לטרנספורמציה של פונקציות, פונקציות הקלט צריכות להיות פונקציות טהורים.

Q

פונקציית Q

בלמידת חיזוק, הפונקציה שחוזה את ההחזר הצפויה מביצוע פעולה במצב ולאחר מכן בהתאם למדיניות מסוימת.

הפונקציה Q נקראת גם פונקציית ערך מצב פעולה.

למידת Q

בלמידת חיזוק, אלגוריתם שמאפשר לסוכן ללמוד מהי פונקציית ה-Q האופטימלית בתהליך ההחלטה של מרקוב באמצעות החלה של משוואת בלמן. תהליך ההחלטות של Markov יוצר מודל של סביבה.

האחוזון

כל קטגוריה בקטגוריות כמותיות.

חלוקת כמות גדולה

פיזור הערכים של מאפיין בקטגוריות, כך שכל קטגוריה תכיל אותו מספר (או כמעט זהה) של דוגמאות. לדוגמה, הדוגמה הבאה מחלקת 44 נקודות ל-4 קטגוריות, שכל אחת מהן מכילה 11 נקודות. כדי שכל קטגוריה באיור תכיל את אותו מספר נקודות, חלק מהקטגוריות מתפרסות על רוחב שונה של ערכי x.

כימות

מונח בעומס יתר שניתן להשתמש בו בכל אחת מהדרכים הבאות:

• הטמעה של חלוקה של קטגוריות כמותיות לתכונה מסוימת.
• ממירים נתונים לאפסים ולנתונים, כדי לאחסן, לאמן ולהסיק במהירות רבה יותר. נתונים בוליאניים חזקים יותר לרעש ולשגיאות מפורמטים אחרים, ולכן הקונטיזציה יכולה לשפר את נכונות המודל. שיטות הקונטיזציה כוללות עיגול, חיתוך וbining.

• הפחתת מספר הביטים שמשמשים לאחסון הפרמטרים של המודל. לדוגמה, נניח שהפרמטרים של מודל מאוחסנים כמספרי נקודה צפה (floating-point) של 32 ביט. הקונטיזציה ממירה את הפרמטרים האלה מ-32 ביט עד ל-4, 8 או 16 ביט. קונטיינרים מפחיתים את הגורמים הבאים:

  • שימוש במחשוב, בזיכרון, בדיסק וברשת
  • זמן להסיק פרדיקציה
  • צריכת חשמל

  אבל לפעמים, הקונטיזציה מפחיתה את נכונות החיזויים של המודל.

רשימת סרטונים

פעולה של TensorFlow שמממשת מבנה נתונים בתור. בדרך כלל נמצא בשימוש בקלט/פלט (I/O).

R

ראג

קיצור של הפקה משופרת של אחזור.

יער אקראי

שילוב של עצי החלטות שבו כל עץ החלטות מאומן לפי רעש אקראי ספציפי, כמו כבודה.

יערות אקראיים הם סוג של יער החלטות.

מדיניות אקראית

בסעיף של למידת חיזוק, מדיניות שבוחרת באופן אקראי פעולה.

דירוג

סוג של למידה מונחית שמטרתה להזמין רשימה של פריטים.

דירוג (רגיל)

המיקום הסידורי של כיתה בבעיה של למידת מכונה, שמסווגת את הכיתות מהגבוה לנמוך. לדוגמה, מערכת לדירוג התנהגות יכולה לדרג את הפרסים של הכלב מהגבוהה ביותר (סטייק) לנמוך ביותר (קיל קמל).

דירוג (Tensor)

מספר המאפיינים בחיישן. למשל, לסקלר יש דירוג 0, לווקטור יש את דירוג 1 ולמטריצה יש דירוג 2.

חשוב להבדיל ביניהן עם דירוג (רגיל).

דירוג

אדם שמספק תוויות לדוגמאות. "משתמש שמורשה להוסיף הערות" הוא שם נוסף של המדרג.

recall

מדד למודלים של סיווג שעונה על השאלה הבאה:

כאשר הקרקע הייתה הסיווג החיובי, איזה אחוז מהחיזויים זיהה נכון את המודל כמחלקה החיובית?

זאת הנוסחה:

\[\text{Recall} = \frac{\text{true positives}} {\text{true positives} + \text{false negatives}} \]

איפה:

• המשמעות היא שהמודל חזה נכון את המחלקה החיובית.
• המשמעות היא שהמודל חזה בטעות את הסיווג השלילי.

לדוגמה, נניח שהמודל שלך ביצע 200 חיזויים לגבי דוגמאות שבהן האמת (ground truth) הייתה הסיווג החיובי. מתוך 200 החיזויים האלה:

• 180 היו תוצאות חיוביות אמיתיות.
• 20 היו שליליות כוזבות.

במקרה זה:

\[\text{Recall} = \frac{\text{180}} {\text{180} + \text{20}} = 0.9 \]

recall = TP / (TP + FN)
recall = 30 / (30 + 20) = 0.6 = 60%

accuracy = (TP + TN) / (TP + TN + FP + FN)
accuracy = (30 + 4,999,000) / (30 + 4,999,000 + 950 + 20) = 99.98%

מערכת המלצות

מערכת שבוחרת עבור כל משתמש קבוצה קטנה יחסית של פריטים רצויים מתוך אוסף גדול. לדוגמה, מערכת המלצות על סרטונים יכולה להמליץ על שני סרטונים מאוסף של 100,000 סרטונים, כשבוחרים את קזבלנקה ואת הסיפור של פילדלפיה למשתמש אחד, ואת ונדר וומן למשתמש אחר והפנתר השחור. מערכת המלצות על סרטונים יכולה לבסס את ההמלצות על גורמים כמו:

• סרטים שמשתמשים דומים דירגו או צפו בהם.
• ז'אנר, במאים, שחקנים, טירגוט דמוגרפי...

יחידה לינארית מתוקנת (ReLU)

פונקציית הפעלה עם ההתנהגות הבאה:

• אם הקלט הוא שלילי או אפס, הפלט הוא 0.
• אם הקלט הוא חיובי, הפלט שווה לקלט.

למשל:

• אם הקלט הוא -3, הפלט הוא 0.
• אם הקלט הוא +3, הפלט הוא 3.0.

הנה עלילה של ReLU:

ReLU היא פונקציית הפעלה פופולרית מאוד. למרות ההתנהגות הפשוטה שלה, ReLU עדיין מאפשר לרשת נוירונים ללמוד על קשרים לא לינאריים בין תכונות לבין התווית.

רשת נוירונים חוזרת

רשת נוירונים שפועלת באופן מכוון מספר פעמים, כאשר חלקים מכל פיד מופעלים בפעם הבאה. באופן ספציפי, שכבות מוסתרות מההרצה הקודמת מספקות חלק מהקלט לאותה שכבה מוסתרת בהרצה הבאה. רשתות נוירונים חוזרות שימושיות במיוחד להערכת רצפים, כדי שהשכבות הסמויות יוכלו ללמוד מהפעלות קודמות של רשת הנוירונים בחלקים מוקדמים יותר של הרצף.

לדוגמה, האיור הבא מציג רשת נוירונים חוזרת שפועלת ארבע פעמים. שימו לב שהערכים שנלמדו בשכבות המוסתרות בהרצה הראשונה הופכים לחלק מהקלט לאותן שכבות מוסתרות בהרצה השנייה. באופן דומה, הערכים שנלמדו בשכבה המוסתרת בהרצה השנייה הופכים לחלק מהקלט לאותה שכבה מוסתרת בהרצה השלישית. כך, רשת הנוירונים החוזרת מאמנים וחוזה בהדרגה את המשמעות של הרצף כולו ולא רק את המשמעות של מילים בודדות.

מודל רגרסיה

באופן לא רשמי, מודל שיוצר חיזוי מספרי. (לעומת זאת, מודל סיווג יוצר חיזוי למחלקה). לדוגמה, המודלים הבאים הם מודלים של רגרסיה:

• מודל שחוזה את הערך של בית מסוים, למשל 423,000 אירו.
• מודל שחוזה את תוחלת החיים של עץ מסוים, למשל 23.2 שנים.
• מודל לחיזוי כמות הגשם שתירד בעיר מסוימת בשש השעות הבאות, למשל 0.18 אינץ'.

שני סוגים נפוצים של מודלים של רגרסיה הם:

• רגרסיה לינארית, שקובעת את השורה המתאימה ביותר לערכי התווית לתכונות.
• רגרסיה לוגיסטית, שיוצרת הסתברות בין 0.0 ל-1.0, שהמערכת בדרך כלל ממפה לאחר מכן לחיזוי מחלקה.

לא כל מודל שמפיק חיזויים מספריים הוא מודל רגרסיה. במקרים מסוימים, חיזוי מספרי הוא רק מודל סיווג שיש לו שמות מספריים של מחלקות. לדוגמה, מודל החיזוי של מיקוד מספרי הוא מודל סיווג ולא מודל רגרסיה.

רגולריזציה (regularization)

כל מנגנון שמפחית התאמה יתר. סוגים פופולריים של הרגולריזציה:

• רגולריזציה של L₁
• רגולריזציה של L₂
• רגולריזציה של נטישה
• עצירה מוקדמת (זו לא שיטה פורמלית לקביעת מדיניות, אבל היא יכולה להגביל ביעילות את התאמת יתר של הטקסט)