448 Synthetic data generation for Computer Vision models with Orly Zvitia

[קישור לקובץ mp3]
פודקאסט מספר 448 של רברס עם פלטפורמה - רן מארח (וירטואלית) את אורלי מחברת Datagen לשיחה על איך ולמה מייצרים דאטה סינטטי למודלים של Computer Vision, כדי שבסוף השיחה כולם ילכו לג’נרט דאטה סיננטי ויבינו עד כמה זה חשוב.




(רן) אבל לפני שנצלול פנימה - כמה מילים עליך, אורלי?

• (אורלי) אז אי-שם בתחילת שנות האלפיים סיימתי צבא - והלכתי ללמוד הנדסה ביו-רפואית . . . .
• בשנה השלישית של התואר הראשון עשינו קורס של עיבוד תמונה - ומאוד התלהבתי מהתחום הזה.
• התמחיתי בעיבוד אותות ותמונות והמשכתי לתואר שני
• בתואר השני נחשפתי לתחום של Machine Learning - וממש נדלקתי על הדבר הזה, בזה התמחיתי.
• ומאז ועד היום אני מתעסקת ב-Computer Vision ו-Machine Learning בתעשייה.
• עבדתי גם בחברות מאוד קטנות וגם בסטארטאפים וב-Corporates גדולים
• הרבה שנים בניהול של קבוצות אלגוריתמיקה
• אני חייבת לציין שכשאני למדתי Machine Learning באוניברסיטה, עוד לא היה Deep Learning
• ויצא לי לצפות בכל התהליך המהפכני הזה שקרה, ממש מתוך התעשייה - וזה היה מדהים לראות.

(רן) היית עדה למהפכה . . . . אני מנסה לדמיין את עצמי כאזרח צרפתי במהפכה הצרפתית, צופה בדברים האלה . . . 

• (אורלי) אני יכולה לתאר איך זה היה . . . . היינו עושים Hand-crafted features, היינו עובדים עם מודלים של SVM ו-Random Forest ו-K-Means  . . . 
• ואז, כבר כשהייתי בתעשייה, יצא AlexNet - והוא ממש עבר את ה-State of the Art שהיה אז באחוזים ניכרים, אני לא זוכרת בדיוק בכמה - וזה היה נראה מאוד ברור שקורה משהו . . . 
• [דיברנו על זה קצת ב-397 Bumpers 69, רן המליץ על Deep Learning ideas that have stood the test of time]
• אבל לפחות ממה שאני חוויתי, זה לא היה מעבר כל כך קל - כי עד אז באמת הייתה “אינטואיציה”
• היינו עושים Hand-crafted features והיה נורא חשוב . . . 
• אני זוכרת בדיונים שבהם אמרנו ש”אולי נלך ל-Deep” - והיו הרבה מתנגדים שאמרו “רגע - אבל איך אני אסביר ללקוח שלי מה הוספתי? איזה Feature שיפר את הביצועים?” . . . 
• גם בתור עובדת וגם בתור מנהלת - בהתחלה זה היה ממש  . . . .
• “למה זה עובד? איך הרשת שם מקודדת את המידע הזה?”
• וזה לקח זמן עד שהדבר הזה קצת . . . עד שאנשים קיבלו את זה, שזה Black-box, והסכימו “לשלם את המחיר” של ה-Explainability.
• יש קצת אינטואיציה - וגם קצת פתרו את זה והבינו שהשכבות הראשונות מקודדות פילטרים פשוטים, ואחרי זה זה מתקדם לדברים סמנטיים יותר גבוהים . . . 
• אבל די כאילו . . . בגלל שזה שבר את ה-State of the Art - ריסק את ה-State of the Art שהיה עד אז - אז פשוט הייתה מעיין קבלה של “סבבה, זה עובד - נוותר על ה-Explainability”.
• וזה באמת נכון - ה-Deep Learning, כולנו כבר יודעים, השתלט לחלוטין על כל מה שיש ב-Computer Vision ולמעשה על כל מה שיש ב-Machine Learning אי-שם בכל תחום אחר . . . 
• אבל הוא הביא איתו שני כאבים חדשים שלא היו קודם - 
• אחד זה ה-Explainability 
• והשני זה הצורך בהרבה Data ללמוד ממנו
• כי מודלים קלאסיים יכולת לאמן גם עם עשרות, מאות ואולי אלפים - וזה היה מספיק
• ומודלים של Deep Learning - את הגדולים והטובים אתה מאמן עם עשרות-אלפים, מאות-אלפים, מיליונים ואולי גם יותר . . . .

(רן) וגם תורם לא מעט לחימום כדור-הארץ, כדרך-אגב . . . . אבל מה לעשות? זה חלק מהסיפור . . . .

• (אורלי) המטרה קידשה את האמצעים . . . .

(רן) אז Datagen - מהי Datagen? מה אתם עושים שם היום?

• (אורלי) אז Datagen קיימת מ-2018 - אני הצטרפתי לפני קצת פחות משנה.
• אני מנהלת את קבוצת האלגוריתמיקה - ומה שאנחנו עושים זה בעצם לייצר Data סינטטי לצורך אימון ובדיקה של מודלים של Deep Learning.
• בעצם, הרעיון, אם לסכם אותו במשפט, זה לייצר סימולציה תלת-מימדית שבה אתה יכול לשלוט בכל מה שאתה רוצה
• אתה יכול להחליט אם אתה Indoor או Outdoor
• אילו אובייקטים יש - אם יש אובייקטים של בניינים, עצים, שולחנות כסאות . . . 
• אתה יכול להחליט האם יש אנשים בסצינה, כמה אנשים יש בסצינה, אילו אנשים יש, מאיזו קבוצה דמוגרפית - נשים, גברים,