496 Bumpers 86

פרק מספר 496 של רברס עם פלטפורמה - באמפרס מספר 86: רן, דותן ואלון באולפן הוירטואלי (באמצעות Riverside.fm - תודה!) עם סדרה של קצרצרים שתפסו את תשומת הלב בתקופה האחרונה (והפעם קצת יותר) - בלוגים מעניינים, דברים מ- GitHub או Twitter וכל מיני דברים שראינו, לפני שהכל יתמלא ב-AI. 🎗️
00:43 רן, אלון
(רן) אז לפני שהכל יתמלא ב-AI, כי אתם יודעים זה מה שקורה היום, נתחיל בכמה דברים שהם לא - או לפחות שהם גבוליים-AI. אז אני אתחיל באיזשהו סט קצר של דברים מעניינים שמצאתי.

• והאייטם הראשון זה משהו שנקרא GPU Glossary, שזה בעצם איזשהו אתר די מגניב.
• קודם כל - כולו בירוק, בצורה של Terminal כזה, ירוק על שחור - שבא ומתאר מושגים ב-GPUs.
• אם אתם רוצים להכיר איך GPU עובד - איך הוא בנוי, קצת אלגוריתמיקה של איך עושים מקבול וכל זה.
• אז אתר ממש נחמד, שמראה לכם בצורה גם טקסטואלית וגם ויזואלית, מעוצב מאוד יפה.
• אם אתם אנשים שמתכננים GPU זה כנראה לא יחדש לכם שום דבר - אבל אם אתם רק ככה רוצים לעבור וקצת להכיר מה קורה בתוך ה-GPU שלכם, אז זה נחמד, ממש מגניב, מעוצב יפה. אני אהבתי.
• זה נמצא תחת חברה שנקראת Modal.com, שאני חושב שהם עושים משהו ב-GPU hosting, אבל אני לא סגור על זה.
• וזהו, וזה נקרא GPU Glossary.
• כמובן - כל הלינקים לכל הדברים שאנחנו מזכירים יהיו ב-Show Notes [הי!]. 
• כן, מגניב, אהבתי. 
• ואם אתם עדיין ב-Mode לימודי, אז האתר הבא נקרא LLM Visualization.
• והוא בעצם בא ומראה לכם LLM-ים יחסית פשוטים - וישנים, יש לומר, כמו GPT-2, NanoGPT, GPT-3 - הוא מראה לכם איך הם בנויים.
• זאת אומרת, מציג את הארכיטקטורה שלהם - בצורה ויזואלית מגניבה, עם כל מיני Zoom-in ו-Zoom-out.
• וכזה אינטראקטיבי, שאפשר ללחוץ על השכבות השונות ולהבין מה קורה שם, ועם הסברים של מה האחריות של כל שכבה, וכאלו ציורים קטנטנים חמודים שכאילו מראים לנו “ניורונים” . . .
• זה מגניב כדי ללמוד את ה-Basics של בעצם איך עובד LLM.
• זה לא מראה, נגיד, את השלב של הלימוד ואת כל השלבים של ה-fine-tuning וכל זה, אבל זה כן מראה את הארכיטקטורה.
• נחמד - שחקו עם זה.
• זה גם קצת מראה כאילו אינטראקציה של מה קורה כשמזרימים ערכים דרך, ואני לא בטוח לגבי ה-Back Propagation, אבל Forward בטוח.
• וכן, בקיצור - מגניב: תעבירו את העכבר מעל, תראו שהדברים זזים, תלחצו על דברים. 
• כלי חמוד כדי ללמוד איך עובד LLM.
• (אלון) האמת שכן, זה כלי ממש חמוד, כבר שיחקתי איתו פעם.
• הוא באמת מסביר את העקרונות ממש טוב, כי ה-Play הוא ממש ויזואלי, טוב ויפה.
• ממש רואים איך השלבים - הטוקניזציה (Tokenization) והכל, אז זה ממש חמוד. 
• מה שהכי מטורף בזה זה שכשמסתכלים על מודל כמו GPT-3, שהוא הכי גדול שמופיע פה - והוא כבר עצום, הוא כאילו “זה לא הגיוני”, כן? כי אנחנו . . . . אנחנו לא קולטים כמה עשינו פה מהפכה.
• “עשינו” - אני, בתור צרכן, עשינו, כן? לא כתבתי אף מודל.
• אבל התעשייה עשתה ממש מהפכה, וזה פשוט עצום. 
• אני רק מדמיין אם היו שמים שם איזה GPT-4, זה היה תופס לך . . .  היה נגמר לך המקום בדפדפן מרוב הזיכרון שהוא צורך . . .
• (רן) כן, לגמרי, לגמרי.  . .  GPT-3 זה בעצם הדגם הכי גדול שהם מציגים פה - והוא בסדר גודל יותר קטן מהמודלים הנוכחיים. 
• אולי אפילו שני סדרי גודל, אני לא זוכר . . .
• אבל כן, הם כנראה לא ייכנסו פה בתמונה, המודלים של היום. 
• זהו, זה מגניב. אז כמו שאלון אמר, אפשר ממש ללחוץ Play ולראות איך ה-Token-ים הופכים לערכים נומריים וזורמים דרך המערכת, בסופו של דבר עד ל-Output מלא של השלמת Token-ים וחזרה למילים.
• כן, מגניב - לא צריך . . .  בוא נאמר, לא חייבים את זה כדי להשתמש ב-GPT או אחרים, אבל זה נחמד להבין.
• אוקיי, האייטם הבא שלי זה בעצם Machine Learning “קלאסי” - אבל מה זה” קלאסי”? שנות ה-80 או ה-90, יש לומר. האייטם הבא בעצם זו כתבה מאוד ארוכה של Bloomberg - קראתי את כולה, קודם כול אני גאה בזה שהצלחתי - אבל היא ממש מעניינת, והיא נקראת The Gambler Who Cracked the Horse-Racing Code, “המהמר שהצליח לשבור את קוד מרוץ הסוסים”.
• זה בעצם סיפור על כמה אנשים - קבוצה, וספציפית הם מתרכזים באחד - שבעצם ניסה להפעיל למידת מכונה לפני הרבה זמן, אני לא זוכר אם זה היה בשנות ה-80 או ה-90, בהונג קונג, על מרוצי סוסים - והוא הצליח, והוא עשה מיליארד דולר, בגדול.
• עכשיו, הסיפור הזה מתפרסם בערך 20 שנה אחר כך, כן? הוא שמר את כל זה בסוד
•  זאת אומרת, אני מניח שהיו עוד אנשים שהכירו את הסיפור, אבל זה לא התפרסם במשך משהו כמו 20 שנה.
• ובסופו של דבר זה כן התפרסם ב-2018 - אני רק עכשיו מצאתי את זה, אבל זה כן התפרסם ב-2018.
• וזו כתבה מדהימה על איך הוא עשה . . . איך הוא בעצם עשה סוג של אוטומציה למרוצי סוסים - הוא שלח שליחים שיקנו לו את הכרטיסיות להימורים, והוא הבין ש... זאת אומרת, אי אפשר לדעת איזה סוס יחיד יזכה, אבל כן אפשר להמר על עשרה, בעשרה מרוצים שונים, וסטטיסטית יש לך יתרון. 
• את היתרון הזה, הוא בסופו של דבר הפך למיליארד דולר - עם הזמן, לא במרוץ אחד, כמובן.
• ואז כמובן שגם נכנסים תככים ומתחרים ובגידות וכל זה - זאת אומרת, זה סי