האזינו באפליקציית Podli 🎧
עקבו אחרי הפודקאסטים האהובים עליכם, האזינו לא מקוון וברכב עם CarPlay ו-Android Auto, ותמיד המשיכו מאיפה שהפסקתם. אפשר לנסות בחינם.
פרק מספר 488 של רברס עם פלטפורמה, שהוקלט ב-7 בינואר 2025 - פרק ראשון לשנת 2025, בתקווה שתיהיה שנת בשוורת טובות. אורי ורן מארחים באולפן בכרכור את
גיא גרינאפל מחברת
Pillar Security כדי לדבר על LLM ו-Security. 🎗️
00:54 גיא ו-Pillar
(רן) לפני זה - קצת עליך וקצת על
Pillar?
- (גיא) אז קודם כל - כיף להיות פה. אז אני גיא גרינאפל, בן 34 מתל אביב.
- אני בגדול “משוטט לי בתעשייה” בערך 12 שנה, אחרי שהשתחרתי מ-8200.
- אני בעולם התוכנה בערך 8-9 שנים - הייתי ב-LivePerson, אחרי זה הייתי ב-AppsFlyer.
- כמעט שבע שנים, תפקידי פיתוח וניהול-פיתוח שונים.
- במהותי ובעברי אני מהנדס Backend, מתעסק המון ב-High Scale, High Throughput Low Latency Systems.
- ובשנה האחרונה פחות או יותר אני מוביל את הפיתוח בסטארטאפ קטן ונהדר בשם Pillar Security.
- ו-Pillar זו בעצם חברת Early Stage, מתעסקת בעולמות ה-AI security, LLM security,
- קמה לפני כשנה וחצי, גייסנו באזור ה-2 מיליון דולר Pre-Seed מקרנות מעולות.
- ובעצם מה שאנחנו עושים זה אנחנו מאפשרים לחברות לאמץ, להטמיע פתרונות AI, בצורה שהיא safe, secure, private וכו’.
- בעצם, מה שאנחנו מאפשרים לעשות זה - בפלטפורמה אחת - לגשת, החל משלב ה-Discovery, למצוא את כל הפרויקטים שמשתמשים ב-AI, במודלים, ב-LLM, בארגון.
- על הדבר הזה, לעשות איזושהי אבאלואציה (Evaluation) על השימוש ב-LLM - איך משתמשים, System Prompts, Meta-Prompts - כל דבר שיכול כבר לייצר Risk כבר בשלב הזה.
- ואיך זה מתחבר לתוך האפליקציה.
- יש לנו פתרונות של בעצם Runtime Detection & Response - כלומר, סוג של אפשר להגיד Guardrails ב-Runtime, שמגינים על האפליקציה.
- נדבר על זה גם מן הסתם בהמשך, על הצורך בדבר הזה.
- ומתעסקים גם ב-Automated Red Teaming - בעצם, לקחת את האפליקציה שהמפתחים, שהלקוחות שלנו בונים, ולעשות לאיזשהו תהליך של אבאלואציה (Evaluation).
- להבין איפה היא חשופה, למה היא Susceptible, איזה סוג של מתקפות.
- והדבר הזה בסוף מתחבר לאיזה-שהם Guardrails, שגם יודעים ללמוד את האפליקציה וכו', ולהתאים את עצמם.
- אז זה כזה איזשהו פתרון מקיף שאנחנו מתעסקים בו.
(אורי) ספציפית בשימושים במודלים של AI נכון? כאילו . . .
- (גיא) אתה מתכוון ספציפית ב-LLM?
(אורי) כן . . . זאת אומרת, אתה אומר “אנחנו מריצים Red-Team וכו' לאפליקציה”, אבל כאילו . . . .(רן) זה לא “Security גנרי“, זה פוקוס . . .
- (גיא) אתה צודק, אני אחדד - Red Teaming, נכון . . . תכל’ס, המאזינים שלנו הם מפתחים, הם אנשי Data Science, זה פחות אנשי Security.
- אני גם, אגב, לא מגיע מעולם ה-Security, ואני אגיד ש-Red Teaming זה מונח מאוד מוכר בעולם ה-Security.
- הוא מדבר על ניסיון בעצם לדמות “צבא אוייב” או לדמות תוקף . . .
- (אורי) מה שקוראים “White Hat” . . .
- (גיא) בדיוק, להגיד “אני רוצה לפרוץ לאפליקציה בכל דרך אפשרית”.
- והרעיון של Red Teaming הרבה פעמים הגיע מתוך Professional Services.
- כלומר, אנשים שזה העיסוק שלהם, זה התחום שלהם - ובסוף זה Services.
- אנחנו לוקחים זה למקום של Automated Red Teaming. כלומר, לייצר ממש מוצר SaaS-י, לצורך העניין, שיודע לבצע ניסיונות תקיפה ושבירה.
- נדבר גם אחרי זה בעצם על סוגי המתקפות השונים.
- אבל מול אפליקציות מבוססות LLM - שם אנחנו כרגע מתמקדים.
(רן) כן, זאת אומרת לא Port-Scanning או דברים בסגנון - ספציפית ל-LLM-ים.
04:38 מי מפחד מ-LLM ולמה שסבתא תרצה לעשות Prompt Injection
(רן) אוקיי, אז
קם אדם בבוקר, כמאמר המשורר, והוא רוצה לעשות אפליקציות LLM. ממה הוא צריך לפחד?בואו לנסה ככה להבין, פחות או יותר, מה עם וקטורי-התקיפה או איזה סיכונים הוא צריך להכיר, לפני שהוא מתחיל . . .(אורי) LLM זה לא להשתמש במודל, נכון? זה ה . . . .
- (גיא) האמת שלא הכרתי . . . . אנחנו ניקח את זה אלינו - יש לנו קיר-ציטוטים כאלה משעשעים, אז נכניס . . .
(אורי) אני רק מבקש רפרנס . . . .
- (גיא) אבל גם יש שם “אסור בדיחות אבא אחרי שש בערב” , אז צריך לראות שנייה איך זה מתכתב [בר-זיק?].
(אורי) הבנתי, אני אתבייש לי פה בצד . . . .
- (גיא) אז בסדר, בואו נתחיל באמת לדבר קצת על עולם הבעיה, וקצת על מה הסיכונים.
- אני חושב שהכי נכון להתחיל מהמונח, הטרמינולוגיה שנזרקת לאוויר מדי יום ביומו - “Prompt Injec
