מי יחליף אותנו

מחקר השווה יכולת פתרון בעיות קליניות בין כלי בינה מלאכותית שונים. כל כלי עמד לבחינה אל מול שלוש בדיקות שונות: שאלות רבות בחירה, מצבים רפואיים מסובכים הדורשים החלטות אבחנתיות וטיפוליות, ובעיות אמיתיות שרופאים הציגו למנוע תמיכה רפואית.

נבחנו הכלים "הרגילים": ג’מיני, צ’אטגפט וקלוד, וכן מנועי בינה קליניים ייעודיים.

להפתעת כולם, בכל שלוש הבדיקות, דווקא הכלים הרגילים הגיעו לביצועים טובים יותר מאשר הכלים הייעודיים.

האם ניתן להסתמך על מחקר זה? נגלה מספר בעיות מהותיות בשיטת המחקר שיגרמו לנו להיות ספקניים: אפשרות חשיפת מנועי הבינה הכלליים לאותן שאלות בשלב אימון המודל, הצורה שבה הוזנו הנתונים למנועי הבינה, ומדגם קטן מדי של בעיות אמיתיות.

OpenEvidence

UpToDate expert AI

Gemini

Claude

ChatGPT

clinical AI tools

General purpose LLM

MedQA

HealthBench

Clinical queries

API

General-purpose large language models outperform specialized clinical AI tools on medical benchmarks