עובדים עם AI בעברית? מודל מוביל קיבל 4 אחוז

כלי בינה מלאכותית נבחרים כמעט תמיד לפי בדיקה שנעשתה באנגלית, ואצלכם בעסק הם עובדים בעברית. במבחן הסקה בעברית שנבנה מתרגום של מבחן אנגלי, GPT-4o הגיע ל-60.12 אחוז דיוק מול 84.97 אחוז של בודקים אנושיים על אותו חומר. במשימה עברית אחרת מודל כללי מוביל קיבל 4.05 אחוז, במקום שמודל שאומן על עברית קיבל 86.86 אחוז. הפער בדיוק הוא חצי מהסיפור. החצי השני הוא שהטעות בעברית מגיעה באותה נימה בטוחה כמו תשובה נכונה.

עיקרי הדברים

• במבחן LCHAIM, גרסה עברית של מבחן ההסקה האנגלי ConTRoL עם 8,325 פריטים, GPT-4o הגיע ל-60.12 אחוז מול 84.97 אחוז של בודקים אנושיים.

• בדוח הטכני של Dicta-LM 3.0, המודל Llama-3.3-70B-Instruct קיבל 4.05 אחוז במשימת ניקוד בעברית, מול 86.86 אחוז של מודל שאומן על עברית באותה משימה.

• החוקרים של LCHAIM מצאו שהמודלים בעברית סובלים מכיול גרוע, כלומר מידת הביטחון בתשובה אינה מעידה על נכונותה.

• פרויקט התמלול הישראלי ivrit.ai דיווח על ירידה של 20 עד 30 אחוז בשיעור שגיאות המילה אחרי אימון על מאות שעות אודיו בעברית, מול המודל הרב לשוני הבסיסי.

• משתנה ההחלטה אינו איזה כלי הכי טוב, אלא באיזו שפה המשימה רצה בפועל ואם הטעות באותה שפה מכריזה על עצמה.

למה כלי עם המלצות מצוינות עובד פחות טוב אצלכם

ההמלצה, הדמו והבנצ׳מרק שעל בסיסם בחרתם את הכלי נעשו כמעט תמיד באנגלית. מודל שפה אינו מנוע חשיבה אחד שמדבר במקרה בכמה שפות. הביצועים שלו בכל שפה נגזרים מכמות החומר ומאיכותו באותה שפה, ולעברית יש הרבה פחות חומר מאשר לאנגלית. ציון גבוה באנגלית אינו הבטחה לדבר בעברית.

המנגנון מתחיל כבר בשלב שבו הטקסט נחתך לחלקים. בדוח הטכני של Dicta-LM 3.0 מצוין שמפרקי הטקסט של מודלי היסוד מכסים בצורה גרועה שפות עם מעט חומר, ומילים נפוצות מתפרקות אצלם להרבה חלקיקים.

בעברית מצטרפת לזה המורפולוגיה. תחיליות וסופיות שנדבקות למילה, וכתיב בלי ניקוד, יוצרים עמימות שאינה קיימת באנגלית. אותו רצף אותיות יכול להיות שלושה דברים שונים, וההכרעה תלויה בהקשר.

מה בדיוק נמדד במבחנים בעברית

שני מקורות ציבוריים נותנים תמונה מספרית. הראשון הוא LCHAIM, מבחן שפורסם ב-Findings של כנס ACL לשנת 2025 ונבנה מתרגום לעברית של מבחן ההסקה האנגלי ConTRoL. הוא מכיל 8,325 זוגות של טקסט והשערה שדורשים הסקה לוגית, זמנית והתייחסותית. בעברית GPT-4o הגיע ל-60.12 אחוז, Gemma-9B ל-56.15 אחוז ו-Dicta-LM-2.0-7B ל-42.36 אחוז. בודקים אנושיים על אותו חומר הגיעו ל-84.97 אחוז.

המקור השני הוא הדוח הטכני של Dicta-LM 3.0, שבודק חמש משימות בעברית. בסיכום טקסט המודל הטוב ביותר הגיע ל-56.86 אחוז, Gemma 3-27B ל-44.54 אחוז ו-Llama-3.3-70B-Instruct ל-37.83 אחוז. בתרגום המודל הטוב ביותר הגיע ל-30.09 אחוז.

בניקוד נפתח הפער החד ביותר: 86.86 אחוז למודל שאומן על עברית מול 4.05 אחוז ל-Llama-3.3-70B-Instruct, מודל שנחשב חזק מאוד בכל מדד כללי.

ניקוד הוא משימה עברית צרה ואין לגזור ממנה ציון כללי לאף מודל. מה שהיא כן מראה הוא שגודל המודל ואיכותו הכללית אינם מנבאים את מה שיקרה במשימה עברית מסוימת, ושאף בדיקה באנגלית לא הייתה חושפת את הפער הזה.

למה הכיול הוא הבעיה ולא הדיוק

כיול הוא מידת ההתאמה בין הביטחון של המודל בתשובה לבין הסיכוי שהיא נכונה. החוקרים של LCHAIM ציינו במפורש שבעברית המודלים מראים כיול גרוע, בניגוד למה שנמדד על המבחן האנגלי המקביל. בפועל זה אומר שתשובה שגויה בעברית נשמעת בדיוק כמו תשובה נכונה.

דיוק נמוך שמכריז על עצמו הוא בעיה שאפשר לנהל. אתם רואים משפט שבור, שולחים לתיקון וממשיכים הלאה.

כיול גרוע הוא בעיה אחרת לגמרי. הפלט קולח, המשפטים תקינים, והפרט השגוי יושב בתוך פסקה שנקראת היטב. הקריאה המהירה שלכם אינה תופסת אותו, כי אין בה שום דבר שנראה שגוי.

באילו משימות בעסק הפער הזה עולה כסף

הפער עולה כסף בכל משימה שבה פלט בעברית נכנס למערכת או מגיע ללקוח בלי שאדם מחזיק באותו רגע גם את המקור וגם את הפלט. תמלול שיחת מכירה, סיכום שיחה לתוך מערכת ניהול הלקוחות ומענה אוטומטי בעברית הם שלושת המסלולים היקרים ביותר, מאותה סיבה בדיוק.

נניח ארבעים שיחות מכירה בחודש, סיכום אוטומטי שנכנס למערכת, ועסקה ממוצעת של 18,000 שקל. אם אחד מכל עשרה סיכומים נושא פרט שגוי על מה שסוכם, ארבעה תיקים בחודש נכנסים לשיחת ההמשך עם מידע לא נכון. די בשניים מהם שנופלים בשנה כדי להגיע לאובדן של 36,000 שקל.

המספרים האלה הם הנחות עבודה להמחשה ולא נתון שוק. הציבו עליהם את מספר השיחות, שווי העסקה ושיעור השגיאה שאתם מודדים בעצמכם.

מסגרת החלטה: היכן הטעות מכריזה על עצמה

הטבלה הזאת היא מסגרת החלטה ולא נתון שוק ולא בנצ׳מרק. היא ממיינת משימות נפוצות בעסק שירות לפי השפה שבה הן רצות בפועל, ולפי השאלה אם טעות בהן נראית לעין לפני שהיא עולה כסף.

מה מודל שאומן על עברית באמת פותר

מודל שאומן על עברית מצמצם את הפער במשימות שתלויות במבנה השפה, ואינו מאפס אותו. פרויקט התמלול הישראלי ivrit.ai אימן מודל תמלול על כמאתיים שעות אודיו שתומללו בהתנדבות ועוד כתשעים שעות בתמלול מקצועי, ודיווח על ירידה של 20 עד 30 אחוז בשיעור שגיאות המילה מול המודל הרב לשוני הבסיסי. זו ירידה יחסית ולא שיעור שגיאה מוחלט.

אותו דפוס חוזר בדוח של Dicta-LM 3.0. המודל בגודל 24 מיליארד פרמטרים עוקף במשימות העבריות מודלים גדולים ממנו פי ארבעה, ובמקביל שומר על יותר מ-98 אחוז מהביצועים שלו במבחנים באנגלית.

המסקנה המעשית אינה שצריך לעבור לכלי ישראלי. היא שהתמחות בשפה היא משתנה אמיתי שמזיז תוצאה, ולכן היא שווה בדיקה באותה מידה שגודל המודל שווה בדיקה.

מה הנתונים לא אומרים

המספרים כאן מגיעים ממבחנים אקדמיים ולא ממדידה של שיחות מכירה בעסק שלכם. מבחן הסקה לוגית אינו מנבא ישירות איך יתנהג כלי כשיסכם שיחה עם לקוח.

התוצאות נמדדו על גרסאות מודל מסוימות בנקודת זמן מסוימת. מודלים מתעדכנים, והפער יכול להצטמצם או להיפתח בין גרסה לגרסה בלי שתקבלו על כך הודעה.

הציון 4.05 אחוז במשימת ניקוד אינו ציון כללי של אותו מודל בעברית. הוא מדגים כמה מהר משימה עברית אחת מפילה מודל שנחשב מצוין בכל מדד אחר.

מבחן MMLU-ProX בדק 29 שפות עם 11,829 שאלות בכל שפה ומצא פערים של עד 24.3 אחוז בין שפות עתירות חומר לשפות דלות חומר. עברית אינה בין השפות שדווחו שם במפורש, ולכן הוא מובא כאן רק לאישוש הדפוס הכללי ולא כנתון על עברית.

מה רוב האנשים טועים בו

הטעות הנפוצה היא לשפוט כלי בינה מלאכותית לפי דמו, סרטון או המלצה, ולהניח שהאיכות נודדת לעברית. היא לא נודדת. הדמו הופק באנגלית, הבנצ׳מרק נמדד באנגלית, ומי שהמליץ בדק באנגלית.

הטעות השנייה יקרה יותר: לשפוט פלט בעברית לפי איך שהוא נשמע. עברית קולחת נקראת כעברית נכונה, והממצא על הכיול אומר את ההפך המדויק. נימה בטוחה אינה סימן לנכונות, ולכן הקריאה המהירה שלכם אינה בקרת איכות.

הטעות השלישית היא לחפש את הכלי הטוב ביותר במקום להגדיר את המשימה. לשאלה איזה כלי הכי טוב אין תשובה שאינה תלויה בשפה ובמשימה, ולכן היא מחזירה תמיד את הכלי שהכי מדברים עליו.

הטעות הרביעית היא תפעולית: לבדוק פעם אחת ביום ההטמעה. המודל שמאחורי הכלי מתעדכן או מוחלף בלי הודעה, והבדיקה שעשיתם לפני חצי שנה אינה תקפה לגרסה שרצה אצלכם עכשיו.

מה לעשות מחר בבוקר

סמנו את שלוש המשימות שבהן פלט בעברית נכנס למערכת או מגיע ללקוח בלי עין אנושית שמשווה למקור. אלה המשימות שנבדקות ראשונות.

אספו עשרים פריטים אמיתיים מהעסק שלכם לכל משימה כזאת. הקלטות שיחה אמיתיות, פניות אמיתיות של לקוחות, מסמכים אמיתיים. לא דוגמאות שהמצאתם ולא טקסט ממבחן ציבורי.

הריצו את שני הכלים המועמדים על אותם עשרים פריטים בדיוק, באותו יום ובאותו ניסוח בקשה.

ספרו שגיאות בשתי קטגוריות נפרדות: שגיאות שראיתם מיד, ושגיאות שגיליתם רק כשהשוויתם למקור. הקטגוריה השנייה היא זו שקובעת, כי רק היא מודדת מה יעבור אצלכם בלי שאיש ישים לב.

הגדירו סף מראש ולא בדיעבד. כמה שגיאות מהסוג השני אתם מוכנים לספוג במשימה הזאת, וכמה כבר מחייבות אישור אנושי לפני שמירה.

שמרו את עשרים הפריטים בקובץ והריצו אותם שוב אחת לרבעון, ובכל פעם שהספק מכריז על גרסה חדשה. זה כל ההבדל בין בדיקה לבין הרגל.

שאלות נפוצות

האם עדיף לעבוד עם הכלי באנגלית ולתרגם את התוצאה לעברית?

במשימות שבהן החומר עצמו בעברית, לא. תמלול שיחה בעברית, סיכום פגישה בעברית או מענה ללקוח ישראלי מתחילים ונגמרים בעברית, ותרגום רק מוסיף שלב שבו פרטים נושרים. בדוח הטכני של Dicta-LM 3.0 משימת התרגום הייתה החלשה מכולן, והמודל הטוב ביותר הגיע בה ל-30.09 אחוז. במשימות שבהן החומר ממילא באנגלית, כמו ניתוח מסמך טכני, אין סיבה להכריח את הכלי לעבוד בעברית.

האם מודל שאומן על עברית תמיד עדיף על מודל בינלאומי?

לא. היתרון של מודל שאומן על עברית מתרכז במשימות שתלויות במבנה השפה, כמו ניקוד, סיכום וניסוח. במשימות שאינן תלויות שפה, כמו קוד או חישוב, מודל בינלאומי גדול לרוב חזק יותר. בדוח של Dicta-LM 3.0 המודל העברי בגודל 24 מיליארד פרמטרים עקף במשימות העבריות מודלים גדולים ממנו פי ארבעה, ובאותה נשימה שמר על יותר מ-98 אחוז מהביצועים שלו במבחנים באנגלית. הכלל המעשי הוא להתאים מודל למשימה ולא לבחור אחד לכל דבר.

כמה פריטים צריך במבחן הקבלה כדי שיהיה אמין?

עשרים פריטים אמיתיים מהעסק שלכם מספיקים כדי לפסול כלי, ולא מספיקים כדי להכריז שהוא מצוין. עשרים הוא המספר שבו שגיאה שחוזרת פעמיים כבר אינה מקרית, ושעדיין אפשר לעבור עליהם ידנית בשעה. הערך האמיתי אינו בגודל המדגם אלא בכך שהפריטים באים מהעסק שלכם ולא ממבחן ציבורי. מבחן ציבורי מודד ממוצע, ואתם צריכים לדעת מה קורה על החומר שלכם.

האם הפער בין אנגלית לעברית נסגר עם הזמן?

הוא מצטמצם, ולא באופן שאפשר להסתמך עליו בלי לבדוק. כל גרסה חדשה מזיזה את התוצאה לכיוון אחד או אחר, והספקים אינם מפרסמים ביצועים בעברית לצד ההכרזות. המשמעות המעשית היא שבדיקה אינה אירוע חד פעמי ביום ההטמעה. אותם עשרים פריטים צריכים לרוץ שוב אחת לרבעון, ובכל פעם שהספק מודיע על החלפת מודל.

במה זה שונה מהשאלה מה כדאי בכלל לאטמט בעסק?

השאלה מה לאטמט עוסקת בבחירת המשימה, כלומר אילו משימות בכלל נכון להעביר למערכת. השאלה כאן מתחילה אחרי שכבר בחרתם את המשימה, והיא עוסקת בשפה שבה המשימה רצה בפועל ובשאלה אם הבדיקה שעשיתם לכלי נעשתה באותה שפה. אפשר לבחור משימה נכונה לחלוטין ועדיין להעריך את הכלי במבחן שמעולם לא נגע בעברית.

האם הבעיה קיימת גם בכתיבת תוכן שיווקי בעברית?

פחות, כי שם הטעות מכריזה על עצמה. טקסט שיווקי נקרא על ידי אדם לפני שהוא מתפרסם, וניסוח שבור או מונח לא מדויק נתפסים בקריאה. הסיכון בכתיבה הוא אחר: המודל מייצר עברית תקינה שנשמעת מתורגמת, ובעל העסק מאשר אותה כי היא נכונה דקדוקית. הסיכון היקר נשאר במשימות שבהן איש אינו מחזיק גם את המקור וגם את הפלט.

מה עושים כשהכלי לא נותן לבחור באיזה מודל הוא משתמש?

בודקים את הפלט במקום את המודל. הרבה כלים מסחריים אינם חושפים איזה מודל רץ מאחוריהם ואף מחליפים אותו בלי הודעה. במקרה כזה מבחן הקבלה על עשרים הפריטים שלכם הוא הבדיקה היחידה שיש לכם, וזו גם הסיבה לשמור את הפריטים בקובץ ולא להריץ אותם מהזיכרון. שינוי בתוצאה בין רבעון לרבעון הוא הסימן היחיד שתקבלו על כך שמשהו מאחורי הקלעים השתנה.