תוכן העניינים
משתמש מבקש מכלי AI לסכם פסק דין. בתוך שניות מתקבלת תשובה מסודרת עם מספר תיק, שם השופט, תאריך וציטוט שנשמע מדויק. רק כשמנסים לאתר את פסק הדין מתברר שהוא אינו קיים.
זו אינה בהכרח תקלה רגעית. מודל שפה מסוגל לבנות תשובה משכנעת גם כאשר חסר לו המידע הדרוש. הוא משלים את התבנית שנראית לו סבירה: מספר שנראה כמו מספר תיק, שם שמתאים להקשר וציטוט שמנוסח בשפה משפטית.
התוצאה אינה נראית כמו ניחוש. היא נראית כמו עובדה.
הפער הזה, בין איכות הניסוח לבין אמינות המידע, הוא המקור לחלק גדול מהטעויות שמכונות הזיות AI.
תיק המקרה: המקור שלא היה קיים
נניח שהמשתמש שואל: “מה קבע הדוח שפרסם משרד מסוים בשנת 2023 בנוגע לעבודה מרחוק?”
ייתכן שהשאלה עצמה כוללת הנחה שגויה. אולי לא פורסם דוח כזה, אולי הוא יצא בשנה אחרת ואולי הוא עסק בנושא שונה.
במקום לעצור ולערער על ההנחה, המודל עלול לייצר תשובה שמתאימה למבנה השאלה. הוא כבר מכיר את הסגנון של דוחות ממשלתיים, את סוגי המסקנות שמופיעים בהם ואת הדרך שבה נהוג לצטט אותם. מכאן קצרה הדרך לשם מסמך, נתון וקישור שנראים אמינים אך אינם מבוססים.
גם כאשר מבקשים ממנו מקור, הבעיה אינה נפתרת בהכרח. המודל יכול ליצור שם של מאמר, כתב עת או כתובת אינטרנט לפי התבנית שבה מקורות אמיתיים נראים.
בקשת מקור היא צעד חשוב, אך המקור הופך לראיה רק לאחר שנפתח ונבדק.
למה מודל שפה עושה את זה
מודל שפה אינו פועל כמו מאגר עובדות שמאתר רשומה ושולף אותה. בבסיסו הוא מעריך אילו מילים צפויות להופיע בהמשך, בהתאם לשאלה ולהקשר שקיבל.
היכולת לחזות רצף מילים בצורה מוצלחת מאפשרת לו להסביר רעיונות, לסכם טקסט ולכתוב תשובות רהוטות. אותה יכולת מאפשרת לו גם ליצור השלמה סבירה למידע שאינו יודע.
אין כאן כוונה להטעות. המודל אינו “משקר” במובן האנושי, משום שאין לו כוונה, אינטרס או מודעות לכך שהמידע שגוי. הוא מייצר פלט שמתאים סטטיסטית לבקשה.
הבעיה היא שהמנגנון שיוצר משפט נכון מבחינה לשונית מסוגל ליצור באותה קלות משפט שגוי מבחינה עובדתית.
גם המסמך הממשלתי העוסק בהזיות של בינה מלאכותית מצביע על הקושי שנוצר כאשר ניסוח בטוח ומשכנע מסתיר מידע בלתי מבוסס.
מתי הסיכון להזיה עולה
הזיות יכולות להופיע בכל שיחה, אך יש מצבים שבהם הסיכון גדל באופן משמעותי.
כאשר חסר למודל מידע
אם המידע אינו נמצא בידע שעליו התבסס המודל, או שהתרחש לאחר מועד העדכון שלו, הוא עשוי להשלים את החסר מתוך דפוסים דומים. השמות והמועדים שימציא יכולים להישמע הגיוניים דווקא משום שהם נבנו לפי דוגמאות אמיתיות.
כאשר השאלה מניחה שהעובדה נכונה
שאלה כמו “מדוע החברה הפסיקה למכור את המוצר?” דוחפת את המודל להסביר את ההפסקה, גם אם המוצר עדיין נמכר. המודל נוטה לשתף פעולה עם המסגרת שקיבל במקום לבדוק אם נקודת המוצא נכונה.
ניסוח זהיר יותר יהיה: “האם החברה הפסיקה למכור את המוצר? אם כן, מה הסיבה הידועה?”
כאשר מבקשים פרטים מדויקים מאוד
מספרים, תאריכים, ציטוטים, שמות מחקרים וסעיפי חוק הם נקודות מועדות לטעות. המודל עשוי לדעת את הרעיון הכללי אך להשלים פרט נקודתי שנראה מתאים.
ככל שהפרט מדויק יותר, כך קשה יותר לזהות את הטעות רק מקריאת התשובה.
כאשר ההקשר ארוך או סותר את עצמו
שיחה ארוכה, מסמכים רבים או הוראות שאינן עקביות עלולים לגרום למודל להתעלם מחלק מהמידע, לחבר בין מקורות שונים או לייחס טענה למסמך הלא נכון.
הוספת חומר נוסף אינה תמיד משפרת את התוצאה. לפעמים היא מקשה על המודל לזהות איזה פרט רלוונטי למשימה.
כאשר דורשים תשובה בכל מחיר
הוראות כמו “אל תגיד שאינך יודע” או “תן תשובה חד־משמעית” מצמצמות את האפשרות של המודל לבטא חוסר ודאות. במצב כזה הוא עלול לבחור בהשלמה סבירה במקום להודות שאין לו בסיס מספיק.
המלכודת נמצאת בטון הבטוח
אנשים רגילים לזהות חוסר ודאות דרך היסוס, הסתייגות או ניסוח חלקי. מודל AI אינו חייב להישמע מהוסס גם כאשר התשובה שלו חלשה.
הוא יכול להציג טענה נכונה וטענה מומצאת באותו טון, באותו מבנה ובאותה רמת פירוט. ניסוח מקצועי, כותרות מסודרות והסבר הגיוני אינם מעידים שהמידע נבדק.
גם משפט כמו “אני בטוח” אינו מדד אמין. כאשר שואלים את המודל אם הוא בטוח, הוא עשוי לחזק את התשובה הקודמת משום שהיא כבר נמצאת בהקשר השיחה.
חזרה על אותה שאלה במילים אחרות יכולה לחשוף סתירה, אך תשובה זהה בשתי הפעמים עדיין אינה הוכחה. ייתכן שהמודל חזר על אותו דפוס שגוי.
חמש נורות אזהרה בתוך התשובה
לא כל טעות ניתנת לזיהוי מיד, אך יש סימנים שמצדיקים עצירה ובדיקה.
- פרט מדויק ללא בסיס גלוי
תאריך, אחוז, סכום או ציטוט מופיעים בתשובה בלי דרך לזהות את מקורם. - מקור שנשמע מוכר מדי
שם המאמר או הדוח מתאים באופן מושלם לשאלה, אך חיפוש מדויק שלו אינו מחזיר תוצאה. - קישור שמוביל לעמוד כללי
המודל מפנה לאתר של גוף מוכר, אבל לא למסמך שתומך בטענה. - שינוי בפרטים בין תשובות
אותו אירוע מקבל תאריך, שם או הסבר אחר כאשר השאלה מנוסחת מחדש. - הסכמה מהירה עם הנחת המשתמש
המודל מאמץ את נקודת המוצא בלי לבדוק אם האירוע, המחקר או ההחלטה אכן התקיימו.
נורה אחת אינה מוכיחה שהתשובה שגויה. היא מסמנת שהמידע עדיין לא מאומת.
בדיקה של תשובת AI מתחילה בפירוק לטענות
קשה לאמת פסקה שלמה בבת אחת. עדיף לפרק אותה ליחידות קטנות שניתן לבדוק בנפרד.
אם התשובה טוענת שחברה השיקה מוצר בתאריך מסוים, במחיר מסוים ובמספר מדינות, יש כאן לפחות שלוש טענות שונות. ייתכן שההשקה אמיתית, אבל התאריך או היקף ההפצה שגויים.
תהליך בדיקה יעיל יכול להיראות כך:
- מסמנים שמות, מספרים, תאריכים, ציטוטים ומסקנות מרכזיות.
- מחפשים את המקור הראשוני: אתר הגוף המפרסם, מסמך רשמי, מחקר מקורי או הודעת החברה.
- פותחים את המקור ובודקים שהוא אומר את מה שיוחס לו.
- מוודאים שהתאריך וההקשר עדיין רלוונטיים.
- מסירים מהתשובה כל פרט שלא נמצא לו בסיס מספק.
אין צורך לאמת באותה רמה משפט מעבר או הצעת כותרת. המאמץ צריך להתמקד בטענות שמשפיעות על המסקנה.
פרומפט טוב מצמצם את הסיכון, לא מבטל אותו
אפשר לבקש מהמודל להפריד בין עובדות, הערכות ומידע חסר. אפשר גם להורות לו לא להמציא מקור ולציין במפורש כאשר אינו מצליח לאמת טענה.
לדוגמה:
“ענה רק על בסיס מידע שניתן לאמת. הפרד בין עובדות מבוססות לבין מסקנות שלך. אם אינך יודע תאריך, מספר או מקור מדויק, ציין שהמידע אינו מאומת במקום להשלים אותו.”
הוראה כזאת משפרת את מסגרת העבודה, אך אינה הופכת את המודל למקור. גם תשובה שמציינת מקורות צריכה לעבור בדיקה חיצונית.
כאשר הכלי מחובר לחיפוש או למסמכים, כדאי להגביל אותו לחומרים שנבחרו מראש ולדרוש הפניה מדויקת לקטע שעליו התבסס. גם אז צריך לבדוק שהציטוט תואם למסקנה ולא הוצא מהקשרו.
רמת הבדיקה נקבעת לפי מחיר הטעות
אין צורך להתייחס לכל שימוש ב־AI כאל תחקיר. כאשר משתמשים בו לרעיונות, ניסוח מחדש או ארגון טקסט שסיפקנו בעצמנו, אפשר לעבוד במהירות יחסית.
כאשר התוצאה כוללת השוואת מוצרים, המלצה מקצועית, הוראות טכניות או נתונים על חברה, נדרשת בדיקה של הפרטים המרכזיים.
בתחומים משפטיים, רפואיים ופיננסיים, או בכל החלטה שיכולה להשפיע על זכויות, כסף ובריאות, תשובת AI היא לכל היותר נקודת פתיחה. היא אינה מחליפה מקור מוסמך או איש מקצוע.
הסיכון גדל עוד יותר כאשר המודל אינו רק כותב תשובה אלא מפעיל כלי. כאשר סוכן AI מקבל הרשאה לבצע פעולות במערכות, הזיה יכולה להפוך מהמלצה שגויה להודעה שנשלחה, רשומה ששונתה או החלטה שבוצעה. במצבים כאלה האימות צריך להופיע לפני נקודת הפעולה, ולא רק בבדיקה מאוחרת.
תשובה טובה אינה בהכרח תשובה נכונה
היכולת של AI לנסח תשובה שלמה היא אחת הסיבות שהוא שימושי. היא גם הסיבה שקל לייחס לו רמת ודאות שאין לו.
אין צורך לחשוד בכל משפט או להפסיק להשתמש בכלים האלה. צריך להגדיר להם תפקיד נכון. הם מצוינים בארגון מידע, ניסוח, סיכום ויצירת כיווני בדיקה. הם פחות מתאימים לשמש סמכות יחידה לעובדה מדויקת.
הכלל הפשוט הוא להפריד בין תשובה לבין ראיה. תשובת AI יכולה להפנות לכיוון הנכון. מקור שנפתח, נקרא ומתאים לטענה הוא מה שמאפשר להסתמך עליה.
