GPT-6 Astra הוזה פחות אך עדיין רגיש להזרקת פרומפטים נסתרת

בדיקות שנערכו על GPT-6 Astra, המודל החדש של OpenAI, מראות שיפור משמעותי בהפחתת 'הזיות' - כלומר מקרים שבהם המודל ממציא עובדות שגויות. עם זאת, המודל עדיין נמצא פגיע להתקפות של 'הזרקת פרומפט נסתרת' (hidden prompt injection), שבהן הוראות זדוניות מוסתרות בתוך טקסט או מסמכים שהמודל מעבד.

השיפור בדיוק חשוב לבעלי עסקים שמשתמשים ב-AI למשימות הדורשות אמינות גבוהה, כמו ניתוח נתונים, כתיבת דוחות או מענה ללקוחות - פחות טעויות עובדתיות משמעו פחות צורך בבדיקה ידנית. עם זאת, הפגיעות המתמשכת להזרקות מוסתרות מהווה סיכון אמיתי, במיוחד כשהמודל מעבד מסמכים או תוכן שמקורו חיצוני לעסק.

מומלץ לעסקים שמשלבים AI בתהליכי עבודה הכוללים קבצים או תוכן ממקורות לא מבוקרים (כגון מיילים נכנסים או קבצים שהועלו על ידי לקוחות) לנקוט משנה זהירות, ולא לתת למודל הרשאות רחבות מדי לביצוע פעולות אוטומטיות בהתבסס על תוכן כזה.