⚡ 7 פרומפטים בפנים📅 10 בנובמבר 2026 · סשן שלישי בערב👤 שלומי גוטמן

ה-AI לא שבור - הוא לא יציב. וזה אומר שצריך לנהל אותו

מתוך "סמוך על-AI" עם שלומי גוטמן · אוטוטיוזדיי · 10.11.2026
🔓 המלאה חינם לרשומים - הצטרפו

💜 רוצים לשתף? שתפו

ההודעה נשלחת מוכנה, עם תמונה וקישור לסשן.

לאינסטגרם / סטורי - העתיקו ושתפו

מערכת שעובדת שמונים אחוז מהזמן היא הסיוט הכי גדול של כל מי שבונה עם AI - כי את העשרים שנשברו אתה מגלה אצל הלקוח. הסשן הזה לקח את כל עולם ה-Evaluation, הערכת איכות של מוצרי AI, והפך אותו ממילה מפחידה לשיטת עבודה. השורה התחתונה שחוזרת שוב ושוב: ה-AI הוא לא קוד דטרמיניסטי, הוא עובד הסתברותי - ואת עובד כזה לא בודקים פעם אחת, מנהלים אותו לאורך זמן.

מירי
🕰️ הערת הכתבת

הערת הכתבת: הסשן נגע בשמות מודלים ובנצ'מרקים ספציפיים שהתחום שלהם זז מהר - חלקם כבר התחלפו בגרסאות חדשות מאז ההקלטה. הכלים האלה עדיין קיימים ועובדים, אבל התובנה שלא מזדקנת היא אחרת: אין 'מודל הכי טוב', יש מודל הכי מתאים למשימה. קודם מאפיינים את המטרה - מהירות, דיוק, עלות, עקביות - ורק אז בוחרים כלי. זה נשאר נכון בכל גל טכנולוגי.

🎁פרומפט פתוח, בחינם - מפת היציבות של מוצרי ה-AI שלך:
prompt-00 · בונוס נצחי🔓 פתוח לך

כל מי שבנה Flow עם AI מכיר את הרגע הזה - בבדיקה הכל עובד מושלם, ואצל הלקוח מגיעה תשובה אחרת לגמרי. שלומי גוטמן, שבונה מערכות AI בפרודקשן יום-יום, הקדיש את הסשן בדיוק לנקודה הזו: למה ה-AI לא יציב, ואיך בונים סביבו מערכת שתופסת את הכשלים לפני שהם מגיעים ללקוח. זה לא היה סשן על כלי אחד - זו הייתה החלפת מיינדסט שלמה.

מירי
הרגע שבו עלה שגם בטמפרטורה אפס, אלף הרצות של אותו פרומפט נותנות שמונים תשובות שונות - זה בדיוק מה שכולנו צריכים להפנים לפני שאנחנו מבטיחים ללקוח מערכת ש'עובדת'. בואו תראו איך הופכים את זה ממקור לחץ לשיטה.

המסע: 7 תחנות

כל תחנה = מה קרה בסשן + הפרומפט שאורז את זה בשבילכם

1🎓 למידה

תלמד אותי את עולם ה-Evaluation ל-AI

הסשן נפתח בהגדרה של ה-Blind Spot שכולם מרגישים אבל מעטים מנסחים: ה-FOMO של ה-AI, התחושה שהוא לא מגיב מספיק יציב, ושמשהו עובד עד שפתאום הוא לא. שלומי הציב את המושג Evaluation - הערכה של פרומפטים ומודלים - במרכז, אבל מהזווית שהכי קשה לעכל: בניגוד למה שלמדנו כמהנדסים, שאותו קלט נותן אותו פלט, האמת היא שהתפיסה האנושית לא דטרמיניסטית, וה-AI שלמד מאיתנו ירש בדיוק את זה. הדוגמה שעלתה: Voice Bot שצריך לנתב למחלקה יכול לתת תשובה אחרת על אותה שאלה. המסגור המרכזי של כל הסשן נולד כאן - כל מה שנדבר עליו ב-Evaluation הוא בעצם ניהול של AI, בדיוק כמו ניהול כוח אדם.

⚡השתמשו בפרומפט הבא בשביל מלמד ומתרגל אותך בכל התפיסה של הערכת מוצרי AI — למה הם לא יציבים ואיך מנהלים אותם, עם דוגמאות מהעסק שלך.:
prompt-01 · למידה🔒 למנויים

ההמשך המלא של הפרומפט שמור לחברי אוטוטיוזדיי פלוס יחד עם ההקלטה והתמלול המלאים של הסשן
שורות ההמשך כוללות את כל ההנחיות המדויקות והדוגמאות שהוצגו בשידור החי מול הקהילה
▶ 01:36 · הרגע הזה בהקלטה
2🩺 אבחון

אבחון: איפה אני חשוף לחוסר יציבות של ה-AI

מכאן התגלגל הדיון הכי חד של הסשן, בעיקר דרך האתגור של גיא: אם הרצתי פרומפט אלף פעמים וקיבלתי שמונים תשובות שונות, מה המצב התקין? שלומי הפך את זה על הראש - אם היית נותן לעשרה עובדים לעשות אלף פעמים את אותה משימה בדיוק אותו דבר, זה היה סימן שאתה צריך סקריפט, לא בן אדם. אפילו OpenAI אומרים שבטמפרטורה אפס דטרמיניזם לא מובטח. העיקרון שנחשף: השאלה היא לא אם התשובות שונות, אלא אם המהות שונה. שמונים ניסוחים שונים לאותה החלטה נכונה - מצוין. שמונים תשובות שחלקן פשוט שגויות - יש בעיה. זה בדיוק המקום לאבחן איפה אתה חשוף.

⚡השתמשו בפרומפט הבא בשביל סורק את מוצרי ה-AI הקיימים בעסק שלך, מזהה איפה הם עלולים לקרוס ומדרג איפה הכי דחוף להכניס בדיקות.:
prompt-02 · אבחון🔒 למנויים

ההמשך המלא של הפרומפט שמור לחברי אוטוטיוזדיי פלוס יחד עם ההקלטה והתמלול המלאים של הסשן
שורות ההמשך כוללות את כל ההנחיות המדויקות והדוגמאות שהוצגו בשידור החי מול הקהילה
▶ 06:48 · הרגע הזה בהקלטה
3⚙️ יישום

בניית דאטה-סט סינתטי לבדיקת AI

אחרי ההבנה שאי אפשר לסמוך על בדיקה בודדת, עלה הפתרון הראשון: דאטה-סט סינתטי. במקום לגרום לאלף לקוחות אמיתיים להזיע כדי לגלות שארבע מילים בפרומפט שוברות הכל, לוקחים את מקרי הלקוח האמיתיים ומבקשים מה-AI לייצר עשרות וריאציות - אותה כוונה, שפה שונה, הקשרים שונים. שלומי חשף דוגמה חיה מהעבודה שלהם: ריצה ראשונה על חמש חברות שונות, שלוש פעמים, עם שישים ושבע בקשות שונות - וכל פעם רואים מה היה חסר ומשפרים. הנקודה החדה שגיא הביא: הבדיקות עצמן אי אפשר לבדוק ידנית, כי אם בודקים ידנית - טעינו. האוטומציה של הבדיקות היא מה שמייצב.

⚡השתמשו בפרומפט הבא בשביל מייצר לך עשרות-מאות וריאציות סינתטיות של מקרי לקוח אמיתיים כדי לבדוק את ה-AI בלי להזיע על לקוחות אמיתיים.:
prompt-03 · יישום🔒 למנויים

ההמשך המלא של הפרומפט שמור לחברי אוטוטיוזדיי פלוס יחד עם ההקלטה והתמלול המלאים של הסשן
שורות ההמשך כוללות את כל ההנחיות המדויקות והדוגמאות שהוצגו בשידור החי מול הקהילה
▶ 20:56 · הרגע הזה בהקלטה
4⚙️ יישום

בדיקות קוד זולות על כל קריאת AI

כאן נכנס עיקרון שגיא ניסח כמשפט שהוא חוזר עליו הכי הרבה: AI בא אחרי לוגיקה. קודם אוטומציה, קודם קוד, קודם לוגיקה - ורק אז AI. שלומי הראה שאת רוב הבדיקות אפשר לעשות בכמה שורות JavaScript או If-ים פשוטים, בלי לשרוף טוקן אחד: האם ה-JSON עבר parse, האם מספר הטלפון הישראלי בפורמט הגיוני, האם אורך התשובה סביר, האם לא התגנבה סינית לעברית. מריצים Node קטן אחרי ה-HTTP Response, רושמים ציון לכל קריאה לטבלה מקומית, ועושים סטטיסטיקה. לא רק שזה חינם - זה ודאי. העלות של לתחזק פרומפטים שבורים ולהסביר ללקוח שזו לא המציאות גבוהה בהרבה.

⚡השתמשו בפרומפט הבא בשביל בונה לך שכבת בדיקות בקוד (בלי לשרוף טוקנים) שרצה אחרי כל תשובת AI ותופסת כשלים — לפי העיקרון 'קודם לוגיקה, רק אז AI'.:
prompt-04 · יישום🔒 למנויים

ההמשך המלא של הפרומפט שמור לחברי אוטוטיוזדיי פלוס יחד עם ההקלטה והתמלול המלאים של הסשן
שורות ההמשך כוללות את כל ההנחיות המדויקות והדוגמאות שהוצגו בשידור החי מול הקהילה
▶ 54:10 · הרגע הזה בהקלטה
5🛠️ כלי

LLM as a Judge — שופט שמנקד ומסביר

השלב שבו הקוד לא מספיק הוא LLM as a Judge - מודל שמנקד את התשובות שלך. אבל שלומי דייק נקודה שקל לפספס: הערך האמיתי הוא לא רק הציון, אלא ההסבר. שופט שאומר לך לא רק שהפרומפט לא היה טוב, אלא מה בדיוק לא היה בו טוב - זה מה שמאפשר לך לתקן. עוד תובנה שעלתה, בעקבות שאלה על גודל: פאנל של מודלים קטנים עובד טוב יותר משופט ענק אחד ועולה פחות משביעית. במקום פרומפט אחד גדול שבודק עשרה דברים, עדיף הרבה פרומפטים קטנים עם תפקיד פשוט כל אחד - כי ככל שהפרומפט ארוך יותר, המודל נהיה 'מטומטם' יותר. זה בדיוק עקרון ה-Context Engineering.

⚡השתמשו בפרומפט הבא בשביל פרומפט מוכן להרצה שהופך מודל AI לשופט שנותן ציון לתשובות ה-AI שלך ומסביר בדיוק מה לא היה טוב — כדי שתוכל לתקן.:
prompt-05 · כלי🔒 למנויים

ההמשך המלא של הפרומפט שמור לחברי אוטוטיוזדיי פלוס יחד עם ההקלטה והתמלול המלאים של הסשן
שורות ההמשך כוללות את כל ההנחיות המדויקות והדוגמאות שהוצגו בשידור החי מול הקהילה
▶ 53:55 · הרגע הזה בהקלטה
6⚙️ יישום

בניית Eval Loop אוטומטי שמשתפר לבד

מכאן הכל התחבר ללולאה אחת שרצה ברקע. שלומי חשף את הפרויקט שהם בונים ב-Voice Center: סוכן פנימי שמקים לקוחות, פותח יוזרים ונותן שירות - מאחוריו חמש מאות חמישים Tools שאף מודל לא יכול להכיל במקביל, ולכן נבנו עשרות Sub-agents וסקילים. ה-Eval Loop עובר על התהליכים שנכשלו במהלך היום, מייצר use cases סינתטיים, מריץ אותם בלילה ומייצר המלצות לתיקון הפרומפטים. הוא הראה את המספרים החיים מתקדמים - משבעים וארבע לתשעים וחמש - והודה בכנות: בלי מערכת שרצה שוטף ומסדרת את זה לבד, הם לא היו יכולים להשיק את המוצר בכלל. זה הפך את ההבנה המרכזית - Evaluation זה לא טסטינג, זה חלק מהמוצר.

⚡השתמשו בפרומפט הבא בשביל בונה לך לולאת שיפור עצמי שרצה ברקע, לומדת מהכשלים, מייצרת תרחישים חדשים ומתקנת את הפרומפטים לאורך זמן.:
prompt-06 · יישום🔒 למנויים

ההמשך המלא של הפרומפט שמור לחברי אוטוטיוזדיי פלוס יחד עם ההקלטה והתמלול המלאים של הסשן
שורות ההמשך כוללות את כל ההנחיות המדויקות והדוגמאות שהוצגו בשידור החי מול הקהילה
▶ 1:21:25 · הרגע הזה בהקלטה
7⚙️ יישום

בחירת המודל והבנצ'מרק הנכון למשימה

הסשן נסגר על בחירת המודל, והמסר היה חד: הגודל לא קובע. אין מודל הכי טוב - יש מודל הכי מתאים למשימה. שלומי הסביר את סוגי הבנצ'מרקים השונים (ידע מומחים, ניסוח וסגנון, עקביות, קוד) והראה שכל מודל מצטיין במשהו אחר - בדיוק כמו בני אדם, יש את המפתח שטוחן קוד אבל לא מנסח עשר מילים, ויש את המשורר שהוא לא גורם טכני. אפילו הדגמה מהחיים: במשחק פוקימון עם הילדים, המודל המהיר ניצח את החכם - כי לפעמים מהירות חשובה מאינטליגנציה. התובנה המעשית: הבנצ'מרקים משתנים כמעט שבועי, חלקם מוטים כי מאמנים מודלים להצטיין בהם, ולכן בסוף כדאי לבנות לעצמך בנצ'מרק פרטי למשימות שלך.

⚡השתמשו בפרומפט הבא בשביל עוזר לך לבחור את המודל המדויק לכל משימה בעסק ולדעת באילו בנצ'מרקים להסתכל — לא הכי חכם, אלא הכי מתאים.:
prompt-07 · יישום🔒 למנויים

ההמשך המלא של הפרומפט שמור לחברי אוטוטיוזדיי פלוס יחד עם ההקלטה והתמלול המלאים של הסשן
שורות ההמשך כוללות את כל ההנחיות המדויקות והדוגמאות שהוצגו בשידור החי מול הקהילה
▶ 1:08:33 · הרגע הזה בהקלטה

קראת איך זה נעשה. עכשיו קחו את הכלים ותעשו את זה בעצמכם - כל הפרומפטים של הסשן, מוכנים להריץ על העסק שלכם, וגם ההקלטה המלאה והתמלול.

הצטרפו לאוטוטיוזדיי+· 49 ש״ח בחודשעוד לא בשלים? בואו ללייב הבא בחינם ←

רוצים לעבוד על התמלול הנקי?

העתיקו אותו ותעבדו איתו איך שנוח לכם.

🔒 התמלול המלא שמור לחברי אוטוטיוזדיי+. עם המנוי אתם מעתיקים אותו בקליק ועובדים איתו איך שנוח לכם.

לפתוח את התמלול · 49 ש״ח בחודש

שאלות ששאלתם (וה-AI ישאל גם)

למה אותו פרומפט בדיוק מחזיר תשובות שונות גם בטמפרטורה אפס?

כי AI הוא לא קוד דטרמיניסטי. גם OpenAI אומרים שבטמפרטורה אפס דטרמיניזם לא מובטח. ה-AI למד מהשפה האנושית, והתפיסה האנושית עצמה לא קבועה - אלף הרצות של אותו קלט יכולות לתת עשרות תשובות שונות. השאלה הנכונה היא לא אם התשובות שונות, אלא אם המהות שלהן שונה.

מה זה דאטה-סט סינתטי ולמה אני צריך אותו?

זו סדרה של וריאציות שה-AI מייצר ממקרי לקוח אמיתיים - אותה כוונה בשפה שונה, בניסוחים שונים ובהקשרים שונים. במקום להמתין לאלף לקוחות אמיתיים כדי לגלות שהפרומפט נשבר על ניסוח לא צפוי, אתה מייצר את המקרים מראש ובודק את המערכת לעומק בלי לסכן שירות אמיתי.

אני פרילנסר, לא חברה עם משאבים - האם כל זה רלוונטי לי?

כן, וזו בדיוק הנקודה שעלתה בסשן. היציבות לא קשורה לגודל שלך אלא לגודל של הלקוח ולמהות העבודה. היום אפשר לבנות את מעטפת הבדיקות בלי להעמיס עלויות מטורפות. מי שחושב שהוא חוסך בדילוג על בדיקות - הולך להפסיד כסף, כי הלקוח ישגע אותו על מערכת שנשברה אחרי חודשיים.

מתי מספיק לבדוק בקוד ומתי צריך מודל ששופט?

העיקרון הוא: קודם לוגיקה, רק אז AI. הרבה בדיקות אפשר לעשות בכמה שורות קוד בלי לשרוף טוקנים - האם ה-JSON תקין, האם הטלפון בפורמט הגיוני, האם אורך התשובה סביר. מודל ששופט (LLM as a Judge) שומרים לרגע שצריך הערכת איכות עמוקה יותר, ובעיקר בשביל ההסבר - למה התשובה לא הייתה טובה, כדי שתוכל לתקן.

איך בוחרים את המודל הנכון למשימה?

לא לפי 'מי הכי חכם' אלא לפי המטרה: מהירות, עלות, דיוק ועקביות. מודל שמנסח תשובה ל-Voice Bot בזמן אמת הוא לא אותו מודל שכותב קוד. אפשר להתייעץ עם AI על הבחירה, להסתכל בבנצ'מרקים המתאימים למשימה, ובסוף כדאי לבנות לעצמך בנצ'מרק פרטי לצרכים שלך - כי הבנצ'מרקים הציבוריים משתנים שבועי וחלקם מוטים.

💬 הדיון על הסשן

שאלות, תובנות, מה יישמנו - השרשור של הקהילה.

עוד אין תגובות - תהיו הראשונים לפתוח את הדיון 👇