⚡ 7 פרומפטים בפנים📅 17 בנובמבר 2026 · סשן שלישי בערב👤 שלומי גוטמן

ה-AI שלכם עונה אחרת כל פעם. אז איך בודקים שהוא עובד?

מתוך "סדנה מעשית: בונים בדיקות ל-AI" עם שלומי גוטמן · אוטוטיוזדיי · 17.11.2026
🔓 המלאה חינם לרשומים - הצטרפו

💜 רוצים לשתף? שתפו

ההודעה נשלחת מוכנה, עם תמונה וקישור לסשן.

לאינסטגרם / סטורי - העתיקו ושתפו

הסשן הזה פותח בנקודה שרוב בעלי העסקים מתעלמים ממנה: AI הוא לא כמו הפלואו הישן שרואים אותו רץ מול העיניים ויודעים שהכול בסדר. הוא לא דטרמיניסטי - אותו קלט יכול לתת פלט שונה, והבעיה הכי מסוכנת היא ששבירה שקטה לא תצעק לכם Error, אלא פשוט תחזיר תשובה לא נכונה. שלומי גוטמן לקח את הקהל צעד צעד דרך איך בונים תהליך בדיקות שיטתי ל-AI - מהבנה של סוגי חוסר-העקביות, דרך דאטה סינתטי וניהול גרסאות, ועד הרצת בדיקות אמיתיות ב-Postman ומודלי Decision שנותנים ציון לכל תשובה.

מירי
🕰️ הערת הכתבת

הערת הכתבת: הסשן נוגע בכלים ספציפיים - Postman, מודל Decision של OpenAI, מודלים כמו Opus ו-4.1 mini, ואתרי Benchmark. הכלים האלה עדיין כאן ועובדים, אבל נוף המודלים והמחירים זז מהר, ושלומי עצמו אמר שכל "כלל ברזל" ישתנה תוך כמה שבועות. המיומנות הנצחית שהוא לימד היא לא איזה כלי לבחור, אלא איך לאפיין מה אתם בודקים ואז למדוד את זה - והיא נשארת תקפה גם כשהמודל הבא יוצא.

🎁פרומפט פתוח, בחינם - אפיין לי את הבדיקה הנצחית ל-AI שלי:
prompt-00 · בונוס נצחי🔓 פתוח לך

כל מי שבנה אוטומציה עם AI מכיר את הרגע הזה - בדקת דוגמה אחת, היא עבדה, המשכת הלאה. ואז הלקוח מתקשר שהבוט עונה שטויות. שלומי גוטמן, שחי ונושם את עולם ה-Voice בוטים והמודלים בעברית, הגיע כדי להראות בדיוק את מה שחסר: איך בונים מערכת שבודקת את ה-AI באופן שיטתי, בלי מערכות ענק ובלי תקציב של תאגיד. כמו שהוא אמר - המטרה הייתה להוכיח שלא צריך infrastructure מסובך כדי לייצר מוצרי AI שנבדקו בצורה נכונה.

מירי
הרגע שבו התשובה חזרה עם Natural של 0.73 ושלומי הצביע: "הוא לא בירך אותו בצורה מספיק טבעית" - פתאום ה"תחושה" של פרומפט טוב או גרוע הפכה למספר שאפשר לבדוק. בואו תראו איך הופכים את ה"בערך עובד" למדיד.

המסע: 7 תחנות

כל תחנה = מה קרה בסשן + הפרומפט שאורז את זה בשבילכם

1🎓 למידה

תלמד אותי לבנות Evaluation ל-AI

שלומי פתח בהבחנה שמשנה הכול: AI עובד כמו בני אדם - כל פעם טיפה אחרת. זה לא כמו הפלואו הישן ששלחת קריאה, ראית אותו רץ מול העיניים וידעת שהכול תקין. כאן מדובר בחוסר עקביות, ולכן כל עולם ה-Evaluation הוא בעצם ארגז הכלים שלנו לנהל את ה-AI - לדעת שזה לא הצליח פעם אחת במקרה, אלא שיש הסתברות יציבה מאחור. הוא הדגיש נקודה שקל לפספס: אין מאה אחוז בתהליכים לא דטרמיניסטיים. תשעים ותשע תשע זה מצוין, אבל צריך להבין שזה המגרש. הוא פירק את חוסר-העקביות לשלושה סוגים - אותו קלט שמחזיר פלט שונה ממודלים שונים, שינוי של מילה אחת שמשנה את הפלט, ורצף הזמן שבו מודלים חדשים משנים התנהגות של פרומפטים ישנים. העיקרון שחזר: אין "המודל הכי טוב", בדיוק כמו שאין הבן אדם הכי טוב - לכל אחד היכולות שלו.

⚡השתמשו בפרומפט הבא בשביל מקנה הבנה עמוקה של עולם הבדיקות ל-AI — למה הוא לא דטרמיניסטי, אילו סוגי חוסר-עקביות קיימים, ואיך בונים תהליך הערכה שיטתי.:
prompt-01 · למידה🔒 למנויים

ההמשך המלא של הפרומפט שמור לחברי אוטוטיוזדיי פלוס יחד עם ההקלטה והתמלול המלאים של הסשן
שורות ההמשך כוללות את כל ההנחיות המדויקות והדוגמאות שהוצגו בשידור החי מול הקהילה
▶ 00:46 · הרגע הזה בהקלטה
2🩺 אבחון

איפה בעסק שלי חובה לבנות בדיקות AI

כאן שלומי הצביע על הסכנה האמיתית - השבירה השקטה. הוא תיאר מקרה חי: פרומפט שעושה קריאה ל-CRM, משלים פרטים ומכניס אותם לתשובה. ואז האינטגרציה ל-CRM נשברת - ואתה לא רואה את זה. כי אם יש משהו שה-AI גרוע בו, זה להגיד לך מתי הוא לא יודע משהו. במקום לקבל Error מסודר כמו פעם, אתה פתאום מקבל תשובה שפשוט לא נכונה. מכאן נבנתה הנקודה למה בדיקות צריכות לרוץ באופן שוטף, לא רק פעם אחת לפני העלייה לאוויר: לא תמיד השתנה הפרומפט או המודל - לפעמים משהו בסביבה נשבר. הוא הזכיר שגם בתוך הפלואו עצמו חובה לעשות ולידציות - לא מספיק לראות שחזרה תשובה מ-API, צריך לבדוק מה חזר בה. זו בדיוק המפה שעסק צריך: לזהות איפה נקודות ה-AI שבהן שבירה שקטה הכי מסוכנת.

⚡השתמשו בפרומפט הבא בשביל ממפה את כל נקודות ה-AI בעסק שבהן חוסר-עקביות או שבירה שקטה עלולים לפגוע, ומתעדף איפה הכי דחוף לבנות Evaluation.:
prompt-02 · אבחון🔒 למנויים

ההמשך המלא של הפרומפט שמור לחברי אוטוטיוזדיי פלוס יחד עם ההקלטה והתמלול המלאים של הסשן
שורות ההמשך כוללות את כל ההנחיות המדויקות והדוגמאות שהוצגו בשידור החי מול הקהילה
▶ 08:19 · הרגע הזה בהקלטה
3⚙️ יישום

בנה לי Golden Dataset ודאטה סינתטי לבדיקה

השלב של בניית ערכת הבדיקה. שלומי הסביר את מושג ה-Golden - הדאטה שמגדירה את המטרה, את האפיון של מה אנחנו רוצים שיקרה. פעם היינו מאפיינים פלואו: מקבל פרמטרים, עושה ככה וככה. עכשיו צריך להגדיר משהו כללי יותר - בן אדם שצריך את X ואומר ככה, יקבל את התשובה הזאת. אבל כאן נכנסה הנקודה המעשית: בדיקה ידנית אחת לא מספיקה. כדי להגיע לממדים אמיתיים צריך דאטה סינתטי. נתנאל שאל ישירות איך גורמים למאה וריאציות של אותו פרומפט לרוץ - ושלומי ענה שלוקחים דוגמה אמיתית אחת, משנים אותה טיפה, ומבקשים מה-AI לייצר סביבה עוד חמישים דוגמאות. פתאום יש לך חמישים "אישונים" שעושים את אותו דבר, ואתה בודק במבחן כמותי אם קיבלת את אותה תשובה בצורות שונות. היתרון הנוסף: אתה לא חושף דוגמאות אמיתיות ורגישות.

⚡השתמשו בפרומפט הבא בשביל מייצר ערכת בדיקה שלמה: מגדיר את התוצאה הרצויה (Golden), לוקח דוגמאות אמיתיות ומרחיב אותן לעשרות דוגמאות סינתטיות לבדיקה כמותית.:
prompt-03 · יישום🔒 למנויים

ההמשך המלא של הפרומפט שמור לחברי אוטוטיוזדיי פלוס יחד עם ההקלטה והתמלול המלאים של הסשן
שורות ההמשך כוללות את כל ההנחיות המדויקות והדוגמאות שהוצגו בשידור החי מול הקהילה
▶ 09:56 · הרגע הזה בהקלטה
4⚙️ יישום

הגדר לי מערכת גרסאות (Versions) לפרומפטים ומודלים

לפני שמריצים בדיקה בכלל, שלומי עצר על עיקרון שכל מי שבונה בוטים צריך לאמץ - ניהול גרסאות. יש כל כך הרבה חלקים נעים: המודל, ה-System Prompt, ההנחיות, הכלים. ההבדל בין לדעת מה עובד ומה לא הוא היכולת לארוז גרסאות שונות. הוא הראה מבנה JSON שבו כל Version - V1, V2, V3 וכך הלאה - מכיל את השם, התיאור, המודל שהוא עובד מולו, ה-Instruction של הקלסיפיקטור וגם של הבוט עצמו. כשנתנאל שאל מי בנה את כל ה-Workflow הזה, שלומי ענה בלי היסוס: "ברור שנתתי לקלוד" - חמישה פרומפטים, לא יותר, תוספת פיצ'ר אחר פיצ'ר. היופי בניהול הגרסאות הוא שאפשר להריץ בדיקות על כמה גרסאות במקביל, לראות מה משחק הכי טוב, ואז להעלות שינויים לשטח בצורה הרבה יותר מבוקרת - גרסה אחת באתר, אחרת בבדיקה.

⚡השתמשו בפרומפט הבא בשביל בונה מבנה JSON לניהול גרסאות של בוט/פרומפט — כל גרסה עם מודל, הנחיות ותצורה משלה — כדי להריץ בדיקות במקביל ולדעת מה עובד.:
prompt-04 · יישום🔒 למנויים

ההמשך המלא של הפרומפט שמור לחברי אוטוטיוזדיי פלוס יחד עם ההקלטה והתמלול המלאים של הסשן
שורות ההמשך כוללות את כל ההנחיות המדויקות והדוגמאות שהוצגו בשידור החי מול הקהילה
▶ 19:16 · הרגע הזה בהקלטה
5🛠️ כלי

כתוב לי סקריפטים לבדיקות פיזיות ב-Postman

כאן נכנסו הבדיקות הפיזיות - הרמה הכי בסיסית וגם הכי חשובה. שלומי הראה ב-Postman Collection איך מריצים סקריפטי Before ו-After request שבודקים דברים פשוטים אבל קריטיים: האם התשובה ב-JSON? האם הטלפון באורך הנכון? האם זה בעברית, ומעל שמונים וחמישה אחוז מהתוכן? האם הסיווג היה נכון? הוא הריץ מול הקהל שש בקשות וראו בזמן אמת - ארבע תקינות, שלוש נפלו. כשצוללים לתוך כישלון רואים בדיוק את סיבת הכישלון: לא היה בעברית, לא זיהה את הכוונה, לא הופיעה מילת ברכה. ואז הגיע המספר שעשה את ההבדל: V1 קיבל שבעים ושלושה אחוז מתוך מאתיים ושמונה עשרה בדיקות, בעוד 4.1 mini היה משמעותית נמוך יותר. העיקרון של שלומי: קודם בודקים את הרמה הזולה והפיזית, ורק אם היא עברה - ממשיכים הלאה. אין טעם לשרוף כסף על מודלי החלטה לפני שראית שהתשובה בכלל חזרה בעברית.

⚡השתמשו בפרומפט הבא בשביל מספק סקריפטי Before/After request מוכנים ל-Postman Collection שמריצים בדיקות דטרמיניסטיות על תשובות ה-AI ומדווחים כמה עברו וכמה נפלו.:
prompt-05 · כלי🔒 למנויים

ההמשך המלא של הפרומפט שמור לחברי אוטוטיוזדיי פלוס יחד עם ההקלטה והתמלול המלאים של הסשן
שורות ההמשך כוללות את כל ההנחיות המדויקות והדוגמאות שהוצגו בשידור החי מול הקהילה
▶ 57:11 · הרגע הזה בהקלטה
6🛠️ כלי

הרץ לי LLM as a Judge ומודל Decision על התשובות

הרובד האיכותי - שבו תשובה מקבלת ציון ולא רק כן/לא. שלומי הבהיר את ההבדל שמבלבל הרבה אנשים: LLM as a Judge נותן לך גם את ה-Reasoning, את ה"למה" - מה דפוק בפרומפט, אילו המלצות לשיפור, ואז אפשר לזרוק את הרשימה חזרה למודל ולבקש ממנו לתקן. מודל Decision, לעומתו, זול ומהיר יותר - הוא מחייב רק על input, לא על output, ונותן לך ציון או בחירה מתוך רשימה בלי להסביר. אופיר שאל שאלה חדה: האם ה-Judge לא צריך להיות מודל חזק יותר מזה שקיבל את ההחלטה? שלומי אישר שעקרונית כן, אבל הפך את זה - באותו תקציב אולי עדיף לשאול עשרים שאלות שונות למודל זול במקום שאלה אחת ליקר. בעולם של מגבלת משאבים, זו ההחלטה האמיתית. ההדגמה החיה: תשובה עם Natural של 0.73 קיבלה התראה שהברכה לא טבעית מספיק, בעוד תשובה תקינה ישבה על 0.6.

⚡השתמשו בפרומפט הבא בשביל מגדיר ומריץ ניקוד איכותי לתשובות ה-AI — Judge עם הסבר לשיפור הפרומפט, ו-Decision של OpenAI לציון מהיר וזול — ככלי בקרה שוטף.:
prompt-06 · כלי🔒 למנויים

ההמשך המלא של הפרומפט שמור לחברי אוטוטיוזדיי פלוס יחד עם ההקלטה והתמלול המלאים של הסשן
שורות ההמשך כוללות את כל ההנחיות המדויקות והדוגמאות שהוצגו בשידור החי מול הקהילה
▶ 15:46 · הרגע הזה בהקלטה
7⚙️ יישום

בחר לי את המודל הנכון לפי איכות, זמן ועלות

התחנה שסוגרת את המעגל - בחירת המודל הנכון לפי שלושה צירים: איכות, זמן ועלות. שלומי תקף את ההרגל שכולנו נופלים אליו - להפעיל אוטומטית את המודל הכי יקר והכי חכם ולשרוף טוקנים. אבל זה לא תמיד נכון: לפעמים רוצים מודל עקבי, פשוט וקטן יותר, שמאומן למשימה ספציפית. הוא נתן דוגמה חזקה מהעולם האמיתי - בניסוי משחק פוקימון בין מודלים, המודל שניצח את כולם היה הזריז, לא החכם, כי מהירות ואינטליגנציה כמעט אף פעם לא מתכנסים באותו מודל. הנקודה הקריטית על עלות: המחיר למשימה הוא לא המחיר לטוקן. מודל זול לטוקן יכול לקחת הרבה יותר טוקנים ולצאת יקר יותר. הוא הזהיר מפרסומי Benchmark של מודלים חדשים שתמיד "הכי גבוהים", הפנה לאתרים ניטרליים שמתעדכנים, וחתם במשפט שמחזיק את כל הסשן: מי שחושב שיש לו כלל ברזל - זה רלוונטי לתחום מאוד ספציפי, וגם זה ישתנה תוך כמה שבועות. אז מה עושים? בודקים.

⚡השתמשו בפרומפט הבא בשביל עוזר לבחור מודל לכל משימה לפי שלושת הצירים — איכות, מהירות ועלות אמיתית למשימה — במקום לרוץ אוטומטית למודל הכי יקר.:
prompt-07 · יישום🔒 למנויים

ההמשך המלא של הפרומפט שמור לחברי אוטוטיוזדיי פלוס יחד עם ההקלטה והתמלול המלאים של הסשן
שורות ההמשך כוללות את כל ההנחיות המדויקות והדוגמאות שהוצגו בשידור החי מול הקהילה
▶ 28:16 · הרגע הזה בהקלטה

קראת איך זה נעשה. עכשיו קחו את הכלים ותעשו את זה בעצמכם - כל הפרומפטים של הסשן, מוכנים להריץ על העסק שלכם, וגם ההקלטה המלאה והתמלול.

הצטרפו לאוטוטיוזדיי+· 49 ש״ח בחודשעוד לא בשלים? בואו ללייב הבא בחינם ←

רוצים לעבוד על התמלול הנקי?

העתיקו אותו ותעבדו איתו איך שנוח לכם.

🔒 התמלול המלא שמור לחברי אוטוטיוזדיי+. עם המנוי אתם מעתיקים אותו בקליק ועובדים איתו איך שנוח לכם.

לפתוח את התמלול · 49 ש״ח בחודש

שאלות ששאלתם (וה-AI ישאל גם)

למה בכלל צריך לבדוק AI? הרי בדקתי דוגמה אחת והיא עבדה.

כי AI לא דטרמיניסטי - אותו קלט יכול לתת פלט שונה בכל פעם. דוגמה אחת שעבדה לא מספיקה. שלומי הדגיש שצריך לראות עשרות דוגמאות דומות ולוודא שהן עקביות. בנוסף, יש את הסכנה של שבירה שקטה: אינטגרציה שנשברת לא תחזיר Error אלא פשוט תשובה לא נכונה, וה-AI גרוע בלהגיד לך מתי הוא לא יודע משהו.

מה זה Golden Dataset ודאטה סינתטי?

ה-Golden הוא הדאטה שמגדירה את התוצאה הרצויה - האפיון של מה אתה רוצה שיקרה. דאטה סינתטי הוא הרחבה שלו: לוקחים דוגמה אמיתית אחת, משנים אותה טיפה, ומבקשים מה-AI לייצר סביבה עוד עשרות דוגמאות דומות. כך אפשר לבדוק את אותה התנהגות כמותית בצורות שונות, בלי לחשוף דוגמאות אמיתיות ורגישות.

מה ההבדל בין LLM as a Judge למודל Decision?

Judge נותן לך גם את ההסבר - למה התשובה טובה או לא, ואילו המלצות לשיפור הפרומפט. Decision זול ומהיר יותר כי הוא מחייב רק על input ולא על output, אבל הוא נותן ציון או בחירה בלי להסביר למה. שלומי המליץ לשלב - קודם מדדים פיזיים זולים, ואם עברו, ממשיכים למודלי החלטה.

למה צריך לנהל גרסאות של פרומפטים ומודלים?

כי יש הרבה חלקים נעים - המודל, ה-System Prompt, ההנחיות, הכלים. כשאורזים כל גרסה כיחידה שלמה (V1, V2, V3) עם כל הקונפיגורציה שלה, אפשר להריץ בדיקות על כמה גרסאות במקביל, לראות מה עובד הכי טוב, ולהעלות שינויים לשטח בצורה מבוקרת - גרסה אחת באתר, אחרת בבדיקה.

איך בוחרים מודל נכון - תמיד הכי חכם והכי יקר?

לא. שלומי לימד לבחור לפי שלושה צירים: איכות, זמן ועלות. לפעמים מודל זריז וקטן מנצח, ומודל זול לטוקן יכול לצאת יקר יותר אם הוא לוקח יותר טוקנים למשימה. אין כלל ברזל - מי שחושב שיש לו אחד, הוא רלוונטי לתחום צר וגם ישתנה תוך שבועות. התשובה האמיתית: בודקים.

💬 הדיון על הסשן

שאלות, תובנות, מה יישמנו - השרשור של הקהילה.

עוד אין תגובות - תהיו הראשונים לפתוח את הדיון 👇