ה-AI לא שבור - הוא לא יציב. וזה אומר שצריך לנהל אותו
- 0:00פתיחה והצגת שלומי גוטמן
- 1:06Voice Center כספונסר והקדמה
- 2:16הבעיה: AI לא דטרמיניסטי
- 6:48יצירתיות מול שליטה בניהול AI
- 12:36אותו קלט, פלט שונה
- 15:14מהי טמפרטורה במודל
- 16:18מתי פלט שונה הוא תקין
- 19:22בחירת המודל הנכון למשימה
- 20:51דאטה סינתטי ואוטומציית בדיקות
- 28:56דוגמת ניתוב פניות ב-Postman
- 31:22דיוק הפרומפט והרצה חוזרת
- 37:17מודלים מתיישנים לאורך זמן
- 40:16מעבר למודלים מקומיים ב-Voice Center
- 41:37אבולוציית הבדיקות ו-Eval
- 47:19בדיקות פיזיות וקוד לפני LLM
- 57:45מודלי החלטה ו-LLM as a judge
- 60:34פרומפטים קצרים ופאנל מודלים
- 64:50Flow שמפקח על עצמו
- 68:33Decision making ושופט זול
- 74:57Benchmarks ומהירות מודלים
- 76:18בניית הפלאגינים של Voice Center
- 82:58500 Tools וניהול Sub Agents
- 83:58סיכום וסשן המשך פרקטי
- 87:10שאלות קהל: כלים מוכנים ותחזוקה
- 95:39פרקטיקה לעסקים קטנים ופרידה
מערכת שעובדת שמונים אחוז מהזמן היא הסיוט הכי גדול של כל מי שבונה עם AI - כי את העשרים שנשברו אתה מגלה אצל הלקוח. הסשן הזה לקח את כל עולם ה-Evaluation, הערכת איכות של מוצרי AI, והפך אותו ממילה מפחידה לשיטת עבודה. השורה התחתונה שחוזרת שוב ושוב: ה-AI הוא לא קוד דטרמיניסטי, הוא עובד הסתברותי - ואת עובד כזה לא בודקים פעם אחת, מנהלים אותו לאורך זמן.

הערת הכתבת: הסשן נגע בשמות מודלים ובנצ'מרקים ספציפיים שהתחום שלהם זז מהר - חלקם כבר התחלפו בגרסאות חדשות מאז ההקלטה. הכלים האלה עדיין קיימים ועובדים, אבל התובנה שלא מזדקנת היא אחרת: אין 'מודל הכי טוב', יש מודל הכי מתאים למשימה. קודם מאפיינים את המטרה - מהירות, דיוק, עלות, עקביות - ורק אז בוחרים כלי. זה נשאר נכון בכל גל טכנולוגי.
כל מי שבנה Flow עם AI מכיר את הרגע הזה - בבדיקה הכל עובד מושלם, ואצל הלקוח מגיעה תשובה אחרת לגמרי. שלומי גוטמן, שבונה מערכות AI בפרודקשן יום-יום, הקדיש את הסשן בדיוק לנקודה הזו: למה ה-AI לא יציב, ואיך בונים סביבו מערכת שתופסת את הכשלים לפני שהם מגיעים ללקוח. זה לא היה סשן על כלי אחד - זו הייתה החלפת מיינדסט שלמה.

המסע: 7 תחנות
כל תחנה = מה קרה בסשן + הפרומפט שאורז את זה בשבילכם
תלמד אותי את עולם ה-Evaluation ל-AI
הסשן נפתח בהגדרה של ה-Blind Spot שכולם מרגישים אבל מעטים מנסחים: ה-FOMO של ה-AI, התחושה שהוא לא מגיב מספיק יציב, ושמשהו עובד עד שפתאום הוא לא. שלומי הציב את המושג Evaluation - הערכה של פרומפטים ומודלים - במרכז, אבל מהזווית שהכי קשה לעכל: בניגוד למה שלמדנו כמהנדסים, שאותו קלט נותן אותו פלט, האמת היא שהתפיסה האנושית לא דטרמיניסטית, וה-AI שלמד מאיתנו ירש בדיוק את זה. הדוגמה שעלתה: Voice Bot שצריך לנתב למחלקה יכול לתת תשובה אחרת על אותה שאלה. המסגור המרכזי של כל הסשן נולד כאן - כל מה שנדבר עליו ב-Evaluation הוא בעצם ניהול של AI, בדיוק כמו ניהול כוח אדם.
ההמשך המלא של הפרומפט שמור לחברי אוטוטיוזדיי פלוס יחד עם ההקלטה והתמלול המלאים של הסשן
שורות ההמשך כוללות את כל ההנחיות המדויקות והדוגמאות שהוצגו בשידור החי מול הקהילה
אבחון: איפה אני חשוף לחוסר יציבות של ה-AI
מכאן התגלגל הדיון הכי חד של הסשן, בעיקר דרך האתגור של גיא: אם הרצתי פרומפט אלף פעמים וקיבלתי שמונים תשובות שונות, מה המצב התקין? שלומי הפך את זה על הראש - אם היית נותן לעשרה עובדים לעשות אלף פעמים את אותה משימה בדיוק אותו דבר, זה היה סימן שאתה צריך סקריפט, לא בן אדם. אפילו OpenAI אומרים שבטמפרטורה אפס דטרמיניזם לא מובטח. העיקרון שנחשף: השאלה היא לא אם התשובות שונות, אלא אם המהות שונה. שמונים ניסוחים שונים לאותה החלטה נכונה - מצוין. שמונים תשובות שחלקן פשוט שגויות - יש בעיה. זה בדיוק המקום לאבחן איפה אתה חשוף.
ההמשך המלא של הפרומפט שמור לחברי אוטוטיוזדיי פלוס יחד עם ההקלטה והתמלול המלאים של הסשן
שורות ההמשך כוללות את כל ההנחיות המדויקות והדוגמאות שהוצגו בשידור החי מול הקהילה
בניית דאטה-סט סינתטי לבדיקת AI
אחרי ההבנה שאי אפשר לסמוך על בדיקה בודדת, עלה הפתרון הראשון: דאטה-סט סינתטי. במקום לגרום לאלף לקוחות אמיתיים להזיע כדי לגלות שארבע מילים בפרומפט שוברות הכל, לוקחים את מקרי הלקוח האמיתיים ומבקשים מה-AI לייצר עשרות וריאציות - אותה כוונה, שפה שונה, הקשרים שונים. שלומי חשף דוגמה חיה מהעבודה שלהם: ריצה ראשונה על חמש חברות שונות, שלוש פעמים, עם שישים ושבע בקשות שונות - וכל פעם רואים מה היה חסר ומשפרים. הנקודה החדה שגיא הביא: הבדיקות עצמן אי אפשר לבדוק ידנית, כי אם בודקים ידנית - טעינו. האוטומציה של הבדיקות היא מה שמייצב.
ההמשך המלא של הפרומפט שמור לחברי אוטוטיוזדיי פלוס יחד עם ההקלטה והתמלול המלאים של הסשן
שורות ההמשך כוללות את כל ההנחיות המדויקות והדוגמאות שהוצגו בשידור החי מול הקהילה
בדיקות קוד זולות על כל קריאת AI
כאן נכנס עיקרון שגיא ניסח כמשפט שהוא חוזר עליו הכי הרבה: AI בא אחרי לוגיקה. קודם אוטומציה, קודם קוד, קודם לוגיקה - ורק אז AI. שלומי הראה שאת רוב הבדיקות אפשר לעשות בכמה שורות JavaScript או If-ים פשוטים, בלי לשרוף טוקן אחד: האם ה-JSON עבר parse, האם מספר הטלפון הישראלי בפורמט הגיוני, האם אורך התשובה סביר, האם לא התגנבה סינית לעברית. מריצים Node קטן אחרי ה-HTTP Response, רושמים ציון לכל קריאה לטבלה מקומית, ועושים סטטיסטיקה. לא רק שזה חינם - זה ודאי. העלות של לתחזק פרומפטים שבורים ולהסביר ללקוח שזו לא המציאות גבוהה בהרבה.
ההמשך המלא של הפרומפט שמור לחברי אוטוטיוזדיי פלוס יחד עם ההקלטה והתמלול המלאים של הסשן
שורות ההמשך כוללות את כל ההנחיות המדויקות והדוגמאות שהוצגו בשידור החי מול הקהילה
LLM as a Judge — שופט שמנקד ומסביר
השלב שבו הקוד לא מספיק הוא LLM as a Judge - מודל שמנקד את התשובות שלך. אבל שלומי דייק נקודה שקל לפספס: הערך האמיתי הוא לא רק הציון, אלא ההסבר. שופט שאומר לך לא רק שהפרומפט לא היה טוב, אלא מה בדיוק לא היה בו טוב - זה מה שמאפשר לך לתקן. עוד תובנה שעלתה, בעקבות שאלה על גודל: פאנל של מודלים קטנים עובד טוב יותר משופט ענק אחד ועולה פחות משביעית. במקום פרומפט אחד גדול שבודק עשרה דברים, עדיף הרבה פרומפטים קטנים עם תפקיד פשוט כל אחד - כי ככל שהפרומפט ארוך יותר, המודל נהיה 'מטומטם' יותר. זה בדיוק עקרון ה-Context Engineering.
ההמשך המלא של הפרומפט שמור לחברי אוטוטיוזדיי פלוס יחד עם ההקלטה והתמלול המלאים של הסשן
שורות ההמשך כוללות את כל ההנחיות המדויקות והדוגמאות שהוצגו בשידור החי מול הקהילה
בניית Eval Loop אוטומטי שמשתפר לבד
מכאן הכל התחבר ללולאה אחת שרצה ברקע. שלומי חשף את הפרויקט שהם בונים ב-Voice Center: סוכן פנימי שמקים לקוחות, פותח יוזרים ונותן שירות - מאחוריו חמש מאות חמישים Tools שאף מודל לא יכול להכיל במקביל, ולכן נבנו עשרות Sub-agents וסקילים. ה-Eval Loop עובר על התהליכים שנכשלו במהלך היום, מייצר use cases סינתטיים, מריץ אותם בלילה ומייצר המלצות לתיקון הפרומפטים. הוא הראה את המספרים החיים מתקדמים - משבעים וארבע לתשעים וחמש - והודה בכנות: בלי מערכת שרצה שוטף ומסדרת את זה לבד, הם לא היו יכולים להשיק את המוצר בכלל. זה הפך את ההבנה המרכזית - Evaluation זה לא טסטינג, זה חלק מהמוצר.
ההמשך המלא של הפרומפט שמור לחברי אוטוטיוזדיי פלוס יחד עם ההקלטה והתמלול המלאים של הסשן
שורות ההמשך כוללות את כל ההנחיות המדויקות והדוגמאות שהוצגו בשידור החי מול הקהילה
בחירת המודל והבנצ'מרק הנכון למשימה
הסשן נסגר על בחירת המודל, והמסר היה חד: הגודל לא קובע. אין מודל הכי טוב - יש מודל הכי מתאים למשימה. שלומי הסביר את סוגי הבנצ'מרקים השונים (ידע מומחים, ניסוח וסגנון, עקביות, קוד) והראה שכל מודל מצטיין במשהו אחר - בדיוק כמו בני אדם, יש את המפתח שטוחן קוד אבל לא מנסח עשר מילים, ויש את המשורר שהוא לא גורם טכני. אפילו הדגמה מהחיים: במשחק פוקימון עם הילדים, המודל המהיר ניצח את החכם - כי לפעמים מהירות חשובה מאינטליגנציה. התובנה המעשית: הבנצ'מרקים משתנים כמעט שבועי, חלקם מוטים כי מאמנים מודלים להצטיין בהם, ולכן בסוף כדאי לבנות לעצמך בנצ'מרק פרטי למשימות שלך.
ההמשך המלא של הפרומפט שמור לחברי אוטוטיוזדיי פלוס יחד עם ההקלטה והתמלול המלאים של הסשן
שורות ההמשך כוללות את כל ההנחיות המדויקות והדוגמאות שהוצגו בשידור החי מול הקהילה
קראת איך זה נעשה. עכשיו קחו את הכלים ותעשו את זה בעצמכם - כל הפרומפטים של הסשן, מוכנים להריץ על העסק שלכם, וגם ההקלטה המלאה והתמלול.
הצטרפו לאוטוטיוזדיי+· 49 ש״ח בחודשעוד לא בשלים? בואו ללייב הבא בחינם ←רוצים לעבוד על התמלול הנקי?
העתיקו אותו ותעבדו איתו איך שנוח לכם.
🔒 התמלול המלא שמור לחברי אוטוטיוזדיי+. עם המנוי אתם מעתיקים אותו בקליק ועובדים איתו איך שנוח לכם.
לפתוח את התמלול · 49 ש״ח בחודששאלות ששאלתם (וה-AI ישאל גם)
למה אותו פרומפט בדיוק מחזיר תשובות שונות גם בטמפרטורה אפס?
כי AI הוא לא קוד דטרמיניסטי. גם OpenAI אומרים שבטמפרטורה אפס דטרמיניזם לא מובטח. ה-AI למד מהשפה האנושית, והתפיסה האנושית עצמה לא קבועה - אלף הרצות של אותו קלט יכולות לתת עשרות תשובות שונות. השאלה הנכונה היא לא אם התשובות שונות, אלא אם המהות שלהן שונה.
מה זה דאטה-סט סינתטי ולמה אני צריך אותו?
זו סדרה של וריאציות שה-AI מייצר ממקרי לקוח אמיתיים - אותה כוונה בשפה שונה, בניסוחים שונים ובהקשרים שונים. במקום להמתין לאלף לקוחות אמיתיים כדי לגלות שהפרומפט נשבר על ניסוח לא צפוי, אתה מייצר את המקרים מראש ובודק את המערכת לעומק בלי לסכן שירות אמיתי.
אני פרילנסר, לא חברה עם משאבים - האם כל זה רלוונטי לי?
כן, וזו בדיוק הנקודה שעלתה בסשן. היציבות לא קשורה לגודל שלך אלא לגודל של הלקוח ולמהות העבודה. היום אפשר לבנות את מעטפת הבדיקות בלי להעמיס עלויות מטורפות. מי שחושב שהוא חוסך בדילוג על בדיקות - הולך להפסיד כסף, כי הלקוח ישגע אותו על מערכת שנשברה אחרי חודשיים.
מתי מספיק לבדוק בקוד ומתי צריך מודל ששופט?
העיקרון הוא: קודם לוגיקה, רק אז AI. הרבה בדיקות אפשר לעשות בכמה שורות קוד בלי לשרוף טוקנים - האם ה-JSON תקין, האם הטלפון בפורמט הגיוני, האם אורך התשובה סביר. מודל ששופט (LLM as a Judge) שומרים לרגע שצריך הערכת איכות עמוקה יותר, ובעיקר בשביל ההסבר - למה התשובה לא הייתה טובה, כדי שתוכל לתקן.
איך בוחרים את המודל הנכון למשימה?
לא לפי 'מי הכי חכם' אלא לפי המטרה: מהירות, עלות, דיוק ועקביות. מודל שמנסח תשובה ל-Voice Bot בזמן אמת הוא לא אותו מודל שכותב קוד. אפשר להתייעץ עם AI על הבחירה, להסתכל בבנצ'מרקים המתאימים למשימה, ובסוף כדאי לבנות לעצמך בנצ'מרק פרטי לצרכים שלך - כי הבנצ'מרקים הציבוריים משתנים שבועי וחלקם מוטים.
💬 הדיון על הסשן
שאלות, תובנות, מה יישמנו - השרשור של הקהילה.
עוד אין תגובות - תהיו הראשונים לפתוח את הדיון 👇
