איך מחזירים שליטה ל-AI בלי לוותר על החוכמה שלו
- 0:00פתיחה וברכות לאביץ מאיר
- 1:04מחלום החללית לניהול סוכנים
- 3:50פרומפטים מבוססי תוצאה ושליטה
- 8:00מצגת: למה קשה לסמוך על AI
- 20:03מה זה GBM ומודל שופט
- 26:20איך משתמשים בטייפ-סייף וסוגי שאלות
- 33:41ציונים, ביטחון והעברה למודל גדול
- 40:00הדגמה חיה: זיהוי כוונות בצ'אט
- 48:59בניית בוט שירות ומיקרו-סקילים
- 61:09דיסטילציה ואימון מודלים קטנים
- 67:07יוזקייסים: RAG, מיסוך וסיווג
- 78:22סייג', אקסטרקט וסיכום
הפוסט הזה על הרגע שבו AI מפסיק להיות קופסה שחורה שאתם סומכים עליה בעיניים עצומות, והופך למערכת חיישנים שאתם שולטים בה. אביץ מאיר הביא לסשן קטגוריה שלמה של מודלים - מודלי שיפוט (Decision Models) - שיודעים לענות על עשרות שאלות על טקסט בפחות מחצי שנייה, בשבריר מהעלות של מודל שפה רגיל. הרעיון המרכזי: במקום לתת למודל שפה גדול להכריע הכל מאחורי הקלעים, שואלים שאלות ממוקדות עם קריטריונים ברורים ומקבלים גם מידת ביטחון על כל תשובה. מי שרץ על צ'אטבוטים, סיווג מיילים או אחזור מידע - פה נפתח עולם של דיוק, מהירות ועלות שלא הכרתם.

הערת הכתבת: הסשן נוגע בכלים ספציפיים שהתחום שלהם זז מהר - מודלי שיפוט כמו ג'ב (Type Safe), Sage ושאר ה-Decision Models שהוזכרו עדיין קיימים ותקפים, אבל זו קטגוריה צעירה שמתרבה כל שבוע ומודלים חדשים יוצאים כל הזמן. המיומנות הנצחית פה היא לא איזה מודל להתקין, אלא לאפיין את המטרה - איפה בעסק אתם סומכים על שיפוט של מודל שפה כשאתם בעצם רק צריכים סיווג מהיר - ואז לבחור את הכלי לפי התוצאה והעלות.
כל מי שבנה פעם מערכת שמסתמכת על מודל שפה מכיר את הכאב: המודל מחליט משהו מאחורי הקלעים, ואתם לא באמת יודעים למה. זה איטי, זה יקר, וברגע שהספק מוריד תמיכה במודל - ההתנהגות משתנה ואתם רצים לכבות שריפות. אביץ מאיר פתח את הסשן בדיוק מהנקודה הזו: הגזמנו עם ההאצלה ל-AI, ועכשיו רוצים את השליטה בחזרה. מה שבא אחר כך היה הדגמה חיה של דרך אחרת לעבוד.

המסע: 5 תחנות
כל תחנה = מה קרה בסשן + הפרומפט שאורז את זה בשבילכם
מה זה Decision Model ואיך אני עובד איתו
אביץ פתח מהכאב שכולם מכירים: הפנטזיה של לפתוח עשרים מסכים ולנהל צבא סוכנים ("מצב חללית", כדבריו) נגמרת במוח שהופך לפירה אחרי שלושה-ארבעה תהליכים במקביל. מכאן הוא בנה את ההבחנה המרכזית - יש שני עולמות של שימוש ב-AI. יש את העולם הצרכני, שבו אני מדבר עם צ'אט והוא עוזר לי, וזה עובד יפה. ויש את העולם שבו מודל שפה הוא המוח שמניע מערכת מבפנים, מקבל החלטות מאחורי הקלעים שלא תמיד משוקפות. בעולם השני, הסביר אביץ, יש בעיה אמיתית: מודל שפה כשופט הוא כמו מכונת מזל - לא דטרמיניסטי, יקר, איטי, ותלוי בחברה חיצונית שיכולה להוריד תמיכה במודל ולשנות לך את ההתנהגות של כל המערכת. פה נכנסת קטגוריית מודלי השיפוט (Decision Models): מודל שבמקום לנחש את הטוקן הבא, מקבל קלט ועונה על שאלות עליו - כן/לא, בחירה, ציון - בבת אחת, מהר וזול. דוד בזק שאל אם באמת אפשר לתת הגדרות כלליות, ואביץ ענה שהכיוון הוא דווקא פרומפטים שמבטאים תוצאה רצויה, פחות דרך.
ההמשך המלא של הפרומפט שמור לחברי אוטוטיוזדיי פלוס יחד עם ההקלטה והתמלול המלאים של הסשן
שורות ההמשך כוללות את כל ההנחיות המדויקות והדוגמאות שהוצגו בשידור החי מול הקהילה
איפה Decision Model יחסוך לי כסף וזמן בעסק
החלק הזה הוא לב העיקרון: איפה בעסק אתם משלמים ביוקר על חשיבה שאתם לא באמת צריכים. אביץ נתן דוגמה מוחשית מלקוח אמיתי - עשרות אלפי מיילים ביום שצריך לסווג. עד היום הוא השתמש ב-LLM, וזה "טחינה חבל על הזמן": איטי ויקר. אבל המודל החדש זול "ברמה המפתיעה ביותר", מה שמאפשר להכניס אותו בהרבה יותר נקודות וצמתים. אביץ המחיש את האבחון עם מושג מדויק: חוש ריח. המוח שלנו, כשהוא גולל פיד, מסווג כל פוסט כמעניין או לא תוך שבריר שנייה לפני שבכלל התחיל לקרוא - וזה בדיוק מה שמודל שיפוט עושה. דוגמאות נוספות שעלו: אחזור מידע (RAG) שבו עוברים פסקה-פסקה ושואלים "עד כמה זה רלוונטי לשאלה?" במקום חיפוש סמנטי מעורפל; מיסוך מידע רגיש - לשאול "האם יש כתובת בטקסט?" במקום ספריות רג'קס שמפספסות; וסינון תגובות ברשת חברתית. אביץ הדגיש את ההבדל ממודלי צנזורה מוכנים כמו של רימון, שסובלים מהרבה false positives כי הם הולכים על חומרה - פה אתה מגדיר את הקריטריונים בעצמך.
ההמשך המלא של הפרומפט שמור לחברי אוטוטיוזדיי פלוס יחד עם ההקלטה והתמלול המלאים של הסשן
שורות ההמשך כוללות את כל ההנחיות המדויקות והדוגמאות שהוצגו בשידור החי מול הקהילה
בניית צ'אטבוט עם מערכת חיישנים ומיקרו-סקילים
פה אביץ עבר להדגמה חיה ומצחיקה שנשארת בראש. הוא בנה אפליקציה בסיסית לשירות לקוחות ובדק האם המשתמש מבקש החזר והאם הוא מבקש נציג. על "חויבתי פעמיים, אני מבקש החזר" - המודל ענה כן בביטחון 98 אחוז. אבל אז אביץ התחיל להתעלל בו: "תחזירו לי את הגזר" - והמודל התלבט כמעט חמישים-חמישים, כי המילה "תחזירו" מופיעה אבל ההקשר מבלבל. "תחזירו לי את הכסף" - שוב 98 אחוז. זו הייתה ההמחשה של העיקרון החשוב ביותר בסשן: מידת הביטחון (confidence). כל תשובה מגיעה עם אחוז ביטחון, וזה מה שמאפשר לוגיקה חכמה - מתחת לשמונים אחוז? תעביר למודל גדול. כך, כמו שאלכסנדר קאפיט חידד בשאלתו, אפשר לחסוך בקלות שמונים אחוז מהטוקנים ולתייג רק את המקרים הקשים לבני אדם. אביץ הראה גם את עולם ה-choice וה-score: ניתוח ליד ש"זה מעניין אבל יקר לי" מקבל דירוג נכונות להתקדם בין אחד לשתיים, עם פירוק הביטחון בין הרמות. את זה, הוסיף אביץ, ניסה שנים להשיג ממודלי שפה שזרקו מספרים אקראיים - ופה סוף סוף מקבלים דיוק אמיתי.
ההמשך המלא של הפרומפט שמור לחברי אוטוטיוזדיי פלוס יחד עם ההקלטה והתמלול המלאים של הסשן
שורות ההמשך כוללות את כל ההנחיות המדויקות והדוגמאות שהוצגו בשידור החי מול הקהילה
כיול במתודת Shadowing + Auto-Research
נתנאל לחץ בשאלה הפרקטית: אני בונה בוט שירות לקוחות, האם הסוכן כבר ינסח לבד את השאלות והקריטריונים לכל שלב, או שאני צריך לעבור שלב-שלב בעצמי? אביץ ענה בכנות - הסוכן יהיה חכם מספיק לבנות את הכל מההתחלה (כל הדמויות בהדגמה נכתבו בפרומפט שהוא בכלל לא הסתכל עליו), אבל האם זה עובד בעולם האמיתי במאה אחוז? לא בטוח. צריך fine-tuning. מכאן נולד הרעיון שאביץ קורא לו "מיקרו-סקילים": במקום פרומפט ארוך ומתפלפל שסותר את עצמו, הצ'אטבוט מרכיב את הפרומפט שלו מחדש בכל הודעה - חתיכות קטנות של שתי שורות שמוזרקות דינמית לפי מה שהמערכת מזהה באותו רגע. אם חיישן מזהה תסכול, מוזרק משפט שאומר למודל "זיהיתי תסכול, תתנהג ככה". כל הודעה חדשה עוברת פילטר של עד חמישים שאלות ב-ארבע מאות אלפיות שנייה. יהושע שאל את השאלה שכולנו חשבנו עליה - "נהיינו עצלנים, אין איזה MCP שיעשה הכל?" - ואביץ ענה שהמודל הגדול לא רק בונה, אלא גם מריץ טסטים, ממציא תרחישי קצה ומנהל שיחות כאילו הוא ליד קר או לקוח מעצבן, בתהליך שהוא קורא לו Auto-Research.
ההמשך המלא של הפרומפט שמור לחברי אוטוטיוזדיי פלוס יחד עם ההקלטה והתמלול המלאים של הסשן
שורות ההמשך כוללות את כל ההנחיות המדויקות והדוגמאות שהוצגו בשידור החי מול הקהילה
ניסוח השאלות והקריטריונים למודל ההחלטה
החלק הזה הוא לב ההטמעה הבטוחה, והוא נולד מדו-שיח עם יעקב קרנץ. יעקב תיאר מערכת אמיתית שלו: סנכרון בין יומן גוגל ליומן פנימי, שבו קוד בודק אם כותרת שייכת למטופל, ואז שרשרת LLM מוודאת שהקוד צדק. הוא שאל האם מודל השיפוט יכול להחליף את זה. אביץ הסביר את המתודה: לא מכניסים את המודל מיד בעיניים עצומות. עושים Shadowing - משאירים את המנגנון הקיים שסומכים עליו, ונותנים למודל השיפוט לרוץ במקביל ולהביא את הניחוש שלו. ואז מודדים אחוזי התאמה, מזהים איפה הוא מפספס, ומסמנים קו ברור: איפה אפשר לסמוך עליו ואיפה כדאי להעביר למודל גדול. את כל הכיול הזה, הוסיף אביץ, אפשר לתת למודל חכם לעשות בעצמו - לזהות פערים, לדייק קריטריונים, להריץ שוב ולבדוק אם הפערים מצטמצמו. יעקב שאל אם אפשר ללמד את מודל השיפוט מהתוצאות של ה-LLM, ואביץ אישר: דרך הדיוקים של הקריטריונים, לא דרך אימון מחדש. בסוף אביץ חידד נקודה מושגית חשובה - הוא קורא לקטגוריה הזו "מודלי שיפוט" ולא "מודלי החלטה", כי ההחלטה מתקבלת על ידי הלוגיקה שלנו אחרי שאספנו את כל האינדיקציות ממערכת החיישנים.
ההמשך המלא של הפרומפט שמור לחברי אוטוטיוזדיי פלוס יחד עם ההקלטה והתמלול המלאים של הסשן
שורות ההמשך כוללות את כל ההנחיות המדויקות והדוגמאות שהוצגו בשידור החי מול הקהילה
קראת איך זה נעשה. עכשיו קחו את הכלים ותעשו את זה בעצמכם - כל הפרומפטים של הסשן, מוכנים להריץ על העסק שלכם, וגם ההקלטה המלאה והתמלול.
הצטרפו לאוטוטיוזדיי+· 49 ש״ח בחודשעוד לא בשלים? בואו ללייב הבא בחינם ←רוצים לעבוד על התמלול הנקי?
העתיקו אותו ותעבדו איתו איך שנוח לכם.
🔒 התמלול המלא שמור לחברי אוטוטיוזדיי+. עם המנוי אתם מעתיקים אותו בקליק ועובדים איתו איך שנוח לכם.
לפתוח את התמלול · 49 ש״ח בחודששאלות ששאלתם (וה-AI ישאל גם)
מה זה בעצם מודל שיפוט (Decision Model) ובמה הוא שונה ממודל שפה רגיל?
מודל שפה רגיל מייצר טוקן אחרי טוקן ובונה טקסט, וזה לוקח זמן ועולה כסף. מודל שיפוט מקבל קלט - טקסט או תמונה - ועונה על שאלות עליו בבת אחת: כן/לא, בחירה מתוך קבוצה, ציון על סקאלה. אביץ תיאר אותו כ"דרך האמצע" של הרמב"ם: לא טיפש כמו קוד קשיח, ולא יקר ואיטי כמו מודל שפה מלא. אפשר לשאול אותו עשרות שאלות במכה אחת והוא עונה בפחות מחצי שנייה.
למה מידת הביטחון (confidence) היא כל כך חשובה?
כל תשובה של מודל השיפוט מגיעה עם אחוז ביטחון. זה מה שהופך אותו לכלי מעשי: אתם יכולים להגדיר שמתחת לסף מסוים (נגיד שמונים אחוז) ההחלטה עוברת אוטומטית למודל גדול או לבן אדם. כך, כמו שעלה בסשן, אפשר לחסוך בקלות שמונים אחוז מהעלויות - המודל הזול מטפל בוודאי, והיקר נכנס רק למקרים הקשים.
האם אני צריך לאמן את המודל מראש כמו מודלי סיווג ישנים?
לא, וזה היתרון הגדול. מודלי סיווג ישנים דרשו ערמות של דוגמאות מתויגות ותהליך אימון מסורבל. פה אתם רק מסבירים בשפה טבעית מה הקריטריונים - למשל "ספאם מבחינתי זה פרסום בתשלום עם קישור החוצה" - ומעכשיו המודל יסווג כל טקסט בשבריר שנייה. הכיול נעשה דרך חידוד הקריטריונים, לא דרך אימון מחדש.
איך מטמיעים מודל כזה בבטחה על מערכת שכבר עובדת לי?
במתודת Shadowing. משאירים את המנגנון הקיים שסומכים עליו, ומריצים את מודל השיפוט במקביל בלי שהוא מכריע בפועל. מודדים אחוזי התאמה, מזהים איפה הוא מפספס, ומסמנים קו ברור: איפה אפשר לסמוך עליו ואיפה מעבירים למודל גדול. רק אחרי שהנתונים ברורים - מחליפים.
איפה זה שימושי מעבר לצ'אטבוטים?
בכל נקודה שבה מודל שפה עובד כשופט בתוך מערכת ולא כפרצוף מול לקוח. בסשן עלו: סיווג מיילים בכמות גדולה, אחזור מידע (RAG) שבו עוברים פסקה-פסקה ושואלים עד כמה היא רלוונטית, מיסוך מידע רגיש כמו זיהוי כתובות, וסינון תגובות ברשת חברתית עם קריטריונים שאתם מגדירים בעצמכם - בלי ה-false positives של כלים מוכנים.
💬 הדיון על הסשן
שאלות, תובנות, מה יישמנו - השרשור של הקהילה.
עוד אין תגובות - תהיו הראשונים לפתוח את הדיון 👇
