כשאין API רשמי, המידע עדיין שם - צריך רק לדעת לפתוח את מכסה המנוע
כמה פעמים אמרתם ללקוח "אי אפשר, למערכת הזאת אין API"? שלומי גוטמן, שעובד עם הדברים האלה כמעט 20 שנה, בא להראות שהרבה פעמים האפשרות נמצאת שם - פשוט צריך לדעת לפתוח את מכסה המנוע של הדפדפן. הסשן הזה לוקח אתכם מהרגע שאתם לוחצים F12 ורואים בקשת API רצה מאחורי הקלעים, ועד לאוטומציה מלאה שמושכת מידע ממערכת בלי API רשמי - ומסתיים בעולם של agents שמנווטים דפדפן לבד.
הערת הכתבת: הסשן נוגע בכלים ספציפיים - Firecrawl, Scrapingbee, Puppeteer, Browser Use - ובעולם ה-agents שזז מאוד מהר (שלומי עצמו אמר שעוד שבועיים זה ייראה כמו old news). כל הכלים האלה עדיין כאן ועובדים, ויש עוד רבים כמותם. המיומנות הנצחית היא זו שהסשן באמת מלמד: לזהות שהמידע פאבליק וקיים, לאפיין מה אתם רוצים למשוך ממנו, ואז לבחור את הכלי לפי התוצאה - לא להתאהב בכלי מסוים.
אתם מכירים את הכאב הזה: לקוח מבקש למשוך דאטה ממערכת ישנה, ואתם מגלים שאין לה API. בדרך כלל אומרים "אי אפשר" וזזים הלאה. שלומי גוטמן, CTO ב-voice center שחי בעולם האופן סורס והטלפוניה כבר מעל 20 שנה, בא לאוטוטיוזדיי כדי לפרק בדיוק את ההנחה הזאת. הוא לא בא למכור כלי - הוא בא ללמד טכניקה, מהבסיס, כדי שכל אחד ייקח אותה ליוזקייסים של הלקוחות שלו.
המסע: 7 תחנות
כל תחנה = מה קרה בסשן + הפרומפט שאורז את זה בשבילכם
מתודולוגיית חילוץ API נסתר מאתר
שלומי פתח בהנחת היסוד שכולנו מכירים: לקוח רוצה מידע ממערכת שאין לה API, ואנחנו אומרים "בלתי אפשרי" או "מורכב מדי". אבל הוא הסביר שהרבה פעמים האפשרות פשוט נמצאת שם - ואנחנו רק צריכים לדעת לקרוא ולהבין איך. הוא נתן פרספקטיבה מרתקת: הסקראפינג לא נעלם מהעולם, אלא חזר לאופנה דווקא בגלל מהפכת ה-AI. language model, הוא הסביר, זה בעצם מאגר ענק של סקראפינג - מישהו שמשך את כל האינטרנט לתוך מאגר. שלומי גם הזכיר את הסצנה המפורסמת מ"הרשת החברתית", שבה צוקרברג נכנס לאתר האוניברסיטה ועושה סקראפינג לתמונות. הוא חידד שלושה מושגים קרובים: סקראפינג (משיכת מידע), קרולינג (הליכה אחרי לינקים), ואוטומיישן טסטינג (אוטומציה של דפדפנים מעולם ה-QA). העיקרון: המידע שנמצא באתר פאבליק הוא בבסיסו נגיש - אחרת OpenAI היו נתבעים ומאבדים את כל הפרנסה.
ההמשך המלא של הפרומפט שמור לחברי אוטוטיוזדיי פלוס יחד עם ההקלטה והתמלול המלאים של הסשן
שורות ההמשך כוללות את כל ההנחיות המדויקות והדוגמאות שהוצגו בשידור החי מול הקהילה
זיהוי הזדמנויות scraping בעסק שלי
כאן שלומי חיבר את הכל לעסק שלכם. הוא הראה שהסקראפינג הוא לא טכניקה אחת ספציפית, אלא רצף של כלים שאנשי אוטומציה יכולים לתת ללקוחות כדי לייעל תהליכים עסקיים ושיווקיים. הוא נתן ספוילר ליוזקייס אמיתי מהצוות שלו: ליאב, איש השיווק, בנה אוטומציה שקוראת מגוגל תוצאות חיפוש, סורקת את האתרים, מושכת מידע, מעבירה לאנתרופיק - ומקבלת review שוטף על המתחרים בכל רגע נתון. שלומי הדגיש שהמטרה שלו היא להראות את הטכניקה ואת הכלים, ושכל אחד ייקח את זה ליוזקייסים ולצרכים של הלקוחות שלו. הנקודה: לפני שרצים לכלי, שואלים - איזה מידע אני צריך, ומה אני עושה איתו.
ההמשך המלא של הפרומפט שמור לחברי אוטוטיוזדיי פלוס יחד עם ההקלטה והתמלול המלאים של הסשן
שורות ההמשך כוללות את כל ההנחיות המדויקות והדוגמאות שהוצגו בשידור החי מול הקהילה
בניית אוטומציה מקריאת cURL בפוסטמן ו-n8n
עכשיו הגיע החלק שגרם לחדר להתלהב. שלומי פתח את ה-Developer Tools בדפדפן (F12), והמשיל את זה לפתיחת מכסה המנוע של האוטו - "אני רוצה להבין מאיפה הדפדפן מביא לי את המידע הזה". הוא ניווט לטאב Network, סינן ל-XHR, לחץ על כפתור באתר, ופתאום נגלתה בקשה בשם רקורד עם ה-JSON המלא של התוכן. משם הוא הראה איך עושים כפתור ימני על הקריאה, בוחרים Copy as cURL - וזה מעתיק לא רק את ה-URL אלא את כל הקריאה: כל ה-headers, כל הפרמטרים, כל הקוקיז. שלומי הסביר את ההבדל בין URL רגיל (רק הכתובת) ל-cURL (הקריאה השלמה כקוד). ואז הוא שפך את ה-cURL הזה לתוך Postman באמצעות Import, וקיבל קריאה עובדת שאפשר לשחק איתה. עצתו הזהב: תמיד לעבור דרך Postman, לשמור collection מסודר, ולתת לזה "לישון לילה" כדי לבדוק שהסשן לא מתנתק - כי API לא רשמי משתנה תכוף יותר מ-API סטנדרטי.
ההמשך המלא של הפרומפט שמור לחברי אוטוטיוזדיי פלוס יחד עם ההקלטה והתמלול המלאים של הסשן
שורות ההמשך כוללות את כל ההנחיות המדויקות והדוגמאות שהוצגו בשידור החי מול הקהילה
ניהול קוקיז וסשנים לאוטומציה שדורשת התחברות
שלומי עבר למקרה מורכב יותר - מערכות שדורשות התחברות. הוא הדגים על Manychat: כשעושים Copy as cURL על קריאה במערכת מחוברת, הקוקי מגיע בתוך ה-headers כמו עוד HTTP-header, עם key-value שכולל את ה-Session ID שמאפשר את החיבור. הוא הפתיע לגלות שהקוקיז של Manychat לא פוקעים כל עוד ממשיכים לקרוא להם. וכאן עלה עיקרון חשוב: כל עוד ממשיכים לתת קריאות לסשן פעיל, הוא בדרך כלל לא מתנתק - כל מערכת והמדיניות שלה (יום, שבוע, לפעמים 30 יום). שלומי סיפר שמול מערכות כמו וואלה הוא מעדיף פעם בשבוע לעשות קופי-פייסט ידני של הקוקי לתוך טופס - כי שלב הלוגין הזה הוא קטן ביחס לכל האוטומציה שנבנית סביבו. הוא הזכיר את היוזקייס של Manychat: התראה כשיש שיחות שלא טופלו איקס זמן, או זיהוי לקוח שלא נענה - מידע שקיים רק בממשק, לא ב-API הרשמי, אבל דרך ה-API הפנימי אפשר לבנות עליו אוטומציה.
ההמשך המלא של הפרומפט שמור לחברי אוטוטיוזדיי פלוס יחד עם ההקלטה והתמלול המלאים של הסשן
שורות ההמשך כוללות את כל ההנחיות המדויקות והדוגמאות שהוצגו בשידור החי מול הקהילה
חילוץ JSON מדף בלי API עם Firecrawl/Scrapingbee
ומה קורה כשלדף אין בכלל JSON מאחורי הקלעים? כאן שלומי הציג את Firecrawl - כלי שנותן API שיודע לפנות לאתרים וללמוד מהם את התוכן, ולהחזיר אותו כ-JSON מובנה לפי סכמה שאתם מגדירים. הוא הדגים על עמוד המשחקים של הפועל תל אביב (הוא אוהד מושבע): כתב "extract the list of games" עם סכמה מדויקת, וקיבל JSON נקי עם רשימת המשחקים והתאריכים. שלומי הסביר למה בחר בשירות בתשלום למרות שיכול לפתח בעצמו - Firecrawl יודע להתמודד עם חסימות כמו Cloudflare וקאפצ'ה, עובד מאלפי כתובות IP ומרנדם את ה-user agent. הוא סיפר שניסה למשוך את הדאטה של voice center בעצמו ולא הצליח בגלל החסימות, ואז עבר לשירות שלהם. הם נותנים 500 קריאות חינם, ואחר כך זה סנטים בודדים לקריאה. בעבר, הוא סיפר, היה עושה reverse engineering ל-HTML - ובכל שינוי עיצוב הכל נשבר. ה-AI פתר בדיוק את הכאב הזה.
ההמשך המלא של הפרומפט שמור לחברי אוטוטיוזדיי פלוס יחד עם ההקלטה והתמלול המלאים של הסשן
שורות ההמשך כוללות את כל ההנחיות המדויקות והדוגמאות שהוצגו בשידור החי מול הקהילה
אוטומציית דפדפן ובניית בדיקות פלואו עסקי
לפעולות מורכבות יותר - לוגין שמתחדש, מילוי טופס ממשלתי ארוך - שלומי דיבר על אוטומציית דפדפן. הכלי האהוב עליו הוא Puppeteer ("דפדפן בבובת רחוק"), שיש לו מודול נחמד ל-n8n, כך שאפשר לבנות סצנריו שמריץ את הדפדפן ואומר לו "תלחץ פה, תעשה את זה". הוא ציין ש-Selenium הוא הדור הישן, שהיום כולם עוברים ל-Playwright, ושPuppeteer ו-Playwright הם כמו אחים תאומים. הוא גם הזכיר את Scrapingbee, שיש לו חבילה ב-Make ומאפשר לבנות סקריפט JavaScript שלם בצד לקוח. אבל התובנה החזקה כאן היתה על בדיקת פלואו עסקי: שלומי הראה איך משתמשים באותם כלים כדי לבנות אוטומציה שנכנסת לאתר הלקוח פעם ביום, משאירה ליד, ובודקת שהכל תקין - שהמייל נשלח, שהוואטסאפ הגיע. "אם אתה לא תבדוק אותן באופן שוטף, אתה תמצא שהן למטה אחרי שבוע שבאת לקוחות."
ההמשך המלא של הפרומפט שמור לחברי אוטוטיוזדיי פלוס יחד עם ההקלטה והתמלול המלאים של הסשן
שורות ההמשך כוללות את כל ההנחיות המדויקות והדוגמאות שהוצגו בשידור החי מול הקהילה
שילוב Browser Use ו-AI agents בעסק
לסיום, שלומי פתח דלת לעולם המתקדם: Browser Use ו-AI agents. הוא הדגים בלייב - נתן פרומפט "חפש בגוגל את רשימת אנשי האוטומציה הכי מקצועיים בישראל וספר לי עליהם", ולחץ Run. הבראוזר נפתח לבד, וה-agent התחיל לפרק את המסך לחתיכות, לבנות מהן פרומפטים, לשלוח ל-language model ולקבל החלטה על איזה כפתור ללחוץ. שלומי הסביר הבדל טכני חשוב: לעומת גישות שמסתמכות על זיהוי ויזואלי (vision) שיקר במשאבים, Browser Use מקטע את המסך לזיהוי טקסטואלי - הרבה יותר זול, סנטים בודדים לריצה. הוא צייר את החזון: העולם עובר מ-prompt in prompt out ל-networks of agents, שבו כל agent מריץ agents אחרים, מחפש במקביל באינטרנט, ב-CRM, במאגרי מידע. שלומי סיפר שב-voice center זה כבר קורה - ה-agent מקשיב לשיחה בזמן אמת ומבצע פעולות בשם הנציג. "אני מרגיש שהחלפתי מקצוע מ-20 שנה בטלפוניה לפיתוח AI."
ההמשך המלא של הפרומפט שמור לחברי אוטוטיוזדיי פלוס יחד עם ההקלטה והתמלול המלאים של הסשן
שורות ההמשך כוללות את כל ההנחיות המדויקות והדוגמאות שהוצגו בשידור החי מול הקהילה
🎯 מה עושים עם זה עכשיו?
קראת איך זה נעשה. עכשיו קחו את הכלים ותעשו את זה בעצמכם - כל הפרומפטים של הסשן, מוכנים להריץ על העסק שלכם. פלוס ההקלטה המלאה והתמלול.
הצטרפו לאוטוטיוזדיי+· 49 ש״ח בחודשעוד לא בשלים? בואו ללייב הבא בחינם ←רוצים לעבוד על התמלול הנקי?
העתיקו אותו ותעבדו איתו איך שנוח לכם.
🔒 התמלול המלא שמור לחברי אוטוטיוזדיי+. עם המנוי אתם מעתיקים אותו בקליק ועובדים איתו איך שנוח לכם.
לפתוח את התמלול · 49 ש״ח בחודששאלות ששאלתם (וה-AI ישאל גם)
המערכת שאני עובד מולה אין לה API - זה אומר שאי אפשר למשוך ממנה מידע?
לא בהכרח. שלומי הראה שהרבה מערכות עובדות מאחורי הקלעים עם בקשות XHR - קריאות API פנימיות שנועדו לצד הלקוח. בעזרת Developer Tools בדפדפן (F12), טאב Network וסינון ל-XHR, אפשר לראות את הקריאות האלה ולהשתמש בהן. הרבה פעמים המידע נגיש - רק צריך לדעת איפה להסתכל.
זה חוקי לעשות סקראפינג ולהשתמש ב-API פנימי של מערכת?
שלומי הדגיש שהוא CTO ולא משפטן, וזה תחום אפור. אבל העיקרון המעשי שהוא הציג: אם המידע פאבליק, ואתה לא פוגע באינטרס מסחרי של המערכת - בדרך כלל זה יישאר פתוח. במיוחד אוטומציה לתהליכים של עצמך, על בסיס הקרדנציאלים שלך, זו זכות שלך. הוא סיפר שהתקשר לחברות ושאל על API שמצא, והתשובה היתה "לא חשבנו שמישהו ישתמש בזה" - ואז פרסמו אותו רשמית.
מה ההבדל בין Copy URL ל-Copy as cURL בדפדפן?
Copy URL מעתיק רק את הכתובת שאליה הקריאה פונה. Copy as cURL מעתיק את כל הקריאה כקוד - כולל כל ה-headers, כל הפרמטרים, כל הקוקיז וה-payload. זו הקריאה השלמה, וזה מה שמאפשר לשחזר אותה ב-Postman או בכלי אוטומציה כמו Make או n8n.
אוטומציה שמבוססת על קוקי - היא לא תישבר כשהסשן יפוג?
תלוי במערכת. שלומי הסביר שכל עוד ממשיכים לתת קריאות לסשן פעיל, הרבה פעמים הוא לא מתנתק. משך התוקף משתנה - יום, שבוע, לפעמים 30 יום, לפי מדיניות כל מערכת. ולפעמים הפתרון הפשוט הוא לעשות פעם בשבוע קופי-פייסט ידני של קוקי חדש - כי זה שלב קטן ביחס לכל האוטומציה שנבנתה סביבו.
מתי משתמשים ב-Firecrawl ומתי באוטומציית דפדפן כמו Puppeteer?
לפי המטרה. Firecrawl מתאים כשרוצים לקחת דף אינטרנט (שאין לו JSON נגיש) ולהפוך אותו ל-JSON מובנה, במיוחד כשיש חסימות כמו Cloudflare. אוטומציית דפדפן כמו Puppeteer או Playwright מתאימה לפעולות מורכבות - לוגין שמתחדש, מילוי טופס ארוך, או בדיקת פלואו עסקי מקצה לקצה. בוחרים לפי התוצאה שרוצים להשיג, לא לפי אהבה לכלי.
💬 הדיון על הסשן
שאלות, תובנות, מה יישמנו - השרשור של הקהילה.
עוד אין תגובות - תהיו הראשונים לפתוח את הדיון 👇