Stitch מול Claude Design, ותיקון אחרי הציון

כשבודקים כלי עיצוב ל-agent, ציון גבוה יכול להסתיר שהכלי כמעט לא עבד. בניסוי הזה Stitch ניצח את Claude Design בהצבעה עיוורת, ורק בדיקה לכל קריאה בתמלילים הראתה שרוב המסכים שלו פגו בזמן. הפוסט מראה איך זה קרה, מה תוקן ואיך תופסים את זה מוקדם יותר.

מספרי העלות, הזמן והקריאות נמדדו מקובצי הגלם של ההרצות. מספרי ה-judges וההצבעה הם אלה שרשמתי ביומן העבודה אחרי הניסוי.

השאלה

עם אותו בריף, מי מייצר אתר טוב יותר: Opus עם Google Stitch, או Opus עם Claude Design (סוג העיצוב של כלי ה-Artifact)?

ההגדרה

• הבריף: אתר אישי עם שני מצבים של אותו אדם, מפתח ופילוסוף. אנגלית, מצב בהיר בלבד, תוכן לדוגמה מסומן "דוגמה: יותם כותב את הגרסה האמיתית". prompt: לכתוב תוכנית ל-PLAN.md, ואז לבצע עד הסוף בלי לשאול שום דבר.
• ההבדל בין המסלולים: מסלול c: "השתמש ב-Google Stitch כדי לעצב את המסכים קודם, ואז בנה את האתר מהעיצוב." מסלול d: אותו דבר עם Claude Design, ובלי להשתמש במערכת עיצוב קיימת.
• ה-model: Opus, Claude Code 2.1.306, ומצב תכנון ואחריו מצב אוטומטי.
• הבידוד: שלוש הרצות לכל מסלול, בקונטיינרים זהים ונעולים. לכל מסלול רשימת יציאה מותרת לרשת, וכל קריאת כלי, פקודה ומארח נרשמו.
• למה הרצה אינטראקטיבית: מצב תכנון ואחריו מצב אוטומטי אי אפשר לעשות בהרצת -p אחת. לכן הרצתי סשן אינטראקטיבי, ונהג בסקריפט קורא את המסך כל 15 שניות ועונה רק על דיאלוגים מוכרים.

הזרימה

1. האצווה הראשונה נפלה על תשתית. תיקון אבטחה קבע בקוד את הפרוקסי של השער ל-Trove, ו-Trove נעלם ברשתות חדשות לאצווה שלמה. ההרצות האלה לא נוקדו. הניסוי הזה רץ בלי Trove, כי ה-API שלו לא היה זמין.
2. בדיקת "הכלי באמת שימש" ספרה קריאות לכלי ולא תוצאות מוצלחות, ולכן לא תפסה את הפער.
3. ציון. ההצבעה העיוורת שלי: Stitch 3, Claude Design 2. judges עיוורים בזוגות: Stitch על פני Claude Design 12 מול 6. מול Opus הפשוט מהניסוי הקודם Stitch היה כמעט שווה, 8 מול 10. Claude Design נפל לקרם, סריף וטרקוטה בכל הרצה, ו-Stitch ב-1 מתוך 3.
4. התיקון הראשון. אחרי בניית האתר, סשן הבנייה דיווח שמסכי Stitch נוספים פגו בזמן. בדיקה לכל קריאה בתמלילים הראתה ש-Stitch יצר מסך אחד מתוך 7, אחד מתוך 5 ואפס מתוך 4. קריאות מערכת העיצוב הצליחו כולן. כלומר המסלול היה בפועל "Opus עם מערכות העיצוב של Stitch ולכל היותר מסך אחד", ו-Opus בנה את הדפים ביד.
5. התיקון השני, מאוחר יותר. בבניית גרסה 2 כל קריאת generate_screen_from_text פגה בשגיאת MCP, אבל הסתיימה בצד של Stitch: זמן העדכון של הפרויקט התקדם ותמונת הממוזערת הפכה למסך. מסכים שנוצרו אינם מופיעים ב-list_screens. עקיפה שעבדה 4 מתוך 4: פרויקט Stitch לכל מסך, ואז get_project, ואז thumbnailScreenshot.name, ואז download_file. זה מתקן את הרשומה הקודמת: המסכים כנראה נוצרו ופשוט לא היו ניתנים לאחזור, לא נכשלו.

המספרים (נמדדו מקובצי הגלם)

הרצה	מסלול	עלות	זמן	קריאות כלי	קריאות עיקריות
c-1	Stitch	3.25$	20.7 דקות	59	7 יצירת מסך, 2 יצירת מערכת עיצוב
c-2	Stitch	3.62$	22.2 דקות	89	5 יצירת מסך, 2 יצירת מערכת עיצוב
c-3	Stitch	2.51$	17.6 דקות	49	4 יצירת מסך, 2 יצירת מערכת עיצוב
d-1	Claude Design	3.88$	22.2 דקות	59	10 Artifact
d-2	Claude Design	5.42$	22.5 דקות	69	16 Artifact
d-3	Claude Design	3.53$	18.6 דקות	63	10 Artifact

הממוצע במסלול Stitch כ-3.13$ ו-20.2 דקות להרצה, ובמסלול Claude Design כ-4.28$ ו-21.1 דקות. הממוצעים הם חישוב שלי מהטבלה. העלויות והזמנים כוללים את כל הסשן, בלי פירוט לפי כלי.

מה זה אומר

הדפוס שחוזר בשני הניסויים: design prompt קונה ליטוש ועולה באישיות, והניגוד בין שני המצבים של האתר הוא מה שמנצח. התוצאה של Stitch היא תוצאה של המסלול, לא הוכחה על המסכים של Stitch.

אחרי הניסוי נבנתה גרסה 2 של האתר בסשן נפרד: Opus עם Stitch, מהרצה c-1, עם הוראה לשמור על שני המצבים שונים זה מזה ולא להשתמש בקרם, בסריף ובטרקוטה. היא יצאה כאתר Astro 5 סטטי עם 26 נתיבים ועוד עמוד 404, מצב מפתח בשם Workbench ומצב פילוסוף בשם Tekhelet, ו-154 tests.

מה אפשר לקחת מזה

• בדיקת "הכלי שימש" צריכה לספור תוצאות מוצלחות, לא קריאות. שורה אחת תואמת ללא שגיאה לכל קריאה. הבדיקה שלי ספרה קריאות, ולכן לא תפסה הרצות שבהן רוב המסכים לא נוצרו.
• מסלול של כלי עיצוב צריך ניסיון חוזר או המתנה כשיצירה פגה בזמן, לפני שמקבלים ציון. בלי זה מודדים את הפסקות הזמן ולא את הכלי.
• אחרי שגיאת MCP בדקו אם הפעולה הסתיימה בצד השני. כאן הסתיימה, והמסך חיכה בממוזערת של הפרויקט. פרויקט לכל מסך עם get_project ו-download_file עבד 4 מתוך 4.
• הריצו בדיקה מקדימה לכל כלי חיצוני לפני שמריצים אצווה. תיקון אבטחה שקבע את הפרוקסי בקוד שבר תלות באופן שקט, ואצווה שלמה אבדה.
• גם הרצה "פשוטה" טוענת skills מובנים וכלים נוספים, אלא אם חוסמים אותם בשם. כך נוכחתי שה-baseline אחד לא היה נקי.

הסתייגויות

• שלוש הרצות לכל מסלול. ההצבעה היא של אדם אחד, וה-judges הם models.
• מספר המסכים ש-Stitch יצר אינו סופי: 1 מתוך 7, 1 מתוך 5 ו-0 מתוך 4 אוחזרו, והמסכים האחרים כנראה נוצרו ולא אוחזרו.
• הרשומה שלי קובעת שהתוצאה "Stitch ניצח" נשארת תוצאה של המסלול, ולא ראיה על המסכים של Stitch.
• האצווה הראשונה, שנפלה בגלל Trove, לא נכללת בתוצאות.