האם הספרייה שלי עוזרת ל-Opus לעצב? ניסוי עיוור

אם יש לכם ספרייה של ספרי עיצוב, כדאי לדעת מה היא משנה כש-agent בונה אתר ומה היא עולה. בדקתי את זה עם מסלול אחד שיכול לקרוא בספרייה שלי ומסלול אחד שלא, באותו בריף, שלוש פעמים כל אחד. הספרייה הוסיפה סדר וליטוש, מחקה את ההבדל בין שני הצדדים של האתר, ועלתה יותר זמן וכסף. המסלול בלי הספרייה ניצח בהצבעה העיוורת שלי.

מספרי העלות, הזמן והקריאות נמדדו מקובצי הגלם של ההרצות. מספרי ההצבעה וה-judges הם אלה שרשמתי ביומן העבודה אחרי הניסוי.

השאלה

האם גישה לספרי העיצוב שלי ב-Trove משפרת את העיצוב של Opus לבד? שלושת הספרים: "UI/UX Design Principles for AI Agents", "Awesome Design.md" ו"Vercel Frontend Engineering Guidelines".

ההגדרה

משתנה אחד. כל השאר זהה בבית: אותו קונטיינר, אותו model, אותם דגלים, אותן עובדות, אותה תקרה של 3 שעות להרצה.

• מסלול A: Opus בלבד.
• מסלול B: Opus עם Trove. ההבדל היחיד הוא ה-CLI של Trove מאחורי שער, ההתחברות שלו, פרוקסי שמתיר את ה-API של Trove, ופסקה שנוספה לבריף: להתחיל בשלושת הספרים ולצטט ב-LOG.md ספרים ועמודים.
• תיקון בתוכנית: בהתחלה מסלול B קיבל גישה רק לשלושת הספרים. אחר כך ביקשתי שיקבל את plugin Trove הרשמי עם גישת קריאה לכל הספרייה. השער חוסם כל כתיבה. בשני המסלולים נחסמו בשם 17 ה-skills המובנים של Claude Code, כי ב-baseline של הניסוי הקודם הן עוד נטענו.
• הרצה: שלוש הרצות לכל מסלול, בזוגות: A_i ו-B_i באותו זמן. עובדות עליי רק מקובץ אחד, לשני המסלולים.
• השיפוט: ההצבעה העיוורת שלי על מסכים, ו-judges Sonnet עיוורים שקיבלו רק אותיות מעורבבות.

הזרימה

1. שיגור ראשון נעצר אחרי כחמש דקות והועבר לארכיון, בגלל תיקון התוכנית.
2. שלושה זוגות רצו עם מצב אוטומטי ו-Opus.
3. במסלול B, כל הרצה פתחה בהצהרת כוונה (trove access start) ואז קראה בספרים, עם 11, 9 ו-12 קריאות Trove ושלוש קריאות ל-sub-agents בכל הרצה. בשתי הרצות אחד מספרי העיצוב נקרא כולו לקובץ.
4. ציון והצבעה, ואז חשיפת המיפוי.

המספרים (נמדדו מקובצי הגלם)

הרצה	תורות	עלות	זמן	קריאות כלי (בתוך sub-agents)
a-1	17	1.82$	8.6 דקות	16 (0)
a-2	21	1.79$	8.3 דקות	20 (0)
a-3	19	1.84$	8.7 דקות	18 (0)
b-1	33	3.02$	11.3 דקות	55 (23)
b-2	24	2.80$	11.2 דקות	48 (25)
b-3	24	2.87$	11.6 דקות	43 (20)

ממוצע A כ-1.82$ ו-8.5 דקות, וממוצע B כ-2.89$ ו-11.4 דקות (חישוב שלי).

התוצאות (מהיומן שלי)

מדד	Opus פשוט	Opus עם הספרייה
הבחירות שלי (5 מסכים)	4	1
השוואות זוגיות של ה-judges (מתוך 18)	15	3

הספרייה נתנה ליטוש ומראה בלי קלישאות של בינה מלאכותית, ושטחה את ההבדל בין שני המצבים של האתר. ההשוואות הזוגיות הן מספר ההכרעות מתוך כל הצמדים בשני הסדרים.

מה זה אומר

לספרייה יש השפעה, אבל לא זו שקיוויתי לה: היא קנתה ליטוש והורידה אישיות. בבריף הזה שני צדדים שונים בבירור היו חשובים יותר, ולכן Opus הפשוט ניצח, כולל בהצבעה שלי. הניסוי הקודם, חמש דרכים לעצב דף בית (ואחר כך שש), נתן תמונה דומה: מסלול Trove חי נמנע מקרם וטרקוטה אבל לא ניצח את Opus הפשוט ועלה פי שניים בערך.

מה אפשר לקחת מזה

• שנו משתנה אחד בכל פעם. כאן הכול היה זהה חוץ מהספרייה: התוכנית דרשה שהדגלים, העובדות, ה-model והתקרה יהיו זהים בבית.
• חסמו בשם skills מובנים גם בהרצה "פשוטה". ה-baseline של יום קודם עוד נשא skill עיצוב מובנה, ולכן לא היה נקי.
• design prompt קונה ליטוש ועולה באישיות. מה שניצח הוא הניגוד בין המצבים של האתר, ולכן אם הבריף דורש אישיות, בדקו את זה לפני שמוסיפים prompts.
• הדביקו את הכלל לבריף ולא לחפש בספרייה בכל דף. מסלול Trove החי הוכיח שכלל הספציפיות מרחיק מהמראה הגנרי, אבל עלה פי שניים, ולכן הכלל מודבק.
• מדדו את מחיר החיפוש. מסלול B עלה בממוצע 2.89$ ו-11.4 דקות מול 1.82$ ו-8.5 דקות, שלושה sub-agents בכל הרצה.

הסתייגויות

• שלוש הרצות לכל מסלול. ההצבעה שלי היא של אדם אחד, וה-judges הם models על מסכים בהירים בלבד.
• מסלול B יכול היה לקרוא את כל הספרייה, ובפועל הקריאות הרשומות היו בעיקר בשלושת ספרי העיצוב.
• הניסוי מודד את "Trove כ-plugin", לא את ספרי העיצוב לבדם.