יותם פרוםStitch מול Claude Design, ותיקון אחרי הציון
בבדיקה עיוורת Stitch ניצח את Claude Design, ואז התברר שרוב המסכים שלו פגו בזמן. מה נמדד, מה תוקן ואיך תופסים את זה.
תגית: ניסויים
כל מה שמתויג כך, בשלושת המצבים.
האם הספרייה שלי עוזרת ל-Opus לעצב? ניסוי עיוור
מסלול עם גישה לספרי העיצוב שלי מול מסלול בלי, באותו בריף. הספרייה הוסיפה ליטוש, מחקה את ההבדל בין שני הצדדים ועלתה יותר, והמסלול בלי ניצח.
חמש דרכים לעצב דף בית עם Claude Code
חמישה מסלולי עיצוב לדף בית, ואחר כך שישי: אף כלי לא ניצח את Opus לבד. כולל מה שלמדתי על שופטי מודל ועל מה שאי אפשר להריץ בלי אדם.
ניסוי עם מבחנים נסתרים הכריע את מה שחודשים של כוונון לא הכריעו
Opus פשוט עבר את אותם מבחנים נסתרים כמו מערך ה-multi-agent שלי: 7 דקות ו-2.46$ מול 149 דקות ו-14.88$ בארבעה באגים אמיתיים. ניסוי אחד הכריע מה שחודשים של כוונון לא הכריעו, ומה אפשר לשכפל ממנו.
Trove מול PageIndex: למצוא את העמוד הנכון בספר
השוויתי שתי דרכים למצוא עמוד מדויק בספר, באנגלית, במקרא ובמקורות עבריים. Trove נשאר ברירת המחדל, ו-PageIndex נכנס כאפשרות.
כלים לחיסכון בטוקנים: מדדתי לפני שהתקנתי
בקהילה הומלץ על כלים שחוסכים טוקנים. מדדתי שניים מהם, ועוד את הסגנון שלי, ב-80 הרצות: כולם עלו יותר מברירת המחדל, באותו שיעור הצלחה.
typed judge במקום קריאה למודל: מה מדדתי ולמה לא קידמתי דבר
ניסיתי את Jev, מודל שעונה על שאלות סגורות, בנקודות החלטה אמיתיות בזרימת העבודה שלי. מול התוצאות בפועל הוא השתווה למתכנן, ולא עלה עליו.
קראתי את הקוד לפני שהרצתי: ניסוי בכלי orchestration מהקטלוג
בקטלוג כלי הבינה המלאכותית שלי היו 64 כלים, ואף אחד מהם לא נבדק. הראשון שבדקתי, phalanx, קיבל פסק דין של פיילוט: לא לאמץ, לא לדחות, ולקחת ממנו רעיון אחד.