יותם פרוםStitch מול Claude Design, ותיקון אחרי הציון
בבדיקה עיוורת Stitch ניצח את Claude Design, ואז התברר שרוב המסכים שלו פגו בזמן. מה נמדד, מה תוקן ואיך תופסים את זה.
בלוג
פוסטים קצרים על איך ולמה אני עובד כמו שאני עובד: הזרימות, הכלים והבדיקות.
סדרות
האם הספרייה שלי עוזרת ל-Opus לעצב? ניסוי עיוור
מסלול עם גישה לספרי העיצוב שלי מול מסלול בלי, באותו בריף. הספרייה הוסיפה ליטוש, מחקה את ההבדל בין שני הצדדים ועלתה יותר, והמסלול בלי ניצח.
Claude כותב, Codex בודק
מה למדתי מסקירות שהרצתי עם Codex על קוד ש-Claude כתב: מה היא מצאה, מה היא עלתה, מתי היא שתקה, ואיפה צריך תקרה על הסבבים.
חמש דרכים לעצב דף בית עם Claude Code
חמישה מסלולי עיצוב לדף בית, ואחר כך שישי: אף כלי לא ניצח את Opus לבד. כולל מה שלמדתי על שופטי מודל ועל מה שאי אפשר להריץ בלי אדם.
שערים דטרמיניסטיים במקום שיפוט של מודל
אם שיפוט של agent יכול לשנות את התוצאה, זה לא שער אלא המלצה. ארבעה מקרים שבהם LLM judge, בדיקה חלשה או כלל כתוב החליטו לא נכון, ומה החליף אותם.
ניסוי עם מבחנים נסתרים הכריע את מה שחודשים של כוונון לא הכריעו
Opus פשוט עבר את אותם מבחנים נסתרים כמו מערך ה-multi-agent שלי: 7 דקות ו-2.46$ מול 149 דקות ו-14.88$ בארבעה באגים אמיתיים. ניסוי אחד הכריע מה שחודשים של כוונון לא הכריעו, ומה אפשר לשכפל ממנו.
Trove מול PageIndex: למצוא את העמוד הנכון בספר
השוויתי שתי דרכים למצוא עמוד מדויק בספר, באנגלית, במקרא ובמקורות עבריים. Trove נשאר ברירת המחדל, ו-PageIndex נכנס כאפשרות.
כלים לחיסכון בטוקנים: מדדתי לפני שהתקנתי
בקהילה הומלץ על כלים שחוסכים טוקנים. מדדתי שניים מהם, ועוד את הסגנון שלי, ב-80 הרצות: כולם עלו יותר מברירת המחדל, באותו שיעור הצלחה.
typed judge במקום קריאה למודל: מה מדדתי ולמה לא קידמתי דבר
ניסיתי את Jev, מודל שעונה על שאלות סגורות, בנקודות החלטה אמיתיות בזרימת העבודה שלי. מול התוצאות בפועל הוא השתווה למתכנן, ולא עלה עליו.
כל agent שכותב מקבל worktree משלו
אם יותר מ-agent אחד כותב לאותו repo, הם מתנגשים גם כשאף אחד מהם לא מואצל. ההחלטה שרשמתי אחרי שני סשנים שלי שהתנגשו: העותק הראשי הוא מקום לקרוא ולמזג, וכל מי שכותב עובד ב-worktree משלו.
קראתי את הקוד לפני שהרצתי: ניסוי בכלי orchestration מהקטלוג
בקטלוג כלי הבינה המלאכותית שלי היו 64 כלים, ואף אחד מהם לא נבדק. הראשון שבדקתי, phalanx, קיבל פסק דין של פיילוט: לא לאמץ, לא לדחות, ולקחת ממנו רעיון אחד.