יותם פרום
Claude כותב, Codex בודק
מה למדתי מסקירות שהרצתי עם Codex על קוד ש-Claude כתב: מה היא מצאה, מה היא עלתה, מתי היא שתקה, ואיפה צריך תקרה על הסבבים.
תגית: זרימת-עבודה
כל מה שמתויג כך, במצב מפתח.
שערים דטרמיניסטיים במקום שיפוט של מודל
אם שיפוט של agent יכול לשנות את התוצאה, זה לא שער אלא המלצה. ארבעה מקרים שבהם LLM judge, בדיקה חלשה או כלל כתוב החליטו לא נכון, ומה החליף אותם.
ניסוי עם מבחנים נסתרים הכריע את מה שחודשים של כוונון לא הכריעו
Opus פשוט עבר את אותם מבחנים נסתרים כמו מערך ה-multi-agent שלי: 7 דקות ו-2.46$ מול 149 דקות ו-14.88$ בארבעה באגים אמיתיים. ניסוי אחד הכריע מה שחודשים של כוונון לא הכריעו, ומה אפשר לשכפל ממנו.
