יותם פרום

פרויקטהטמעת בינה מלאכותית

agentic-label-engineering (ALE)

כלי ללא מודל שפה שמעביר את ההחלטה שמשימה גמורה לקוד. בניסוי המדוד הוא היה איטי ויקר יותר בלי שיפור באיכות, ולכן פרשתי אותו.

שורת קופסאות קרטון קטנות, לכל אחת קשורה תווית נייר, וחותמת גומי מטביעה וי בטורקיז על תווית אחת בלבד

  1. הבעיה

    "הנקודה החלשה היא המילה גמור": agent יכול להגיד שסיים כשה-tests נכשלים, לערוך קבצים מחוץ למשימה או להיתקע. הכלי נועד להפוך את השיפוט הזה לקוד.

  2. מה בניתי

    כלי שורת פקודה ללא language model, בקוד פתוח (MIT), שמעביר את השיפוט "האם המשימה גמורה" מה-agent לקוד. הפרויקט הצליח טכנית ונכשל כמוצר לעבודה היומית שלי, והמדידות שמראות למה מופיעות כאן.

איך הוא עובד

  • ה-orchestrator כותב תווית מוקלדת לכל משימה: מי ה-executor, אילו קבצים מותרים, ושתיים עד חמש פקודות מעטפת שמוכיחות שהיא גמורה.
  • כל טענה, דופק והגשה נכתבים ל-events.jsonl שרק מוסיפים אליו.
  • רק ale verify, שמריץ את פקודות הקבלה בעצמו, יכול לסמן משימה כמקובלת. "אף agent לא יכול לסמן את עבודתו כגמורה."
  • משגיח ללא model מסמן פקיעת חכירה, תקיעה, חריגה, משימה לא מאומתת וחריגה ממספר הניסיונות.
  • הכלל הכתוב: "כל מה שקוד יכול להחליט, קוד מחליט."

Python 3.9 ומעלה, plugin ל-Claude Code עם /ale-board, ומתאמים ל-Pi ול-Codex. ה-repo מצהיר שהוא לפני 1.0 ושהממשקים עשויים להשתנות, ומגדיר את גבולות האמון: agent_id מוצהר בעצמו, ולכן היומן מגן מפני תאונות וטעויות כנות, לא מזדון.

איך זה הלך

ה-repo נוצר ב-20 בספטמבר 2026 ויצא לגרסה 0.4.6 ב-18 באוקטובר, אחרי 326 commits. יומן השינויים מכיל "פערים ידועים" שנסגרו אחרי שהכלי הופעל על עבודה אמיתית בספריא: hook העצירה הריץ את הקבלה בתיקייה הלא נכונה, ואינטגרציה ללא שינוי הדפיסה פלט ריק.

למה זה נכשל

ב-18 באוקטובר כתבתי בקובץ הניסוי: "work+ALE - slow and im not sure its better quality". שני ניסויים בדקו את זה:

  • 14 באוקטובר, משימה בודדת, 4 משימות בינוניות: כל הזרועות עברו את כל ה-hidden tests. /work עם ALE לקח 53 דקות ועלה 8.92$. Opus לבד: 7 דקות ו-2.46$. Opus עם review של Codex אחד: 21 דקות ו-4.43$.
  • 19 ו-20 באוקטובר, שתי מטרות, שתי הרצות לכל תא, 48.20$ בסך הכול: כל הרצה עברה 8 מתוך 8 hidden tests. חציון הזמן של /work עם ALE היה 34.5 דקות מול 13.4 של Opus לבד במטרה הראשונה, ו-19.5 מול 11.5 בשנייה. חציון העלות: 5.01$ מול 2.91$ ו-3.17$ מול 1.74$. הממצא היחיד ברמה "גבוהה" בכל ה-reviews הגיע לזרוע של ALE.

האזהרות שהמדידה עצמה מציינת: ב-3 מתוך 4 הרצות של ALE הוא פעל במסלול הקל, ורק אחת הריצה את שיגור ALE המלא, כך שה-executors המקבילים כמעט לא נבדקו. הראיות קטנות, "עקביות אך לא הוכחה".

התוצאה: /work ו-/task נסגרו ב-20 באוקטובר 2026, כי הניסוי הראה איכות שווה בפי 2 עד 3 זמן ועלות. ברירת המחדל שלי היא Opus לבד או Opus עם review של Codex אחד. את /work עם ALE אשאיר רק למה שלא נבדק: ריצות ללא השגחה מעל כ-30 דקות, חלוניות מרוחקות ושיגור מקבילי בין repos. ה-repo נשאר ציבורי.

ה-plugin שהסתמך עליו

plugin ה-orchestration שלי (ראו את הערך "orchestration") בנוי על ALE, ונסגר באותו ניסוי.