agentic-label-engineering (ALE)
===============================
כתובת העמוד: https://yotamfromm.dev/developer/projects/agentic-label-engineering/
עודכן: 2026-10-22
גרסת Markdown: https://yotamfromm.dev/developer/projects/agentic-label-engineering.md
מפת האתר ל-agents: https://yotamfromm.dev/llms.txt

כלי ללא מודל שפה שמעביר את ההחלטה שמשימה גמורה לקוד. בניסוי המדוד הוא היה איטי ויקר יותר בלי שיפור באיכות, ולכן פרשתי אותו.

שורת קופסאות קרטון קטנות, לכל אחת קשורה תווית נייר, וחותמת גומי מטביעה וי בטורקיז על תווית אחת בלבד (https://yotamfromm.dev/media/agentic-label-engineering/cover.webp)

כלי שורת פקודה ללא language model, בקוד פתוח (MIT), שמעביר את השיפוט "האם המשימה גמורה" מה-agent לקוד. הפרויקט הצליח טכנית ונכשל כמוצר לעבודה היומית שלי, והמדידות שמראות למה מופיעות כאן.

הבעיה

"הנקודה החלשה היא המילה גמור": agent יכול להגיד שסיים כשה-tests נכשלים, לערוך קבצים מחוץ למשימה או להיתקע. הכלי נועד להפוך את השיפוט הזה לקוד.

איך הוא עובד

- ה-orchestrator כותב תווית מוקלדת לכל משימה: מי ה-executor, אילו קבצים מותרים, ושתיים עד חמש פקודות מעטפת שמוכיחות שהיא גמורה.
- כל טענה, דופק והגשה נכתבים ל-`events.jsonl` שרק מוסיפים אליו.
- רק `ale verify`, שמריץ את פקודות הקבלה בעצמו, יכול לסמן משימה כמקובלת. "אף agent לא יכול לסמן את עבודתו כגמורה."
- משגיח ללא model מסמן פקיעת חכירה, תקיעה, חריגה, משימה לא מאומתת וחריגה ממספר הניסיונות.
- הכלל הכתוב: "כל מה שקוד יכול להחליט, קוד מחליט."

Python 3.9 ומעלה, plugin ל-Claude Code עם `/ale-board`, ומתאמים ל-Pi ול-Codex. ה-repo מצהיר שהוא לפני 1.0 ושהממשקים עשויים להשתנות, ומגדיר את גבולות האמון: `agent_id` מוצהר בעצמו, ולכן היומן מגן מפני תאונות וטעויות כנות, לא מזדון.

איך זה הלך

ה-repo נוצר ב-20 בספטמבר 2026 ויצא לגרסה 0.4.6 ב-18 באוקטובר, אחרי 326 commits. יומן השינויים מכיל "פערים ידועים" שנסגרו אחרי שהכלי הופעל על עבודה אמיתית בספריא: hook העצירה הריץ את הקבלה בתיקייה הלא נכונה, ואינטגרציה ללא שינוי הדפיסה פלט ריק.

למה זה נכשל

ב-18 באוקטובר כתבתי בקובץ הניסוי: "work+ALE - slow and im not sure its better quality". שני ניסויים בדקו את זה:

- 14 באוקטובר, משימה בודדת, 4 משימות בינוניות: כל הזרועות עברו את כל ה-hidden tests. `/work` עם ALE לקח 53 דקות ועלה 8.92$. Opus לבד: 7 דקות ו-2.46$. Opus עם review של Codex אחד: 21 דקות ו-4.43$.
- 19 ו-20 באוקטובר, שתי מטרות, שתי הרצות לכל תא, 48.20$ בסך הכול: כל הרצה עברה 8 מתוך 8 hidden tests. חציון הזמן של `/work` עם ALE היה 34.5 דקות מול 13.4 של Opus לבד במטרה הראשונה, ו-19.5 מול 11.5 בשנייה. חציון העלות: 5.01$ מול 2.91$ ו-3.17$ מול 1.74$. הממצא היחיד ברמה "גבוהה" בכל ה-reviews הגיע לזרוע של ALE.

האזהרות שהמדידה עצמה מציינת: ב-3 מתוך 4 הרצות של ALE הוא פעל במסלול הקל, ורק אחת הריצה את שיגור ALE המלא, כך שה-executors המקבילים כמעט לא נבדקו. הראיות קטנות, "עקביות אך לא הוכחה".

התוצאה: `/work` ו-`/task` נסגרו ב-20 באוקטובר 2026, כי הניסוי הראה איכות שווה בפי 2 עד 3 זמן ועלות. ברירת המחדל שלי היא Opus לבד או Opus עם review של Codex אחד. את `/work` עם ALE אשאיר רק למה שלא נבדק: ריצות ללא השגחה מעל כ-30 דקות, חלוניות מרוחקות ושיגור מקבילי בין repos. ה-repo נשאר ציבורי.

ה-plugin שהסתמך עליו

plugin ה-orchestration שלי (ראו את הערך "orchestration") בנוי על ALE, ונסגר באותו ניסוי.

- קוד (https://github.com/yodem/agentic-label-engineering)
- אתר (https://yodem.github.io/agentic-label-engineering/)