---
title: "כלים לחיסכון בטוקנים: מדדתי לפני שהתקנתי"
author: "יותם פרום"
mode: developer
type: post
date: 2026-10-13
url: https://yotamfromm.dev/developer/blog/token-tools-trial/
category: "workflows עם AI"
series: "השוואות וניסויים"
series_order: 3
tags: ["ניסויים", "עלות", "טוקנים", "claude-code"]
lang: he
---

# כלים לחיסכון בטוקנים: מדדתי לפני שהתקנתי

> בקהילה הומלץ על כלים שחוסכים טוקנים. מדדתי שניים מהם, ועוד את הסגנון שלי, ב-80 הרצות: כולם עלו יותר מברירת המחדל, באותו שיעור הצלחה.

כלי שמקצר את הפלט לא בהכרח מוריד את העלות של משימה שהצליחה. בקהילה הומלץ על כלים שאמורים לחסוך tokens ב-Claude Code, ו-/ai-radar, הכלי שאוסף לי פריטים כאלה, הביא תשעה פריטים בנושא. לפני שהתקנתי משהו שאלתי שאלה אחת: האם הכלי מוריד את העלות למשימה, כשהמשימה מצליחה באותו שיעור? הפוסט מפרט איך מדדתי, מה השתבש בדרך ומה השתנה אצלי.

## השאלה

שני הכלים שנבחרו היו JFrog Boost, חבילת hooks שמסננת פלט של פקודות, ו-attention-span, שמגיע עם מצב פלט קצר בשם Spartan. מול שניהם עמד הסגנון שאני כבר משתמש בו, Terse Evidence, וברירת המחדל. השאלה לא הייתה אם הפלט קצר יותר, כי פלט קצר הוא אמצעי. השאלה הייתה מה העלות של משימה שעברה את הבדיקה.

## ההגדרה

- **ארבעה מסלולים:** A ברירת המחדל, B hooks של Boost, C ‏attention-span במצב Spartan, ו-D ‏Terse Evidence.
- **שבע משימות:** i עד iv קטנות, ו-v1 עד v3 עם פלט גדול, שבו אפשר לצפות לחיסכון. לכל משימה בודק חיצוני.
- **ההרצות:** 80 הרצות מדודות של Sonnet 5.5 בלי ממשק, על מכונה נפרדת, בעלות כוללת של 7.64$. ה-tokens נשלפים מתמלילי ההרצות בסקריפט `token-trial.py`, והרצה אחת מופעלת בסקריפט `token-trial-run.sh`.
- **מי בנה את ה-harness:** ארבע משימות מתוכננות ועוד ארבע משימות תיקון, ש-Codex ביצע בשני מחשבים, וסקירות צולבות של Claude Sonnet.
- **הקוד והנתונים:** ב-branch `main` של ה-repo שלי, עדיין לא נדחף. שם גם דוח הריצה.

## הזרימה

1. **איסוף.** תשעת הפריטים מהקהילה נכנסו דרך /ai-radar. משניים מהם, Boost ו-attention-span, הוחלט להפעיל ריצת /work ולבדוק אותם.
2. **מחקר.** קודם הרצתי /learn על שני הכלים, ומהמחקר יצא דף לימוד וספר מחקר בתוך Trove.
3. **בניית ה-harness.** משימות הבנייה בוצעו על ידי Codex. כאן נפלה הטעות הראשונה: עובד Codex מסר סגנון פלט מומצא בשם Boost וסגנון Spartan חלקי, וכל ה-tests היו ירוקים, כי הם בדקו רק שהקבצים קיימים. הכלל שיצא מזה: בכל משימה מואצלת לפחות test אחד של תוכן או התנהגות.
4. **פרטי הסביבה.** הערות של המוביל לא מגיעות לעובד שרץ על המכונה הנפרדת, ולכן הכנסתי את המפרט ל-branch עצמו. בנוסף עצרתי את לולאת ה-review אחרי סבב 2 ותיקנתי את השאריות בעצמי. שלושה תיקונים של המוביל נרשמו כסטיות מהתהליך.
5. **מדידת Boost.** התברר ש-JFrog השאירו את המסנן של Boost כבוי מרחוק. הפעלתי אותו בכוח, כדי שהמדידה תבדוק את הכלי ולא את מצב הכיבוי שלו.
6. **ההרצות.** 80 ההרצות נמדדו לפי משימה, בשיעור הצלחה שווה בין המסלולים, ולכל מסלול חושבה עלות מול ברירת המחדל.
7. **ההסרה.** Boost הוסר מהמכונה הנפרדת, ותיקיית `.claude` הגלובלית שוחזרה זהה לגמרי, בית אחר בית.

## המספרים

כל חלופה עלתה יותר מברירת המחדל, באותו שיעור הצלחה:

| מסלול | שינוי מול ברירת המחדל |
|---|---|
| C: attention-span, מצב Spartan | 15% פחות tokens של פלט, אבל 5% עד 8% יותר עלות |
| D: Terse Evidence | 3% עד 4% יותר עלות |
| B: Boost, מסנן מופעל בכוח | 1% עד 6% יותר עלות |

הסבר לתוצאה: Sonnet 5.5 כבר מקצר פלט גדול בעצמו, עם grep, ‏tail ו-wc. ב-Spartan הפלט אכן ירד, אבל העלות הכוללת עלתה.

## ממצא בטיחות

ה-hook של Boost מסוג PreToolUse מאשר אוטומטית כל פקודה שהוא משכתב. הממצא נרשם ברדאר שלי כבעיית אבטחה, וה-hook הוסר יחד עם Boost.

## מה השתנה אצלי

לא הותקן שום כלי לחיסכון ב-tokens. Claude Code נשאר על ה-harness הרגיל ועל Terse Evidence. ה-harness עצמה נשארה, והמועמד הבא יקבל מסלול נוסף ויימדד באותה דרך.

## הסתייגויות

- המדידה היא על Sonnet 5.5, על שבע משימות ועל מכונה אחת. model אחר או משימות אחרות עלולים לתת תוצאה אחרת, והתוצאה על Boost נמדדה עם המסנן שהופעל בכוח.
- הטבלה נותנת טווחים ולא ממוצעים: אין כאן מספר הרצות לכל מסלול ולא רווח סמך, ולכן אין לקרוא בה הבדלים של אחוז אחד כהכרעה.
- אחוזי העלות הם מול ברירת המחדל באותה משימה, והעלות הכוללת של 7.64$ היא של כל 80 ההרצות יחד.
- ריצת /work נרשמה כמושהית: שער ה-build אינו מצליח לעבור על משימות תיקון שהוגשו, וזה פגם ב-orchestration ולא בתוצאה.

## מה אפשר לקחת מזה

- **משווים עלות למשימה שעברה, באותו שיעור הצלחה, ולא אורך פלט.** Spartan הוריד 15% מה-tokens של הפלט והעלות הכוללת עלתה ב-5% עד 8%, כי Sonnet 5.5 כבר מקצר פלט גדול בעצמו עם grep, tail ו-wc.
- **כל משימה שמואצלת מקבלת לפחות test אחד של תוכן או התנהגות.** tests של קיום קבצים העבירו סגנון פלט מומצא וסגנון חלקי, וכולם היו ירוקים.
- **מצלמים את המצב לפני ההתקנה ואחריה.** ריצת ניסיון של הספק הציגה hook אחד, וההתקנה בפועל רשמה שישה אירועי hook.
- **מחפשים ב-hook של כלי חיצוני מה הוא מאשר בשמך.** ה-hook של Boost מאשר אוטומטית כל פקודה שהוא משכתב, והממצא נרשם כבעיית אבטחה.
- **עוצרים לולאת review אחרי סבב 2 ומתקנים את השאריות.** ואת המפרט מכניסים ל-branch עצמו, כי הערות של המוביל לא מגיעות לעובד שרץ במכונה אחרת.