העברית שלכם צורכת טוקנים. כמה זה עולה לכם?

שלחתם מסמך בעברית וקיבלתם סיכום. מבחינתכם זו בקשה אחת. מאחורי הקלעים המערכת פיצלה את הטקסט ליחידות שנקראות טוקנים, ומספרן יכול להשפיע על המקום שנשאר בשיחה, על מגבלות השימוש וב-API גם על המחיר. בעברית אי אפשר להסתמך על כלל האצבע של אנגלית, והפער משתנה בין מודלים וטקסטים. בסוף המאמר תדעו איך לבדוק כמה טוקנים צורכת משימה בעברית ולחשב את העלות המשוערת שלה ב-API.

מה קורה לטקסט לפני שהמודל קורא אותו

טוקן הוא יחידה שהמערכת משתמשת בה לייצוג טקסט. הוא יכול להיות מילה שלמה, חלק ממילה, סימן פיסוק או רצף אחר של תווים. רכיב שנקרא טוקנייזר מפרק את הטקסט לרצף של טוקנים, והמודל מעבד את הרצף הזה ומייצר בתורו טוקנים של תשובה.

אין יחס קבוע בין מילה לטוקן. גם רווחים, פיסוק, מספרים ותערובת של עברית ואנגלית יכולים להשפיע על החלוקה. OpenAI מציינת שכלל אצבע של כארבעה תווים לטוקן מתייחס לטקסט אנגלי נפוץ. הוא אינו דרך אמינה לחשב טקסט בעברית. מודלים שונים עשויים להשתמש בטוקנייזרים שונים, ולכן אותה פסקה יכולה לקבל ספירה שונה.

למה העברית משנה את הספירה

בעברית מילה אחת יכולה לכלול אותיות שימוש, גוף ושייכות. למשל, "וכשנגיע" מכילה כמה רכיבים שקורא עברית מזהה יחד. הטוקנייזר אינו חייב לחלק אותה לפי אותם רכיבים, והחלוקה בפועל תלויה באוצר הטוקנים של המודל.

מחקר שפורסם ב-ACL ב-2025 בחן את האתגר של טוקניזציה בשפות בעלות מבנה מורפולוגי מורכב, ובהן עברית. הוא בדק גם גישה חלופית במודלים מסוג BERT לעברית. הממצא אינו קובע כמה עולה כל בקשה בעברית או איך כל צ'אט יחלק מילה מסוימת, אבל הוא מחדד מדוע אי אפשר להסיק את הספירה ממספר המילים.

אותו תוכן בעברית עלול לצרוך יותר טוקנים מתרגום שקול באנגלית. ב-API זה מתורגם ישירות לעלות גבוהה יותר, או לפחות מקום בחלון ההקשר. הכיוון והגודל של הפער תלויים בטקסט ובטוקנייזר, ולכן טענה כמו "עברית תמיד עולה פי שניים" דורשת מדידה של המקרה המסוים.

החשבון משתנה בין מנוי לצריכה ב-API

בממשק צ'אט לצרכנים, המחיר ותקרות השימוש נקבעים לפי תנאי השירות והתוכנית. מנוי חודשי אינו בהכרח חיוב נפרד על כל טוקן שהמשתמש רואה. מגבלות הודעות או שימוש עשויות עדיין לחול ולהשתנות לפי השירות.

ב-API, ממשק שמאפשר לאפליקציות לשלוח בקשות למודל, ספקים רבים מציגים מחיר למיליון טוקנים. בדרך כלל יש תעריף לקלט שנשלח למודל ותעריף נפרד לפלט שנוצר. בחלק מהשירותים קלט שנשמר במטמון עשוי להיות מתומחר בנפרד, ושימוש בכלים או בסוגי מדיה מסוימים עשוי להוסיף חיובים. יש לבדוק את המחירון והתנאים של המודל המסוים לפני חישוב.

המחיר לטוקן אינו בהכרח שונה בגלל השפה. כאשר התעריף זהה, טקסט שצורך יותר טוקנים יעלה יותר באותו סוג חיוב. גם התשובה חשובה: תשובה בעברית שמתפצלת ליותר טוקנים יכולה להשפיע על עלות הפלט.

כך מחשבים בקשה אחת

נשתמש במספרים להמחשה בלבד: נניח שמודל גובה דולר אחד למיליון טוקני קלט ו-4 דולרים למיליון טוקני פלט. בקשה עם 10,000 טוקני קלט ותשובה של 2,000 טוקני פלט תעלה: