Token 计数器介绍
Token 是大语言模型处理文本的基本单位,大致相当于 0.75 个英文单词或 0.5 个汉字。模型的上下文窗口、API 计费都以 Token 计数,写提示词、控成本前先数 Token 是基本功。
本工具采用近似分词规则估算:英文按 BPE 常见词元切分、中文按字与常用词组合、数字与符号单独计元。估算结果与主流模型的精确值误差通常在正负 5% 内,足以支撑成本预估与长度控制。
除 Token 数外,工具同步显示字符数、中文字数、英文词数与预估行数,并按可自定义的单价(每百万 Token)折算 API 调用费用,输入输出两端都能算。
使用步骤
- 11:粘贴或输入待统计文本
- 22:查看 Token 估算结果与字符词数明细
- 33:按需输入模型单价(每百万 Token)计算费用
- 44:修改文本实时重新统计
适用场景
- 写 System Prompt 时控制上下文长度
- 估算批量文本处理的 API 成本
- 检查翻译稿是否超出模型上下文窗口
- 对比不同方案提示词的 Token 开销
实用小贴士
- 中文场景按 1 汉字约 0.5-0.6 Token 心算最快
- 系统提示词每次请求都重复计费,长 Prompt 的成本大头在重复部分
- 估算值用于规划,精确计费以模型厂商账单为准
常见问题
为什么不同模型 Token 数不一样?
各厂商分词器(tokenizer)不同,同一文本计数有差异。本工具给出通用估算,用于跨模型比较足够。
费用单位是什么?
按你输入的单价折算,支持元或美元每百万 Token,输入什么单位输出就按什么单位。
支持文件上传吗?
当前版本为粘贴文本统计。超长文本可分段粘贴,结果累加即可。