云霞资讯网

比token(词元)消耗之风是否合理?当我们炫耀每天消耗多少token的时候,是

比token(词元)消耗之风是否合理?当我们炫耀每天消耗多少token的时候,是否意味着除此以外,我们并没有什么成果拿出来炫耀?
Meta一度将token消耗去排行,甚至作为员工“All in AI”的新KPI——一种用账单证明态度的管理艺术。某员工的单月2810亿token的消耗。后来这股风气也传到了我国,微信中有一些AI重度用户群,以日消耗1亿token为入群门槛。当Agent需要频繁调用工具,并将工具的结果返回给大模型时,每一次都会将上下文的数据刷新一次。考虑到许多Agent载入系统提示词后的上下文就有1-2万token,再载入点什么内容,然后通过频繁工具调用,的确token消耗很快,但问题是工具调用过程中的不断重复,并不意味着产出了什么。
这就好比刷了步数,然后占据步数排行榜一样。更有人总结,只要当大模型读取一个很长的文档,然后比如逐行翻译写入之类,能频繁调用工具的工作,很快就能刷出天量token消耗了。
历史上每一种“以消耗量论英雄”的KPI,最终都沦为笑话。咨询公司比谁的PPT页数多,互联网公司比谁的加班时长长,现在轮到比谁烧的token多了。