平均1个token代表0.5至1个汉字，而能代表0.75个单词，明显地，程序不是中国设计的。这样的情况，中文效率低很多，特别是在LLM下的智能管理，效率低几十倍。 本来，汉语LLM下，平均1个token理应代表2个汉字左右甚至更多。这样的话，LLM智能体，汉语效率要高几十倍。 希望我国能有自己的原创程序，改变这一不利的局面。
平均1个token代表0.5至1个汉字，而能代表0.75个单词，明显地，程序不是中国设计的。这样的情况，中文效率低很多，特别是在LLM下的智能管理，效率低几十倍。 本来，汉语LLM下，平均1个token理应代表2个汉字左右甚至更多。这样的话，LLM智能体，汉语效率要高几十倍。 希望我国能有自己的原创程序，改变这一不利的局面。
评论列表