驱动之家 mydrivers
经常用AI的朋友们都知道，要想AI用得爽，是得花钱的。大厂免费给你用的版本，很可能是阉割版，智力有问题，只会接住你的那种。 但这就有个问题了：AI每次回答我，都用的是我花了钱的额度，有时候叽里咕噜说一堆，效率巨低，额度还唰唰掉，心疼啊。 所以有没有一种方法，能让AI回答你问题的时候，效率又高，还能省钱？ 聪明的网友就想到了，汉语是世界上信息密度最高的语言，甚至文言文还是浓缩中的精华。。 那我们用文言文跟AI聊天，对话篇幅大大减少，这算力省下来了，效率不就上来了，钱也扣得慢了，简直太完美了。 比如，把“我去，用户彻底怒了”改成“呜呼，客官震怒”，把“你先别给我瞎bb”改成“何出此言”，让AI也用古文回我。 有老哥已经直接询问AI了，答曰：可也。 毕竟，古人拿文言文省竹简，又何尝不是一种省token？ 但也有人指出盲点：你省了token，消耗的不也是自己大脑的token吗？ 天纵之才也！ 但实际上，江江经过一系列尝试后，可以给大家个结论了： 省token乎？谬也！ 要搞清这个问题，我们得先知道，AI的算力消耗其实看的不是字数，而是token，可以理解为AI处理信息的最小单位。我们说的省钱、省算力，其实就是省token。 于是，我们用DeepSeek V3的token计算器，做了几个实验，结果嘛，非常反直觉。 比如，“用户彻底怒了”是3个tokens，而“客官震怒”是4个tokens。 “永失吾爱”是4个tokens，“她永远不会回来了”却是3个tokens。 甚至蒹葭苍苍4个字，就占了6个tokens，陕西著名美食????面，更是来到了惊人的9个tokens。。 最神秘的还是“免费在线观看”这6个字，DeepSeek那占3个token，GPT那它只占1个token，没有人知道GPT到底在线观看了什么。 所以说，字数越少效率越高这事儿，还真是个纯纯的伪命题。 为啥会这样呢？这就得从计算机是如何存储文字的说起了。 一个汉字在经过计算机编码后，会占3-4个字节，常用的字占3字节，而那些特别生僻的字，3字节放不下，就得占4个字节。而要把这些字节转化为AI能读懂的token，还得靠模型内部算法，它的工作原理其实很像消消乐。 一开始，所有汉字都被拆成字节存放，此时一个字节就是一个token。然后算法为了省算力，就会找那些相邻位置出现最频繁的字节，把它们合并成一个新的token。 比如"你""我""他"这些汉字对应的字节，成天组队出现，算法就直接给他们合并了，所以这些字就只占1个token。 甚至出现次数过多的词语，也会被合并成1个token，比如“用户”“彻底”“疯狂”，甚至“免费在线观看”这个词，都可以成为一个token。 而那些出现几率少的字，比如“蒹”“葭”“饕”“餮”，在训练数据里寥寥无几，BPE找不出字节内在的关联，就像小学生把不认识的字写成拼音，那就只能保存为几个零散的token了，于是1个字就会等于多个tokens。 而因为底层的编码方式，导致所有字符的编码最多4个字节，如果一个字巨生僻，打都打不出来，它就只能像金针菇一样，进去啥样出来还是啥样，不会被合并，所以，1个汉字消耗tokens的最大值，就是4个。 因此，文言文爱用的那些古典生僻字词，在token的交易里，反而是奢侈品，每个字对AI来说都很烧脑。 那既然用文言文不省token，那我要说啥语言才能省啊？ 江江的结论是，没有结论。因为，不同模型的tokenizer，也就是token计算器完全不一样。我们拿同样的文本在OpenAI和DeepSeek那里都跑了一下，结果就截然不同，同一个字在OpenAI这边可能是2个token，在DeepSeek那边就是1个。 这是因为token怎么合并，取决于大模型的训练语料，而不同公司的训练语料构成差异巨大。 OpenAI的模型早期以英文语料为主，在token合并上，自然对英文更慷慨；DeepSeek等国产模型吃了大量中文语料，中文的高频组合见多了，自然就合并得更充分。 当然，模型也在不断进步，各家都在扩大多语言语料的覆盖，不同语言差距已经变得越来越小，所以除非你能把每个模型的token表背下来，不然咱不建议为了三瓜俩枣，抛弃自己舒服的交流方式。 如果非要给个建议，你可以试试用文言文的思路说白话文，比如"你吃饭了没有？"说成"吃了否"，“你是不是有毛病”说成“毛病乎？” 用你自己的大脑模拟一下，找到耗token最少的表达方式，主观能动性不就来了！ 但讲道理，还是不如少说废话，奥特曼就曾经说过，你们整天给AI说谢谢，搞得我们已经多花几千万刀了，与其在形式上下功夫省token，不如从根源杜绝那些不必要的废话。 虽然我根本忍不住，谁能忍住不问候两句呢？ 最后，其实还有个很有意思的视角。就算真有种信息密度大的语言，把token省了，最后费的还是你的脑子。 因为如果一种语言信息密度大，那也意味着，单个token表达的意思很多，歧义也会变大，咱就只能靠上下文理解来消歧，说白了 token 是省了，你还得自己费脑子理解。 比如，给你三分钟，你能读懂“用奶牛的牛牛牛奶，奶牛会不会被牛死”吗？ 所以，其实token在某种意义上是守恒的，AI省的越多，你大脑消耗的token越多，耗费的还是自己的储存的能量。 你想花钱更快，还是肚子饿得更快，就看你自己的选择了。
Go to News Site