原標(biāo)題：詞元，怎么突然就火了？（有事說(shuō)事·詞元三問(wèn)①）

最近，“詞元（Token）”這個(gè)詞突然火了起來(lái)。

相信在不少人心里，都有一個(gè)問(wèn)號(hào)：詞元為啥這么火？

要解開(kāi)這個(gè)疑惑，不妨先把“詞元”本身弄清楚。

啥是詞元？

詞元，原本只是一個(gè)在技術(shù)圈流通的專業(yè)術(shù)語(yǔ)，說(shuō)的是AI處理文本時(shí)的基本單位，是大模型處理信息的最小單元。

這么說(shuō)可能有點(diǎn)太過(guò)專業(yè)，通俗來(lái)解釋就是，在AI時(shí)代，詞元可以是一個(gè)詞、一段代碼，也可以是圖像或視頻中的一個(gè)像素區(qū)塊。當(dāng)你向AI工具提問(wèn)的時(shí)候，工具里的模型會(huì)先把你的話分解成一個(gè)個(gè)小的詞元，在算力“算”完后把結(jié)果的相應(yīng)詞元拼回成答案。

既然是AI時(shí)代的產(chǎn)物，為何最近才突然火起來(lái)？畢竟AI早已進(jìn)入大家的視野了。

這里，不能不提最近爆火的“龍蝦”。

不管是OpenClaw，還是QClaw等諸多版本，“龍蝦”擴(kuò)散的速度之快超乎想象，越來(lái)越多身邊人養(yǎng)上了“龍蝦”。

為何“龍蝦”爆火把詞元也給帶火了呢？

原因一說(shuō)你就明白了：過(guò)去，我們與AI的相處模式主要是人機(jī)對(duì)話，我們提出諸如“詞元是什么？”“‘龍蝦’怎么養(yǎng)？”等等生活中面臨的問(wèn)題，請(qǐng)AI給出答案。這種情況下，AI對(duì)詞元的調(diào)用量是“被動(dòng)”式的，也就是說(shuō)，只有我們向AI發(fā)問(wèn)的時(shí)候，AI大模型才會(huì)思考，才會(huì)調(diào)用詞元來(lái)解答和處理我們的問(wèn)題。

而現(xiàn)在，各路“龍蝦”的橫空出世，讓局面變得完全不同了。AI不再是被動(dòng)式響應(yīng)的對(duì)話框，而是長(zhǎng)出了智能體，有了“感知—決策—執(zhí)行”的閉環(huán)能力，換句話說(shuō)，AI能“主動(dòng)”干活了，這種情況下，詞元的消耗量就大大增加了。

爆火的，不只是“龍蝦”。

各種AI工具不斷出現(xiàn)，觸角不斷延伸到我們生活和工作的方方面面。

AI給大家?guī)?lái)越來(lái)越多的便利，也讓大家養(yǎng)成了使用AI甚至與AI共生的習(xí)慣。

各位看官，不妨打開(kāi)自己的手機(jī)看看，里面是不是多多少少都有了那么幾款A(yù)I工具？就連今年的春晚也充滿了濃濃的AI味道。

現(xiàn)當(dāng)下，對(duì)許多人來(lái)說(shuō)，遇到需要解決的問(wèn)題，可能不再是“百度”一下，而是問(wèn)問(wèn)AI；在出差途中，用手機(jī)給“龍蝦”下個(gè)指令，整理一份需要的材料出來(lái)，甚至給“龍蝦”設(shè)好鬧鐘，每天定時(shí)給自己“匯報(bào)”關(guān)注的最新動(dòng)態(tài)……小到小學(xué)生，大到老年人，這些場(chǎng)景都成為越來(lái)越多人的生活日常了。

你提的每一個(gè)問(wèn)題，“龍蝦”的每一次動(dòng)作，就會(huì)有無(wú)數(shù)個(gè)詞元在為你奔跑。

數(shù)據(jù)為證：2024年初，中國(guó)日均詞元調(diào)用量為1000億，而到今年3月，日均詞元調(diào)用量已超過(guò)140萬(wàn)億，短短兩年多時(shí)間，增長(zhǎng)了超1000倍。

3月30日，根據(jù)機(jī)構(gòu)最新數(shù)據(jù)測(cè)算，上周全球AI大模型總調(diào)用量為22.7萬(wàn)億詞元，環(huán)比增長(zhǎng)11.2%。其中，中國(guó)AI大模型的周調(diào)用量上升至9.86萬(wàn)億詞元，較此前一周上漲33.94%，連續(xù)四周實(shí)現(xiàn)對(duì)美國(guó)市場(chǎng)的超越。

所以，最近火起來(lái)的“詞元”，并不是新生事物，其實(shí)早就默默在背后給你支招、為你干活了。