(资料图片)
推特用户 Dylan Patel(@dylan522p) 发布的一张图片显示，大语言模型使用不同语言的成本差异很大。
这名用户展示了一张牛津大学的研究显示成果。根据对GPT-4和其他常见大语言模型的研究，由于 OpenAI 等服务所采用的服务器成本衡量和计费的方式，英语输入和输出的费用要比其他语言低得多，其中简体中文的费用大约是英语的两倍，西班牙语是英语的 1.5 倍，而缅甸的掸语则是英语的 15 倍。
根据牛津大学的研究，让一个 LLM 处理一句缅甸语句子需要 198 个词元（tokens），而同样的句子用英语写只需要 17 个词元。词元代表了通过 API（如 OpenAI 的 ChatGPT 或 Anthropic 的 Claude 2）访问 LLM 所需的计算力成本，这意味着缅甸语句子使用这种服务的成本比英语句子高出 11 倍。
词元化模型（即人工智能公司将用户输入转换为计算成本的方式）意味着，除了英语之外的其他语言使用和训练模型要贵得多。
这是因为像中文这样的语言有着不同、更复杂的结构（无论是从语法还是字符数量上），导致它们需要更高的词元化率。例如，根据 OpenAI 的 GPT3 分词器 ，“你的爱意（your affection）”的词元，在英语中只需要两个词元，但在简体中文中需要八个词元。尽管简体中文文本只有 4 个字符（你的爱意），而英文有 14 个字符。
关键词：
推特用户DylanPatel(@dylan522p)发布的一张图片显示，大语言模型使用不2023-07-31
7月26日，小鹏汽车和大众汽车向汽车行业释放了一枚重磅炸弹-双方将面向2023-07-31
据保定发布官微消息，河北省保定市防汛抗旱指挥部决定：因保定市强降雨2023-07-31
永宁启动飞速重建按钮部分滨海景区开门迎客2023-07-31
中国物流与采购联合会副会长蔡进表示，指数回升，反映出整个经济的运行2023-07-31
暑假期间，来自贵州师范大学、天津师范大学、宁夏大学等10所大学的学生2023-07-31
7月31日，生意社HDPE基准价为9307 50元 吨，与本月初(9087 50元 吨)相2023-07-31
自科创板实行保荐机构另类投资子公司跟投制度以来，券商纷纷申请设立另2023-07-31
北京时间7月30日，除了中国女篮主队在亚洲杯上取得了好成绩之外，今年2023-07-31
1、答:北京东方文化艺术学院于1983年建立，由当代油画大师吴作人先生生2023-07-31
第15分钟，巴萨获得前场右侧的任意球机会，任意球开到禁区弧顶处，佩德2023-07-31
来源：媒体滚动来源：北京商报在海南三亚育才生态区，1400亩榴莲树今年2023-07-31
一、指定代理人是什么意思指定代理人即由人民法院指定代理当事人进行诉2023-07-30
通过向全球公开征集，日前，2023中国国际数字经济博览会志愿者服装设计2023-07-30
近日，在社交平台不少网友分享自己收到陌生快递的经历↓快递打开里面是2023-07-30
长光华芯近日接受机构调研时表示，全资子公司苏州半导体激光创新研究院2023-07-30
7月24日—30日是2023年全国老年健康宣传周。老年人是慢性病患病率和发2023-07-30
三棵树披露半年报。公司2023年上半年实现营业收入5,735,909,725 48元，2023-07-30
在接受SportMediaset采访时，小因扎吉回应了与卢卡库有关的情况。在利2023-07-30
卡拉彼丘测试服获取资格方法一览，卡拉彼丘是一款超好玩的二次元射击游2023-07-30
1、这个楼盘地理位置在武汉江夏区纸坊大街的核心主城区。2、周边商业交2023-07-30
新华社莫斯科7月30日电俄罗斯首都莫斯科市市长索比亚宁30日在社交媒体2023-07-30
尤文正在美国备战热身赛，而阿莱格里和弗拉霍维奇在训练之余进行了一项2023-07-30
1、西安和平中学很好。2、值得去上学。本文到此讲解完毕了，希望对大家2023-07-30
“我开的这个餐厅是以炸鸡为主的餐厅，从装修风格到食品设计都围绕年轻2023-07-30
