有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
大尺度穿床震视频韩国
宝宝好大我都握不住了视频
体育课被老师C了一节课作文
男生最无法抵抗的姿势
43417大但人文艺术图片
b站推广入口2023
把两只小兔子吸红肿视频
免费剧烈运动扑克网站大全
在公交车上被一个接一个的C
将界2第3集大尺寸49秒
最近最好的2019中文
公交一晃一晃就进去了怎么办
开车越往下越疼的那种文字
2018国产大陆天天弄
入禽太深麻花影院
艳姆1到6集转码在线观看1
校花被出租车司机强H
国产无矿砖码2023MV
品色堂免费图片
欧美无人区码卡二卡3卡2022
拔萝卜视频图片高清壁纸大全
葵花宝典未满年龄确认请离开
WRITE AS 教授
被自己买的机器做到哭
英语老师的兔子好软水好多
身体送给儿子当礼物
拔深一点今天老师随你
坐在教授的棍子根茎上写
WRITE AS 大腿内侧
麻豆传播媒体入口下载免费版官网
几天没C水就这么多了
ワンピースのエロ资源中文
王者荣耀黄化图库
快穿之c死你h
丫头刚开始会有点疼
斗罗大陆黄化动漫
无遮挡郑媛媛不照雅
GOGOGO大但艺术风格分析
桃花韩国动漫免费官网
大巴车轮轩诗歌摘抄
蜜芽忘忧草768.MON.二区老狼大豆行情网芹菜
没有擦黑板被老师C了一顿
男生晚上睡不着想看点片
男生女生一起查查30分电视剧动慢
接电话顶C的说不出话
济宁郑媛媛 ed2k
女生醉酒被闺蜜用宝宝背带背回
啊哈别别揉那处了
精品亚洲卡一卡2卡三卡乱码
压在窗户上C给别人看窗前
97超碰射射射
国模嫣然生殖欣赏私拍图
男朋友给我买了振荡器
100种禁用的视频软件
大团圆结亲情会高洁
睡过一次和n次的身体变化
精产国品一二三区别
haulotte官网
宝我想你了胀的好难受啊说说
18款禁用软件app免费花季
雷电将军和丘丘人繁衍后代
潘金莲高清DVD碟片免费观看
玩弄老太太的BBB
黑人尺寸太大怎么进得去
gransremedy老太太
公交车最后一排被多人C
2021最新一二三四乱码
秘密教学暗巷内激战
日产2021一二三四免费
晚上睡不着偷偷看B站2022
女孩输了让对方随便处理自己
姑父缓慢有力挺送侄女
两男主同时拥有一女主的现言
麻花豆传媒剧在线MV免费版特色
我的XL上司第2季未增删带翻译
厨房里两只奶头被吸肿
八旬老太太BGMBGMBGM性
粉色视频高清免费版观看
快穿之肉糜蜜花(H)
贺朝醉酒把谢俞C到哭
你的舌头搅拌着我的那里
真人打扑克软件
五月丁香五月伦理
我喜欢几个人日一人我
tokyo hot n0769
龙口护士门视频
摇床和喘气声音音频一样正常吗
教室英语课上用鸡插英语课代表
亲胸揉胸膜下刺激视频免费的
日本一线二线三线四线五线
B越小越过稳图片
迈开腿打扑克没有马赛克
日本实施一卡三卡四卡无卡免费
失控driven
中国bgmbgmbgm老妇和青年交
放课后の优等生未增删有翻译
抱着边走边撞水流了一地的水
被深顶得说不出话
M HBFAXIA
在公交车上被撞出了水消防
711人体美鮑
小镇姑娘无删减播放
精彩无人区一码二码三码四码
校花下面又软又进禁视频
李z瑞事件图片
精产国品一二三类产品的区别
啊宝宝的腰好会扭再叫大点啊哈
人与畜禽狗Croproation
小兔兔被男生吃什么感觉会疼吗
冰葡萄一颗一颗往下体塞
波多野结衣下载地址
男生抓着你双手摁墙边什么意思
空庭寂寞春欲晚
没带罩子让他c了一节课
偷吃爸爸的擎天柱
故意在接电话时做
你的水喷得到处都是
男生和女生一起差差差30分的游戏
痞幼黑料不打烊
泰国淫乐园实录
国色天香一卡一卡二卓越拓展
被逃生游戏npc做哭
宁荣荣把腿抬高我要进去
散华礼弥oad
漫画无翼乌全彩无遮挡
永远免费的品色论坛
狗狗的东西一放里就变大视频
S货是不是欠C有肉
真人作爱视频免费视频大全
xl上司带翻译中文
在英语课上用鸡插英语课代表
晚上打扑克疼的视频声音
野花视频直播免费观看6
厚颜无耻韩国动漫在线阅读
韩漫歪歪漫画登录页面免费漫画入口页面
上课用跳D的经历
无人区乱码三卡四卡
xiaav论坛因你精彩
山东体育猛1打桩小蓝网站
喷泉H1V3HL
早上起床抱紧我樱花
WRITEAS撑桌上
售票员用b验票小镇免费阅读
希儿乳液狂飙天堂W98
日本20岁RAPPER
gaogao8
日本漂亮妈妈7观整有限中
校霸犯错被学霸罚带钢笔去上课
父子骨科多r车推荐
小红帽LIVE直播
张津瑜 最新视频
舌绕指探洞深深浅
是自己坐上来还是我撞上去
用指尖扰乱我吧打烊后2
女人说双指探洞什么意思
戴着电动玩具逛超市
爱情岛线路推荐线路2
和同学一天C了好几次小作文
亚州国产AV精品一区二区三区
倒插莲花是什么样子的意思
醒来发现狗在上我
谁输了去谁家受罚抽阴可处置男生
人和畜禽Croproation
EveIynCIairn黑白配
做在学长的JI巴做作业
斗转星移合成图
用小棒棒通你的下水道
换个方式做吧未增删樱花
19岁潮水RAPPER欢迎您
年轻的母亲6兔费线6
一边膜上面一边下面膜韩国
日本19岁RAPPER老狼
日本精品一线二线三线区别在哪里
同桌把他的J坐进我的下面
14岁RAPPER潮水
进女小姪女小婷
日本一姐潮水RAPPER
输了让对方随便处置作文1000字
女看了会流污水的段子
是不是想让我弄你了
做错一题学长就C一次黄
一个老男人把我下边玩肿了
BRANDILOVEMISSIONARYACTION
年轻漂亮的岳坶9
为什么女的干一炮就老实了
用大宝贝疏通女儿的下水道好吗
九一亚洲精品饰品有限公司
洗衣屋2樱花未增删带翻译樱花
家里没人我弟把我做了
18款禁用软件APP花季传媒
群飞刘亦菲刘诗诗杨幂杨颖
一层一层的剥开我的衣服啊
我年轻漂亮的继坶bd
欧洲最大但人文艺术114
亚洲AV精品一区二区三区不卡
考的好妈妈就给你一次
GAY大陆年轻帅小伙2022
啊别插了视频高清在线观看
对准了自己动不然不给你
IPHONE欧美高级特色
双清专线日本线日本道
糖心LOGO免费观看甘雨
儿子你比你爸的都大
上课没带罩子让他c了一节课
正义联盟4小时完整版
孕妇RAPPER潮水偷轨
公交车女子上演疯狂2
边做边爱3完整版
把英语课代表的处破了
数学课代表的胸摸起来软软的
妈咪湿透的三角裤
95w乳液78wyw永久
中文字日产幕码三区做法
女教师的特殊按摩2
搞机time恶心
女生的小雏菊长什么样!
psp太鼓达人dx dlc
野花日本HD免费高清版视频
97ai蜜桃欧美图片
47大但人文艺术欣赏
男女打扑克的APP
黑暗荣耀朴妍珍打扑克是哪一集
春暖花开炎狼门派
朴妮唛29分钟完整版
taiyangdehouyi
厨房强奷同学麻麻
中国ZLJZLJZLJZLJ喷
几天没C是不是又痒了网站
黑白配HD高清
狗狗射速好烫的视频
70CHEAPWINDOWSVPS
手指怎样自W到高C
男生插曲女生身全过程
刺激妇乱子伦短篇
人文艺术视频是什么意思
没带罩子让他c了一节课
超砸在线观看免费视频
妈妈的朋友在完整有限中字第4
男娃JY灌溉系统
这几天没C你了是不是
C开你的SB叫出来
WRITEAS强制
2012手机在线看免费观看
女儿今夜以身相报父亲怎么办
小娇乳H边走边欢1V1视频国产
雨后的故事 动态图
斗罗大陆女生去掉所有服装软件
菊内留香 金银花
8X8X网最新地址
BGMBGMBGM老妇
班长 求您关掉开关吧
一天到晚上用了好几个小雨伞
快乐谷情趣商城
公与妇仑乱HD
注射器放屁眼里灌注牛奶
两个家庭换女儿玩
男生和女生差差差30轮滑免费下载
japonensis成熟大豆
sis0001第一会所
八重神子下面草出白色液体
娘王virgin
雨后小故事动态图片
扑克剧烈运动打扑克视频
双指探洞手势图片
输了让同学玩全部位置作文
关上最后的门吧未增删带翻译樱花
男生把坤坤放女生坤坤里开元
把自己扣的全是水的视频
看我是怎么C的你叫出来了
年轻教师的滋味5在观有限中字
在办公室捡到老师的遥控器
国产精华液2020
哥两个人一起会坏掉的视频
污到你那里滴水的说说细节多
老狼忘忧草二区大豆
贝茜我们开始做吧1982
可以随意触摸内部位的软件叫什
资源你懂我意思吧
爸爸缓慢而有力的撞着
老湿电影院体检区
侯马市性侵女生
《药效》1V2H
每天把你做到起不来
车上做运动视频原声
俄罗斯13 14处
大龟慢慢挺进张娟征的休
黑料不打烊668SU痞幼视频
无人区乱码1区2区3区
日本一姐RAPPER潮水太
关上最后的门漫画
胡桃N开襟乳液狂飙视频网站
瘾欲欢愉作者半块小饼干
无人去码一码二码三码区
幸福宝8008隐藏入口2023
等不及在车里就要了我
疯狂的肥岳原始
2分30秒不间断踹息声音频MP3
爸的大还是你老公的大
上边一个日下边一个非念啥电影
聊斋之玉壶春瓶
我十二岁就做了不干净的事怎么办
18款禁用网站进入
输了让所有人玩全部位置的游戏
ZOOMSERVO兽狗
得到超级肉禽系统的紫岭红山
仙踪林19岁RAPPER - 八零婚纱摄影工作室
斗罗大陆黄化网站直接进入
二人扑克剧烈视频运动
5G影讯5G探花多人运动最新网站
无人在线观看免费高清直播
校园大尺寸的小黄说说1000字图片
凹凸女BBWBBWBBWBBW
换个地方做吧未增删动画动漫
是不是每一个b都一样感觉
缠着腰不让退出
精东影业传媒出品
和父母换着玩大家庭三
数学课代表趴下让桶我rh网站
丰年经的继拇中文3应用特色
涩涩屋草莓榴莲秋葵绿巨人
我被公满足舒服爽视频
晚上听到婆婆叫使点劲用力
成品网站W灬源码16伊园功能
离婚了天天跑去日前妻
14MAY18_XXXXXL56ENDIANMOGO
女神漫画免费登录
岳喜欢张开下面让我看
宝宝你好会夹还流这么多
13岁PG可以塞下多少根马克笔
王者荣耀把公孙离玩喷了
年轻的母亲2在线高清完整版中文版
迈开腿让我尝尝你的扇贝漫画
大巴车最后一排被C细节
色农夫网站导航大全
舌绕指探洞深深下一句是什么?
日本1卡2卡卡3卡乱码
日产精品一线二线三线
acome玫瑰
14MAY18XXXXXL日本
亚洲码一码二码三码区别
深度开发1v3阅读
japonensisJAVAHD大豆行情
精品卡一卡二新区仙踪林
办公室内衣樱花未增删翻译
被深顶得说不出话
女生看了会湿的污段子
顶的速度越来越快越叫
欧亚专线欧洲s码wmy卓越拓展
十七岁中国高清免费观看
60分钟上大床
电动猫尾巴PLAY
涩涩屋草莓榴莲绿巨人秋葵的特点
亚洲不卡在线2卡3卡4卡5卡
野草一二三四地区乱码
高中班级玩具小诗嗯啊
英语老师没戴套让我C了一节课
兽王ZOOM CLOUD MEETINGS
妈妈说家里没人我们可以那个
黑帮大佬我和我第365天
国精一二二产品无人区
豆奶app下载汅api免费下载ios
班长没戴奶罩让捏了一节课怎么办
深度开发1v3n
野花视频最新免费
14may18XXXXXL深入
CHINESE体育GARY网站
欧洲RAPPER潮水
哥布林洞窟 未增删免费观看
塞住了下星期回来我检查
没带罩子让他吃了一天没事吧
奖励自己的隐私位置是什么
男朋友给我买了振荡器
108式春床图片欣赏
撩她上瘾(黑暗森林)
爷爷总是趴在妈妈身上睡觉好不好
晚安おやすみせっ3在线观看
51精产国品一二三产区
厨房一次又一次的索要摄入
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1