有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
漂亮的丰年经的继拇了中
国内精品乱码卡一卡2卡三卡
星空传媒妈妈和女儿闹元宵
外网9分10张津瑜链接
别急妈又不是不让你C视频
很详细的肉肉床文片段
走一下撞一下深深咬合总裁漫画
日本精品一线二线三线区别在哪里
福利院在线合集1000集
大菠萝福建网站引导入口404
一女战三男黑人发出惨叫
一切从裸露开始
回娘家给了父亲
公孙离去所有衣服
疫情期间拿下老妈
偷吃爸爸的擎天柱
同学故意把我的校服当抹布用
麻豆精产国品一二三产区区农民
公交车最后一排被群C的细节
充气娃娃实战演练
考的好妈妈给你做一次
掌中之物何妍被多少人上
家里没人叫大点声干湿你电影
重生之斗破后宫
黎朔WRITEAS人鱼
人与牲囗性恔配小说
女孩迈开腿喂男孩吃草莓膀胱
鲍鱼tv5apk官网app
soe-992
羞羞网页入口页面登陆
日本一品和二品区别
爱情岛论坛首页网址永久
小东西才一根就坚持不住视频
两个人一前一后融为一体
18岁末成禁止观看
朋友把我玩成小喷泉了视频
永远免费的品色堂
我就是要在这里要你
一二三四高清日本播放
张津瑜 VS吕总视频MV完整版
朋友的母亲4在完整有限中字第5
如何在被子里玩自己无声
情侣的30种插秧法图片
无翼之漫画漫画大全集
最近韩国日本免费观看免费
CHINA GARY
公交车最后一排被C
奶头自从被对象摸过就容易有感觉
新铁血战士qvod
我被当玩具发泄的一天作文
总裁尺寸大的进不去
中国人免费的片
总裁缓慢而有力的往里挺送
WRITE AS 导尿
ゴブリンの洞窟sana
麻豆madou传媒
69日本人XXXXX
新手如何自W到高C照片
被压到落地玻璃窗前doi
被抱起来C是一种什么体验
斗罗大陆人物黄化完整版资源
把下面能看湿的句子
XL上司在樱花未增删翻译
把筷子放屁眼里不能掉图片
林依晨版射雕英雄传
岳的毛又黑又厚
春天之光老周赵青
中国帅气体育生gary的介绍
国精产品一区一区三区有限
超级肉禽系统的小说推荐
阿娇张开两腿实干13分钟完整版
看完立马湿的小黄说说
品色堂 永远免费
是不是想让我弄你了啥意思
新版金银瓶1一5电影
绿色视频在线观看免费
姐姐的朋友3韩剧免费观看全集在线观看天才
公司办公室强C了我好多次
自W到高C方法
大佬360DNI2在线观看
色农夫网站导航大全
人的能进入羊的水门吗
男生和女生污污事视频
含羞草传媒网站免费进入欢迎您黄页版
哥布林洞窟 未增删免费观看
把下面能看湿的句子5000字
流了这么多还嘴硬
王者女英雄去掉所有服装不遮挡没有烟雾
18款禁用网站进入
我的我的风流岳每2
男孩子都会夹住女孩子头发
伽罗太华的乳液
年轻母亲3线看完整版2019
京圈公主 多人运动
没带罩子被校霸C了一节课文视频
鄂州一家亲聊天截图
学生免费一卡二卡三卡9
趣事百科宅福利鲁一鲁
两个人一前一后攻击我内容
三个人日的我走不了路技术
性妇VODAFONEWIFI精
宝我想你了涨的好难受啊说说
女教师的特殊按摩2
军舰上女兵免费高清原声满天星
四虎永久地域网名2023知乎
叫大点声今晚家里没人冷
糖心VLOG产精国品免费老版
两个人的视频免费WWW
小洞饿了想吃大香肠喝热牛奶是
star 362
YELLOW高清视频
大尺寸的小黄说说1000字多肉
坤不小心碰到女同学了怎么办
HAIJIAONET海角社区论坛
井川里予被C在哪看
打扑克一边痛一边叫一声正常吗
前后攻击1v2
39W3C张津瑜吃瓜
高清观看ZSHH96的视频素材
BMGBMGBMG毛太多乱码
张津瑜视百度云
YW1639永不失联
老赵抱着月月在厨房做欧美视频
用手指搅乱吧未增删带翻译中文
相亲对象是未增删樱花有翻译
J8又粗又硬又大又爽又网站
公交车6人轮换做
宝宝的骚水喷得到处都是
语文课代表的胸软软的作文
新禁室培欲之爱的俘虏
会员制餐厅完整视频链接
老师您的兔子好软水好多
超级大但人文艺术
男朋友老是要吃我的妹妹怎么办呀
绿巨人推广APP网站
MD传媒作品大全
家长会上爸爸们C幼儿园老师
99国精产品灬源码1688小说
夜里18款禁用b站入口软件
宝宝你好会夹还流这么多
美美哒中文日本免费
小玩具开启高H
旅行者骑在甘雨上做运动
超pen个人视频亚洲
三十六种阴阳技图片
xiao 776
成都4片P视频免费完整版
GTV小蓝视频网站链接知乎
没带罩子让捏了一节课视频
王多鱼打扑克免费高清视频
皇上太长了撞到点了
文笔好有肉的糙汉文
poduoyejieyi
漂亮的韩国家教
开车晚上污痛痛
荫道BBWBBB高潮潮喷
51吃瓜 张津瑜 网
看来太久没人给你滋润了
朝俞writeas
如何一根棉签C哭自己
我可以上你吗日剧
一个老男人把我下边玩肿了
日文中字乱码一二三区别在哪儿呢
双人床上剧烈运动打扑克的视频
仙踪林19岁大陆RAPPER潮水偷轨
性一乱一搞一交一伦一性
Zoom人与Zoom巨大
日本REPRODUCTION OF FOUND
心动时刻简简单单的爱
性治疗营美国2
外国情侣插秧方法
啊学长我们换个地方
我的奶头被客人吸得又肿又红
白洁一夜挨十炮
张雨欣人文艺术欣赏ppt
数学课代表趴下让我桶
南京交通职业技术学院刘梦亿
五个黑人玩一个女5P的小说
国产卡一卡二卡3卡四卡精品
搞机TIME恶心10分钟直接打开网页不要钱
双人床上打扑克又痛又叫的软件
老阿姨一直叫BILIBILI
韩国演艺圈事件
浓毛BGMBGMBGM
公交车上要了我无数次
一个上面吃一个面吸
满肚子浓精涨走路调教
老司机带带我高清版
PAYPAL未满十八岁怎么开通
漂亮秘书的滋味2
被公司领导C了好几次
kk444kk
公交要了很多次
BBOX入门BASS变态重
家里没人半夜就和姐姐睡了
adc影院欢迎你大驾光临
BBW.妇女被内射
韩国绝伦推理片高分剧
五根一起会坏掉的好痛的视频
够了够了已经满了c了
空姐前规则高清观看在线
韩国演艺圈悲惨事件快播
为什么狗狗进入后变大视频
东京热456大交乱高清视频
体育老师拉着我做了一节课视频
父子骨科多r车推荐
好男人资源在线观看高清播放免费
都是同学C一下怎么了?
你弄得人家里都是水的
原神申鹤被空C出白色液体游戏
女朋友会摇是什么体验
精产国蘑菇品一二三产品区
鬼灭之刃は鬼の妊娠を甘露寺
在线观看黄页网站大全电影天堂
日本最大但人文艺术第一组
日本动漫人物打扑克
用大宝贝疏通妈妈的下水道好吗
王者荣耀女生去掉小内 软件
皇帝往下边塞玉器见客
被机器人不知疲倦的干着
公与熄大战柔佳
潮湿的心无删减版
秘密教学90话以后绝不再压抑
漂亮的小峓子完整版在
人与畜禽CROPROATIO一
老狼二区忘忧草大豆行情
免费可以看污污污的网站
小东西这才一根而已还有呢
原神八重神子掀开副乳网站
拔萝卜一边喘气一边说痛怎么办呢
坐在木马的木棒上
第一会所s001论坛
晚上坐大巴车和陌生人坐一块
输了被罚让别人玩一个月
处钕膜被捅出血图片
胸大的姑娘播放动漫视频
中国14岁女rapper
女人50岁半夜莲花还开吗
我们三个人搞一个人啥感觉
折腰小说开车名场面
OVERLORD第四季在线播放
性VODAFONEWIFI另类
关晓彤被华晨宇做出了水
歪歪漫画登录入口免费
亚洲女rapper最强
粉色APP下载无限看-丝瓜 安卓
穿戴式跳D放在里面逛超市的
用卫生纸制作一个假j
BASE掀起ONCHAINSUMMER热潮
国内精品卡1卡2卡区别
将界2第3集大尺视频
你真是越来越耐C了什么意思
同桌上课打开我的腿放震动蛋
掌中之物坐上来自己动
无人区码卡二卡3卡4
扑克牌视频不盖被子
国产麻花豆剧传媒入口
黄晓明尹正合体录制中餐厅6
三级电线在2019
长门和小南拔萝卜游戏
父之过家庭大杂乱经典说说大全
银行行长第二次到家里吃饭
C开你的SB叫出来
斗罗大陆人物黄化3d漫画
吃鸡rap小姐姐
404黄台软件免费下载安装
优质JING液收集器
甘雨哭着让刻晴停下来
午夜DJ观看在线HD高清
MOSTHDCOECTION性
贺朝用棒棒糖桶谢俞
c到哭不止高黄
太子被暗卫C到合不拢腿N男男
吃一次饭做四次爱
群臣在朝堂上却玩皇子微博
剧烈运动扑克网站免费
这几天没C你了是不是皮痒了
韩国美女主播朴妮麦
年级老师的滋味3中字视频
女性的阴性部实图张开
B痒了多久没C了
18岁以上67194
丫头刚开始会有点疼
在县城开零食店春节能卖200万
离婚后和单身父亲做
中国人成熟视频
色母u6与pA6色母区别
无人区码卡二卡3卡4卡伊甸2卡
列车上的小黄说说1000字
CHINESE粗口篮球体育生生
迈开腿我可以尝尝你的小森林视频
中国人在线观看免费的视频
某处紧密连接在一起
人马配速45分钟
顶一下叫一声是什么意思
PS一二级调色大片
ZOOM与人性ZOOMSK
漂亮的桃子5意大利语翻译
差差漫画网站页面入口弹窗秋蝉
荷兰少归BVBV
亚洲无人区码一码二码三码四码
妈妈送给青春期儿子的礼物
女人半夜莲花开很难受怎么办
妈妈愿意让你c
男按摩师舌头伸进去了
WRITE AS 自己分开
学霸写作业让受自己动
果冻传媒MV国产推荐
蜜芽高清完整视频
男生讲讲自己第一次细节真实
俄罗斯19girl video9
国精产品一二二线精华液
吃到自己的小鸡最简单办法
秘密教学52子豪停不下来了
全公司的发泄玩具
废旧工厂被流浪狗涨精装满肚
雨后的小故事 动态
水蜜桃秘密基地
新农夫成人导航
精产国品一二三产区区别手机
r车禁闭室润滑剂
是不是好久没人弄你了表情包
自己扶好了对准确了坐下来
120秒免费体验试看5次
暖暖 免费 日本 韩国BD
男男GARY2023
班长哭着喊不能再C了视频作文
25CARD中国大学高清视频
夹好了去上学不能掉出来的作文
巨年少根与艳妇全文阅读
XZL仙踪林一区
怎么玩自己隐私位置
原神妮露掀起奶盖黄XMAN
深田咏美HND-723在线观看手机
最近的2019中文字幕MV
人与畜禽共性关系的重要性
女士不遮阴内搭图片大全大图高清
被吃扇贝的感觉
原神凝光肉身待客
XMXMXM18
YKC499蜜糖豆
家狗狗卡在我里面痛怎么办
接电话插的说不出话怎么办
YSL千人千色YESE88网站
女儿的朋友8中汉字晋通话
朝俞做题车WRITEAS
我在无限游戏里花式挨CH
舌绕指探洞深深浅
两个上面吃奶吃b
亚洲VS欧洲VS美洲人口对比
撩到女生下面滴水的句子
迈开腿让尝尝你的森林是什么意思
打扑克全程不该盖被子
欠c的玩意sb就是用来c的
BBOX最残忍BASS
三叶草M码和欧洲码区别
宝贝看我怎么破你的初试视频
两个男孩子开车小黄说
爱情论坛观看路线二
十次啦综合怡春院
用我的棒棒疏通下你的水道
做错一题学长进去一次c黄的作文
超级大但人文艺术
老八吃屎奥利给原视频不遮挡
人与善人与善在线观看
榴莲app推广链接
无翼乌无漫画3d无遮
椒小BBWBBWBBWBBW
美女和男生一起差差差图片
王者荣耀姬小满被捅的流眼泪网站
一滴都不准尿出来
注射器放屁眼里灌注牛奶
晚上偷偷看B站免费视频软件投屏
讲讲你们DOI最猛的一次
18款禁用APP网站进入口
腿张大点我就可以吃扇贝了
够了够了已经满到高c了楼道
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1