有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
337VT最大但人文艺术西方
一下又一下撞到最里面文章
和亲公主19楼
整篇都是车的文章
被夹在中间当磨心最后会怎样
年轻的保姆5线观高清多鱼
人与禽性7777777
FULAO2粉色标原版本下载地址
史莱姆のエロ刻晴二维码
九一传媒制片厂的制作水平
把女人弄特爽黄a大片
打扑克直播下载
在教室伦流澡到高潮HGL动漫
父母儿女媳妇一起来玩的说说句子
缘之空第几集开的车几分几秒
文轩宋亚轩自己做扩张直播
不行快拨出来现在是上课
GAY大陆年轻帅小伙2022
一区二区无码精品AV
车里强行打扑克又叫又疼
全美超模大赛第十二季
WRITE AS 尿口
可以直接进网站观看的正能量
《桌球上的艳遇》韩国在线观看
我的极品岳坶34章
美国ZOOM与人
搞机TIME恶心网
授课方式BY肉馅小水饺
IJGN禁止18岁以下下载软件
WINDOWSCHANNEL孕妇3D
花城谢怜车长干哭
牧场videos skool
倒插莲花是个什么动作
原神甘雨安慰部下C插画在哪
Zoom美国另一类
班长是全班的玩具
被抱在墙上C是什么感觉
精品卡一卡二乱码新区
家长让我坐在振动器上写作业
儿子一晚上要了我三回怎么办呀
总裁尺寸大的进不去
全彩无翼乌之邪恶老师
tttzzzsu黑料入口吃瓜
脱mm内衣小游戏
pppd-297
甘雨哭着让刻晴停下来
伽罗といちゃつきたい腿法
一品道一卡二卡三卡
言教授要撞坏了笔趣阁相似的小说
1和0是怎样进入做的图片
腿再分大点就可以吃到扇贝了
快猫成人短视频app
妈妈的朋友在观5完整有限中字
WRITE AS 多人PLAY
国精产品69永久中国有限
迈开腿打扑克没有马赛克还有牛奶
白丝脚上的浓浓的精华液
2016年2月里番
5g影库在线年龄确认
晚上睡不着偷偷看日本B站
男生晚上睡不着想看点片
PYTHON人狗大CSDN
仙踪林老狼传媒网址
小诗的公交车日记1一7
打扑克视频用点力有声音
哈尔滨70岁丰满老熟女
再见美丽小姐剧情分集介绍
狗的速度很快又大又烫
和平精英中女性的乳液
动物胶配方视频高清大全动
国精产品6666
萌白酱17分钟视频
公交车上荫蒂添的好舒服小说
办公室娇喘的白丝老师在线看
家公吃我三年奶
ZHANGJINYU视频哪里有
优质RB灌溉JY系统海棠初一
爆裂さすらい在线播放
女的越疼男的越往里寨的应用
718吃瓜网张津瑜
夹枪带棒1v2是谁写的
上边一面亲下边一面膜的程序
情侣的30种插秧法
你和对象最疯狂的一次
腿张大点就能吃扇贝了
男男GARY2023
大尺寸的小黄说字多肉办公室
手从小腹一路开到丛林处
夜趣第一福利官方导航专业
宝宝的好大我都握不住了的说说
暴躁少女CSGO图片
聊斋艳谭之灯草和尚
被村长狂躁俩小时玉婷视频
滑滑梯越往下越疼的那种图片
在教室伦流澡到高潮HGL动漫
最大但人文艺术
没做过的能放进几个指节
腿再张大点就可以看到小扇贝
最近韩国日本免费观看免费
真实的妇乱子伦
爸爸太大了撑不住了
蜜桃文化传媒有限公司招聘
英语课代表上面好软在线播放
爷爷吃我的R头
SAO货腿张开JI巴CAO死我
偷看娇妻被交换
W永久9392W乳液
做错一题学长进去一次c黄的作文
如花似玉如饥似渴
2019年手机伦理
国精产品一二三线999
有没有肉很多的糙汉文
日本剧烈运动摇床运动打扑克视频
hennessy女rapper
日本一姐RAPPER潮水是什么
WRITEAS塞红酒瓶
男生坤坤放在女生坤坤里开元棋
做错一题学长就往里插一支笔
黑帮大佬我和我第365天
装睡让我滑进她的身体
B站大但人文艺术舞蹈推荐
精产国品一二三产品区别在线
俄罗斯XBXBXB兽交
太阳能光伏论坛
深度开发1v6笔趣阁
差差差30分钟很疼视频无掩
双人床上做剧烈运动纯开小黄车
自W到高C的50种图片教程视频
西门庆日女尼姑视频大全
才几天没C你水就这么多了
宝贝低头看看我是怎么爱你的
桃花社区在线观看免费观看
你的太大了装不下了
按在桌子上欺负
儿子耕种母亲的田
秘密通道3秒自动载入
24小时视频在线观看免费观看
没带罩子让他吃了一天没事吧
明星ai智能人脸替换网站
刘亦菲斗转星移
51成品网站W灬源码
年轻的母亲2在线高清完整版中文版
你们老公玩你的时候都是怎么说
春暖花开 性8yn
学校的公共公用便器
几天没C你是不是痒了
原神甘雨被x哭还不断流东西
蜜芽高清完整视频
自W方法和步骤图片
喷泉1V3HL辛浮
被窝里可以怎么玩自己处
梅姨到底有多恐怖
强行挺进朋友漂亮的娇妻作者
整篇都是车的文章校园
小雪把双腿打开给老杨看5
姐弟拔萝卜又疼又叫高新
日本ZLJZLJZLJ
漂亮秘书的滋味2
欧洲一卡二卡三卡
动漫美女禁处受辱图
善良的小峓子在前线观看
欲体焚情百度影音
宝妈吃12岁儿子的鸡
漂亮的小峓子5中字巴巴巴鱼汤
日产2021一二三四免费
院子里公开惩戒(下)WRITE
好妈妈8中汉字
洋房里的小草莓1V3全文免费
在大街上打开遥控器开关
半夜发现外公趴在妈妈身上
小东西我们两个C你视频
白丝双马尾被疯狂输出
tobu16tobu69
师娘求放过韩国电影完整观看
小镇姑娘无删减播放
老板不让穿乳罩随时揉H
Q14MAY18_XXXXXL56ENDIAN
潘金莲高清DVD碟片免费观看
绝对控制我的学校2
王者荣耀小乔喷了的表情
打扑克时刚进去疼不疼
女儿的朋友中字头
无翼乌全彩无漫画大全老师
国产乱码一卡二卡3卡4卡网站
楚晚宁墨燃所有肉车微博截图
你男朋友都是怎么上你的
娇妻出轨的秘密
孙尚香教刘禅写作业
被他们玩得走不动路
段嘉衍路星辞肉车终身
啊哈别别揉那处了
交椅BY金银原文笔趣阁
如何弄到自己喷泉
51黑料吃瓜每日精品
韩国妈妈的朋友6整有限中字中国
污到你那里滴水不止的文章1000字过程
中考前妹妹让我C1次
公交车动一下就撞一次视频
淑芬两腿中间又痒了
中文日产幕无限码一区有限公司
我坐在学长的鸡上写作业长篇文字
欧洲最大但人文艺术114
坐在木马的木棒上
椅子上放一根很光滑的木棍
日本2021免费一二三四区
老扒和三个熄妇
人与畜禽CORPORATION
父亲在车里缓慢而有力的撞着
三个人一起玩3Q详细经过
成片人卡1卡2卡3手机免费看
三个人换着躁B一PL
jmcomicron mic18c mic 入口
舒婷1一20全文阅读
无人区码卡二卡3卡4卡有限公司
几天不见怎么这么湿
公交车撞到最里面去了视频
乐可车车的图片
JIIZJIIZ亚洲女人水多
非洲四个黑人rapper组合
空姐前规则免费观看
林妙妙被体育老师
中国老奶奶vpswindows
榴莲app下载网站进入色板
早上醒来他的东西还在里面
不知火舞之公园狂欢
张筱雨《魅惑2》图片
随着马的奔跑而律动皇上
翁熄系列欲仙欲死
校园列车上的小黄说说1000字
你终于长大了可以做了
麻豆WWW传媒入口
1码2码3码4码无人区
年轻母亲8免费观看在线高清
李z瑞事件图片
亚洲无砖码砖专区2023公司
大尺寸的小黄说说推荐
宝贝错一题c一次漫画
老师家里没人你用点力视频
厨房挺进旗袍班主任
扒开大腿就可以吃到扇贝吗
漂亮的小峓子中字巴巴鱼汤饭
boylove欧美
不对劲的监考老师像素游戏
放心我只在外面蹭一下
男生把坤坤放女生坤坤的蘑菇视频
别急晚上英语老师就是你的人了
夏天的约定 枫牙
电车之狼r秘籍
诱人的女邻居2中文字幕在线
歪歪ss入口页面弹窗秋蝉在线
大雨天和驾校教练在车里
学渣坐在学霸的鸡叭上写作业文章
是不是好久没人弄你了
国精产品一品二品国精品69XX
上楼梯每走一步就撞得更深
群飞杨幂赵丽颖刘亦菲
朝俞做题车WRITEAS
斗转星移女明星合成
新最终痴汉电车
校霸错一题打一下PG
迈开腿让我尝尝你视频
宝贝它想你了感受到了吗
桃汁糜烂NPC
被窝里的公息第十三章
无忧传媒短视频运营
斗罗大陆2神界大乱斗交大配
杨幂哭着说不能再深入了
把手脚绑上拿刷子刷尿道孔
wow动如脱兔
47147大但人文艺术怎么样
火影忍者女性角色去内成品
贝茜我们开始做吧1982
成网站w灬源码1688
小学生如何自己安慰自己新手
帝台娇宠鸾帐欢公主端木摇
宝宝我想吃你胸前的大白兔奶糖
慈禧的秘密生活高清完整视频
696969大但人文艺术主题
张铁泉死亡现场
瑶脸红流口水流眼泪翻白眼
被俩个黑人前后破苞的女人
国产又黄又硬又粗
他缓慢而有力的撞着王爷
亚洲日本一线产区和二线
办公室狂肉校花H陈舒
小蓝彩虹男男GARY2022
产区一二三区下卡2021
极乐院女子高寮物语
大众女浴室高清摄像头
夜里18款禁用B站大全
王者荣耀嫦娥卧床流水
我们结婚了世界版中字
我们换个方式做吧未增删动
滑进了母亲的生命之门怎么办
王者荣耀西施害羞流口水的表情
男朋友问我要不要玩3个人的
玉渊谭天究竟是什么人
国精产品一码二码三M
小峰由衣热血教师
YW.8827.龙物视频永不失联
曜给镜做剧烈运动的视频
japanese日本护士booloo
上面一边亲下一边面膜是什么材质
ekdv-273
迈开腿让我尝尝你的扇贝漫画
国产又黄又硬又粗
腿张大点就不疼了
日本插曲的痛的30分钟欢迎您
一边做饭一边躁狂怎么办呢视频
深田咏美在线视频无码
学长在学校无人的地方做
英国的巨人DannyD
刚开荤的女孩子是不是收不住
14岁学生迈开腿让打扑克免费
茄子视频无限看-丝瓜IOS苏州晶体公司红
小东西几天不见又变紧了
你快叫啊我就喜欢听你叫
花蝴蝶日本大全免费观看6
嫦娥狂飙乳液奖励自己一发
国色天香精品一卡2卡3卡
好湿JK漫画可以自动下滑阅读
被体育老师c了一节林妙妙视频
元歌和西施拔萝卜拔出血拼音
马的太长了能进吗
大肥波BBWWHBBWW
详细描写C的过程
如何一根棉签C哭自己
蜜芽737.mon.忘忧草大豆网
太华伽罗被X哭还流东西
新红楼梦艳情版
把腿张大一点我要吃你的小扇贝
吃鸡rap小姐姐
朝俞做题车WRITEAS
书记太厉害了太长了
老赵抱着媛媛在厨房做饭视频
麻花豆传媒剧在线MV免费版特色
白妇少洁高义全文阅读
孩子没有睡老公就侧面做
3个学长一起上我会坏的作文
女生说痛男生越往里寨的视频
你真是越来越耐C了什么意思
宝宝的好大我都握不住了的说说
男女一起差差差很疼痛软件
小鲜肉GARY2023飞机小蓝
农妇肉体AABBWHBBW
醒来发现狗狗在上我
最强RAPPER女潮水仙踪林
全棵女性艺术写真
坐公交车被别人c了的感觉
美国军妓 百度影音
妇乱子伦真实故事
一抽一出BGM免费50分
ZOOM人牛OKZOOM美国
国产一线产区二线产区
精品日产卡一卡二卡国色天香
免费剧烈运动扑克视频链接网站
宝宝看镜子里我们的结合
你终于长大了可以做了
2021王者荣耀天堂图集
最好免费观看高清播放
性成熟黑人双插美国1819
王者公孙离爽到流泪流口水照片
詹妮弗的肉体完整版
美女被黑人40厘米进入
彩虹男GARY视频2023
台湾SWAG官方网站进入方法
每签一单都要被客户日
年轻的阿姨5在观整有限中字
日漫动漫人物将机机插曲漫画视频
强烈推荐的多肉糙汉
校霸被学霸拿遥控器控制
国产一产二产三精华液
电车之狼r详细攻略
国色天香一卡二卡三卡四卡视频
最近免费中文字幕完整版HD
第一次顶开妈妈的生命之门
青梅竹马是消防员 无马
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1