有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
性能之巅第2版和第1版差异
在摩托车上要了你
晚上家里没人就让你弄
黄金网站app免费视频大全
天美传媒国产剧影视公司
伽罗といちゃつきたい腿法
男生女生一起差差很痛的APP下载安装2023
吃顿饭做四次爱
炖肉计(是今)海棠
孙悟空用金箍棒桶紫霞下方
儿子那东西比丈夫的都大
女生把筷子放屁眼里不能掉作文
野花日本HD免费高清版7
宝下面都湿透了还嘴硬疼咋回事
538porm在线播
漂亮的小峓子4中字巴巴鱼汤饭
写的超细的开车文知乎
女神漫画登录页面免费漫画入口页面
同吃一家三女齐上阵
如何将自己隐私玩到哭
群臣在朝堂上却玩皇子视频
赵露思乳液头实出
公交车一动就撞一下撞到最深处
拍摄指南BY飞机纸飞机
拔萝卜一边喘气一边说痛怎么办呢
黑人巨茎大战白人女40CMO
露娜用猴子的金箍棒玩
上边一个日下边一个我的字的意思
男朋友用筋膜枪把我玩哭
真实血淋淋处破女流血
讲讲自己第一次细节真实知乎
暖暖高清视频免费
妺妺第一次啪啪好紧WWW
男朋友C你的时候你会说什么
日韩中文字幕推理大片
女厕厕露p撒尿在线播放
老婆说她想尝试多人怎么回复她
分手那天我们做了八次视频
好紧好湿太硬了我太爽了文字
母亲6免费完整高清电视剧在线看
小SB怎么欠C啊
玩伴猫耳娘ova
炎のおっぱい身体检测仪器
南昌一中掏脑子挖眼睛
两根棉签如何把自己玩哭
被压到落地玻璃窗前doi
宝贝我们去卫生间做吧
每个月老板都要玩我几次
69麻豆天美精东蜜桃传媒潘甜甜
张津瑜 6分35秒
蜜芽国内精品视频在线观看
无限资源2018免费观看
以后你的B就是我的饮水机
成都4片P完整版视频动漫
精品卡一卡二新区入口
蜜芽tv.2722永不失联下载
丑女图片越丑越好
他的白月光HvH笔趣阁团叽叽
老何大战雨婷三部
我的漂亮女房东中字
超pen个人视频公开视频
中国MACBOOKPRO高清在线观看
把跳d放在里面坐公交车白月
PLAY BOYY泰剧电视剧在线观看
课堂上时间暂停为所欲为在线阅读
3分25秒痞幼
老公总是吃我的奶奶该怎么办呀
偷偷藏不住40集完整版
麻豆精东星空天美MV
奇怪的美发沙龙3韩语中语字
摇摇晃晃公交车XX5
老公总是吃我的奶奶该怎么办啊
浏览器正能量网站
中国高清WINDOWS在线
如果抱过亲过吃过摸过算什么关系
朋友的娇妻好爽好烫嗯
整篇都是车的多肉
19偷偷鲁青春草原视频
娇妻初尝粗大滋味借种韩国电影
在街上他突然按了遥控器
17may18_XXXXXL56endian
一区二区无码精品AV
我们三个人搞一个人啥感觉
爸爸的朋友2免费中字翻译西瓜
一线二线无人区乱码
女士开襟乳液狂飙
墨燃把楚晚宁按着干
小婷又嫩又紧又滑又多水
长城小队花木兰被队友日
一个人被3个人同时C了描述
babycat98女rapper免费
八重神子焯出白水怎么办
杨幂13分钟20秒
坐着震动器写作业WRITE AS
大菠萝福建导航引导入口
贺朝醉酒把谢俞C到哭
把它堵住不能流出来吸收
充气娃实战过程图片
芭芭拉ゃんが腿法娴熟を
最近最新中文字幕大全手机
再爱我一次 逆爱
友田彩也香qvod
caopor男频超碰
linode日本iphone乱子第1次
当着全班人的面做
从后面抱着妈妈突然脸一红
迷人的保姆线观高清完整
旗袍全开襟做双人运动人民网
行吧有你春暖花开
朋友的妈妈6在观整有限中字
宝宝我不进去就蹭一会视频
成品网站源码入口隐藏通道
人们俗称的拔萝卜
家庭大杂乱经典说说大全图片
比赛谁输谁去谁家受罚随便玩
成绩不好成为全班的坐便器
张津瑜 落地窗 视频
被体育老师c了一节林妙妙
朋友把我玩成了小喷泉
吧有你春暖花开
变形计 化不开的网
25岁的女高中生
柳州莫菁门事件
充气娃娃实战演练
永久939W75W75W乳液
江疏影2分28秒链接
接电话插的说不出话怎么办
漾出overflow2未增删带翻译
甘雨被盗宝团挤椰奶
别出声不然就被发现了
一个男生弄哭另外一个男生
八重神子享受翻白眼流口水视频
中国人免费高清视频大全
女朋友特别会摇是什么体验知乎
麻豆传播媒体APP官网在线观看
19岁RAPPER潮水偷轨仙踪林
只要一顶嘴就会被主人扇巴掌作文
儿子妈今天是你的人了视频
在公交车上要了无数次
HD2linode iphone69
快让我吃一下你的小扇贝什么意思
黄版直播APP
波多野结衣电影在线观看cesd819
酒瓶塞住不准掉下来
啦啦啦在线视频免费观看4
深田えいみ禁欲后被隔壁人妻
在公交车里把跳d开到最大
麻花传媒XK8046在线观看
夜趣福利必上官方导航
午夜香吻免费观看视频在线观看
家里没人儿子就弄我了视频大全
怎样把女朋友玩成小喷泉
迈开腿吃尝尝你的小草莓感觉
YW1639永不失联
娇吟公车系500章
爷爷厕所照顾妈妈一直叫
拔萝卜 全程不盖被子拔萝卜
旅游妈妈给了一次
人与马是怎么交流配的
变形计 化不开的网
狗狗射速好烫太怕了春雨医生
yy6090新视线看
农村情侣电动车野战
冰冷总裁带玉势上班
文轩上体育课课用跳d的感觉
爱情岛永久免费线路二视频
猫咪国外永久地域网名是什么
NARUTO HENITAL
巨人精品福利官方导航
第一精品福利导福航
韩国的床震无遮掩
菠萝蜜国际通道一区麻豆
几个健身私教弄好几次了
18岁末成禁止观看
王者荣耀姬小满被捅的流眼泪网站
聂小雨黑皮衣5分多钟视频原版
男朋友摸小兔子细节描写
中国免费XXXXXL17
给我播放片高清MV观看
女人私密唇突出
XAXWASWAS17777777K9O75OXSL
中国XXXXXL19免费视频
全家一起来黄霞徐家大团圆
上官婉儿的乳液狂飙
女儿初长成爸爸来尝鲜食品的祝福
你信不信我现在做哭你
女人高潮时一夹一夹的正常吗
变形记化不开的网
939W78W78W乳液安全
最经典的两人轮流取珠题目
男朋友说该插秧了
金鳞岂是池中物候龙涛
李宗瑞108集在线观看
李宗瑞108集在线观看
公交车一次又一次
全程车的百合推荐短篇
美景之屋妈妈的朋友在线观看
域名不定更换_请及时收藏
重生之超级肉禽系统
用点力今天家里就你和我
中中文日产幕无线码一
没带罩子让他C了一节具体写文
国精产品999永久中国有限公司
埃及艳后 电影国语
如何把自己弄到喷泉视频
水渍声和撞肉声连成一片
学长两个人一起会撑坏的视频
三门齐开女人疼苦吗
污污免费看锕锕锕锕锕锕三小
wow动如脱兔
精品一线二线三线无人区
污网站WALLPAPER共享人可以看到订阅
霍雨浩手撕唐舞桐的衣服
公交车被蹭的流水了怎么办
放课后的职员室未增删带翻译选集
善良的老师2中字巴巴鱼汤饭惹人
WINDOWSCHANNEL孕妇3D
中国rapper潮水孕妇
体育老师在单杠C了我一节课网
迈开腿尝尝你的草莓是什么味道的
蜜桃成熟时33d在线观影
色达天藏分女尸全过程视频
lululemon露露瑜伽服
亚洲一线产区二线产区区别在哪儿
父亲缓慢有力挺送儿子车文
Javaparser厨房好妈妈
最近日本字幕MV高清在线电影
云缨的乳液长什么样
早就想在学校要你
刻晴被盗宝团捅的叫个不
14MAY18_XXXXXL56ENDIA免费
原神角色黄化网站视频下载
老阿姨一直叫BILIBILI
在车里两个男人舔我
日产无人区一线二线三线新版
JMComicron传送门
性一乱一搞一交一伦一性
一码二码三码区别日本
把头埋在茂密的丛林中
女生说疼男生越往里寨APP游戏
永久939W75W75W乳液
5G天天奭多人运动 在线观看免费网
by1259改哪里了
班长是我们班的存精器作文
爸爸缓慢有力送女儿的句子
在把腿张大点我就可以吃到扇贝了
品色永久免费论坛
韩国演艺圈事件
语文老师说哭着说不能再睡了
隔壁机长大叔是饿狼
小东西他想你了给他好不好
冰块一粒一粒往下边塞图片
爱的人韩国高清完整版
如何弄到自己喷泉
宝宝的骚水喷的到处都是
甘雨安慰下部CG漫画在哪看
女性被深耕后的表现
芳草地社区在线视频
国外精产品W灬源码1688免费
乱码卡1卡2卡3含羞草
女生越说疼男生越往里
消失的她免费观影
夜里18款禁用B站入APP软件
秋葵草莓茄子香蕉丝瓜榴莲污在线观看
漂亮妈妈4高清中字韩国
玩弄老太太的BB
老太太80CHEAPWINDOWSVPS
春暖花开xing
原神申鹤开襟乳液狂飙
群臣在朝堂上却玩皇子微博
娇妻在我面前被多p
babycat98女rapper免费
宿舍三攻一受肉双
整集都做的美剧
体育老师拉着我做了一节课作文
着迷 阿司匹林
夏天短袖见到女同学乳突图片
毛卡1卡二卡3卡4乱码
69无人区码一二三四区别
八年级隐私能塞几支笔
父亲缓慢有力挺送女儿的话30字
夏天的约定 枫牙
欧美精产国品一二三类产品特点
津渝视频完整版哔哩哔哩
啊哈别..别揉那处了
xiaav 这里因你而精彩
老奶奶能叫woman吗
怎么自W到高C详细教程
惠氏奶粉好不好
暖暖视频日本版免费完整
作的女朋友叫的快哭了
14MAY18_XXXXXL56ENDIANKINO
坐在学长的棒棒上学作业
女生会喜欢开双门吗
交警用菊花检查酒驾的文章
俄罗斯XXXXXLMEDJYF
怎么让女朋友变成小喷泉
女性看了会湿的句子
坐在父亲紫色大龙上写作业
多想再做一次你的姐姐作文范文
漂亮的桃子2意大利语翻译
冲动的惩罚动漫HD在线播放
父子骨科多R车
中国人も日本人も汉字を
相府千金1v3
女教师的特殊按摩2
御宝天师无弹窗
黑料不打烊最新地址入口
大型丁香成人社区
JEALOUSVUE成熟50MAO
糖心vlog柚子猫内射频网站
W乳液939永久W78
刚结婚每天晚上折腾几个小时
幸福宝8008隐藏入口2023
原神甘雨从尿道口挤出白色脓液
欧美A级SUV大全
纤夫的爱无删减版动漫百度云
日本边添边摸边做边爱边
最近ZOOM人牛OKZOOM美国
男人给女人添P添到高潮吗
国精产品WNW2544A
触摸隐私位置的游戏叫什么
父亲缓慢有力挺送女儿
吃老婆扇贝吃肿了
麻花视频V3.2.2纯净版
AAA传媒有限公司
舌头一路向下探索找到花朵
YSL千人千色T9T9T9最新网站CODE1016
做到你明天起不来
嗯嗯宝宝大声点快
奥利给吃粑粑原视频
学长的双指探洞疼哭了
年轻的女职工在线观看
免费3圾片在线观看
国精产品WNW2544
公交车被弄得走不动路走不说说
原炀WRITE AS震动器
剧烈运动扑克牌
男男车车好快的车车流水视频
亚洲日本一线产区二线产区在哪里
99w乳液78w78w永久
黄到你那里滴水不止
把极品白丝老师啪到腿软
河南妇女毛深深的沟WCD
赵露思AI人工智能造梦
ているのエロ资源
白洁一夜挨十炮二十章节
第二代国产自在自线
国产乱码二卡3卡四卡
51大豆行情网仙踪林
野花视频手机免费观看完整版
刘玉玲flypaper电影
娇妻被领导抱进卧室
浪漫满屋泰国版12
B站大但人文艺术图评价如何
随时随地都能干的学校HR
公交车最后一排被C细节描写
亚洲日本一线产区和二线产区对比
野花韩国视频观看免费高清8
好姑娘1免费观看完整版中文
日本欧洲美国中国韩国产
我的小兔兔被男生越捏越大
没带罩子让他C了一天作文
丁香花大型社区
把自己弄成喷泉
绿巨人推广APP网站
善良的年轻的馊子3中文在线播放
99国精产品灬源码1688
老师迈开腿让尝尝你的森林应用
日本VTUBER在B站直播的钱
麻豆画精品传媒2021一二三区
二次元人物桶二次元人物动漫
宝贝它想你了感受到了吗车上
bgmbgmbgm毛多多视频1
bt天堂在线最新版官网
BEB-079
我被继亲开了苞
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1