有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
WINDOWSCHANNEL孕妇3D
最近免费中文字幕MV视频7
沈倦把林语惊做到哭免费阅读
JEALOUSVUE成熟50MAO
用注射器打水放屁眼里处罚视频
JEALOUSVUE成熟50MAOFF老狼
中考姐姐让我c个够作文600字
C英语老师一节课免费视频
2828手机福利院
718.sx.张津瑜
宝宝我不进去就蹭一会视频
菊内留香金银花原文开车
雷电将军乳液VX网站破解版
韩剧我女朋友的男朋友不是我
成品网站w灬源码入口
聊斋之侠女田郎
tobu16tobu69
九阴真经野草版
绝对控制少x时代
无人区码一码二码三码是什么
最近最新中文字幕大全手机
糖心vlog柚子猫内射频网站
亚欧乱码卡一卡二卡新区
迈开腿让尝尝你的森林动漫
善良的老师3中字巴巴鱼汤饭
宝贝好紧好爽再搔一点试視頻
另类极品VPSWINDOWS
国内精品自线在拍2020不卡
漂亮的丰年轻的继拇3免费看
VODAFONEWIFI另类
性之图图吧2013
错一道题就插一支笔怎么办
无颜之月我花未增删带翻译樱花视频
ssni409
太子被暗卫C到合不扰腿
清纯校花被脔日常H
顶的速度越来越快越叫的作文
传媒XK8027我的妹妹
XAXWASWAS17777777K9O75OXSL
亲爱的老师4韩剧中文字幕
摸小豆豆到腿抖的五式
姐姐的朋友6有翻译
漾出OVERFLOW樱花未增删带翻译
厨房边做饭边做运动的叫什么
TOBU18-25
别急一个一个来C
年轻的嫂子3韩版带中译
丁香花大型社区
相府嫡女1V3
亚洲AV精品一区二区三区不卡
渺渺上体育课当着全班人
太平间里的恶魔
柳岩十二星座离奇事件
日韩欧美中文字幕送别
国产色母和进口色母区别在哪
小荡货夹得我又紧又爽
吃瓜爆料黑料网站
野花免费观看日本电视剧
BLUED片免费观看视频
班长哭着说再玩会坏掉视频
散兵ちゃんが部下を腿法娴熟
公交车两个人一前一后
黄鳝21分钟40秒完整版
JK漫画免费漫画页面在线看漫画免费微信知乎
中国国模03[150p]
中文在线ずっと好きだった
秘密教学93话恩爱久等了免费阅读
4ayy私人影院
优质jing液灌溉系统
肚子里都是同学的尿
2022男男钙GGY钙站
老师你的兔子好软水好多的车动漫
被一条蛇C到崩溃车
健身私教弄了好几次
男朋友C你的时候怎么说你
晚安 おやすみせっくす在线观看
女人50岁半夜莲花还开吗
YW193龙物
才两根手指头就喊疼怎么回事
男朋友咬我的小兔子头会发炎吗
白雪公主STOYA
我家狗狗弄我4个小时
最近中文字幕完整国语
男朋友咬我的小兔子图片
按在桌子上欺负
无人视频免费观看免费直播下载
岳把我的大具含进
为什么舞蹈生的裆部都是湿的啊
高达uc独角兽06
小兔兔被男生咬着的图片
欧美精产国品一二三类产品区别
在车里被撞了八次高C文
麻豆画精品传媒2021网站
含着睡觉是一种怎样的体验
我被两个男人玩到早上
高铁上要了她很多次
御手洗さん家の破洞
日本人算人类吗
坐着吃饭还连在一起
世界上最不得安人1-3纪录片
bgmbgmbgm老太太俄罗斯
rh男男车车的车车视频真人
在破房子里和狗做
老卫和淑蓉的船上生活视频
仙踪林老狼传媒网址
年轻的母亲4有线观
日本无人区码卡二卡三卡四卡
帅气体育生GARY网站MV
斗罗大陆3大乱斗交大配TXT
女人迈开腿打扑克又痛又叫
被多个强壮黑人灌满精H
小峰由衣热血教师
波多野结衣作品封面
用你的舌头我要亲爱的谁唱的
荧ちゃんが腿法娴熟を长弓燧龙
贺朝谢俞做到哭
日本欧美韩国推理片在线观看
肚子里都是他的JY和尿
保守娇妻被别人开发成功
姐弟拔萝卜又疼又叫高新
甘雨拔萝卜图片高清壁纸
老师你的兔子好软水好多作文
阿拉善英雄会7分28秒视频
网址你懂我意思吧
进入母亲的生命之门
啊宝宝的腰好会扭再叫大点啊哈
怪物VODAFONEWIFI巨大
中国精品一期二期三期区别
CHINESE男男体育生腹肌网
老头老太太GMBGMBGM
乱奷XXXXXHD
三个男人换着躁我一
tobu8美国100
趴在办公室被老板们C
从阳台X到卧室边走一步
校花啊哦好猛好力啊哦
可以随意触摸内部位的学校
精产国品一二三产品区别大吗
宝宝你看你喷的到处都是
小红帽LIVE直播
日本无人区码卡1卡2卡免费
97制片厂传媒潘甜甜
女生和男生一起相差差差差差
把老师摁在黑板上做了一节课作文
666西方最大但人文艺术
公交车缓慢而有力的C
伦理电线在2018
一边亲着一面膜胸口的长视频
gaogao8
井川里予被C了
体育老师C我一节课
MACBOOK少女
君の髪や瞳だけで胸が痛いよ
用电动牙刷放在大腿内侧位置
95W乳液78WYW永久YW1129CM
欠C的玩意SB就是用来C的HI
双方同时高C是种什么体验
从阳台X到卧室边走一步视频
污到你那里滴水不止的长文
我跟你老公谁的大
939W乳液78W78永久
被C的时候要喊什么
桃子视频高清免费观看
S货是不是欠C有肉
ekdv-273
真人作爱视频免费网站
免费剧烈运动扑克视频软件
喷泉辛浮H1V3H
日本最大的但的人文艺术
差差漫画网站页面入口弹窗秋蝉
王者荣耀黄化图库
杂交BUCSM人类SSBA
大山里疯狂伦交
得到超级肉禽系统的小说作者
善良的秘书滋味2
又大又长又租高湖
失乐园渡边淳一
国内精自线一二三四2021
宝宝好会夹啊拉丝
小混混被学霸做到哭男男
差差差很疼视频无掩丰富
在车里缓慢而有力的撞着
善良的嫂子4中字巴巴鱼汤饭蘑菇
免费体验120秒视频
宝贝是不是欠C很久了视频
漫画无翼乌全彩无遮挡
1377大但人文艺术演员表
他的白月光HVH
交换娇妻在线观看中字
ず中文在线っと好きだった
嫦娥去掉衣服裤子
14MAY18XXXXXL日
师娘求放过韩国电影
浓毛BWBWBWBWBW日本
女神漫画登录页面免费漫画入口页面
不再是朋友的夜晚动画樱花
糖心VLOG产精国品免费老版
男女无遮挡吃奶gift动态图
宝宝我要把你顶哭了
野花香HD免费高清版6高清版
娇妻被交换粗又大又硬视频
开小黄车细节描写
谢俞被贺朝站着捅哭
女生迈开腿让男人打扑克
欧洲VODAFONEWI喷浆
风间由美 熟女
宝贝我想你用嘴做
女头部位大胸头像
女女开车车好快的车车
几天不见又变紧了
公交车最后一排
原神凝光肉身待客
蜜芽.2722永不失联在线观看
朋友的母亲7在观有限中字
男生说捅爆你的甜甜圈
2023国精产品一二二线免费
JMComicron传送门
女生戴一天仙女棒的感受
男生的GGY钙2023入口
香港新版金银瓶1-5
女生说痛了男生越里寨
国产乱码卡1卡二卡3卡四卡
日本精品一线二线三线区别
双龙NP黑粗撑开宫颈口BL下人
女朋友特别会摇是什么意思
一前一后三个人轮换的英文怎么写
一个一个轮着CNP
小莹客厅激情46章至50视频
1v1肉从从肉到
5个黑人同时玩我
WRITE AS 讲台上
迷情娇妻第104章
梦莹情乱第十一篇1章
女人网站你懂我意思吧
缅北14may18_XXXXXL56endian
迈开腿男人往里怼女人的做法
女生戴一天仙女棒上学的感受
打扑克视频又叫又疼原声
女子半夜莲花开的表现
跑步机上边跑边顶
无翼乌全彩无漫画挤奶
秋葵 茄子 丝瓜 香草 榴莲污网址
把腿再抬高一点就能吃到扇贝了
いっぱいしぼっちゃうぞ在线
讲讲你们doi最舒服的一次
双胞胎一前一后夹心饼干年下
家长会上爸爸们灌满幼儿
ZOOM俄罗斯另一类
妈妈的朋友在完整有限公司中字2
你终于长大了可以做了视频
51国产黑料吃瓜张津瑜
进女小姪女小婷
宿主的任务是收集jyH
儿子比老公大晚上故意到儿子
白晶晶MV果冻传媒妻子的谎言
做AJ的姿势视频教程图片高清版
后营露营第二季无增减
三十种B哪个好图
老公是怎么上你们的
人与畜禽CROPROATION最新版
联谊中的游戏动漫无删减
一区二区三高 清
日本XXXXXL19WASWAS
老卫和淑容全本
上官婉儿的乳液狂飙
家长会上爸爸们灌满幼儿园老师
差差差很疼30分动漫免费
荫道BBWBBB高潮潮喷
做过一次爱的两个人会忘记彼此吗
教练把车开到没人的地方阅读
漂亮的小峓子完整版在
想吃你前面的葡萄
妈妈看清楚我是怎么C你的
小洞饿了要吃大火腿肠吗
初中女生喊疼男生越往里寨游
车子一晃一晃正好掩盖我征文
JUL532外勤突然下大雨
俄罗斯人与物动XXX
JEALOUSVUE孕妇熟50MAOF
4ayy私人影院
男女XX00上下抽搐动态图
当着别人的面要了我
输了被罚让别人玩一个月
CHINESE体育生东北露脸TUBE
成品网站W灬源码16伊园功能
WRITEAS椅子
妈妈的朋友4在观整有限中字
GRAHAMCOXON女儿
一二三四在线观看免费中文吗
引导狗狗干自己哪里
斗转星移女明星
PAYPAL未满十八岁
内衣柜办公室未增减
中国XXXXXL2023年
女生两种高C的表现
日本大但但人文艺术
好儿子今晚妈妈就是你一个人的
我女朋友的母亲15完整视频有翻译
天天躁夜夜踩很很踩2022
麻豆精产国品一二三产区别
什么东西可以当自为棒
我的漂亮女房东完整版
最近韩国免费观看视频
在英语课上插英语课老师
公交车6人轮换C白月
夫妻之间的108种插秧法
坐摩托车车进入身体
用注射器打水放屁眼里故事
一家儿女4口人一起玩
没带套让班长捏了一节课怎么办
上边一面亲下边一面做连续剧
哥布林洞窟SANA未增删带翻译樱花
扑克牌又疼又叫的什么含义
某处紧密的结合在一起的意思
冬日后的樱花韩剧
徐若瑄魔鬼天使下载
96传媒制片厂制作视频
99w乳液78w78w永久
被两个老总前后夹击爽
自我安抚的步骤图
草699一码二码三码四码
18款禁用网站进入
魔鬼部队完整版的播放
第1章厨房春潮
身体秘密 感官世界
好大插起来好痛的文章
腿再张开一点就能吃扇贝了
被c是一种怎样的感受
2023男男钙GGY钙站
妈妈说带好套可以给我视频
一抽一出BGM免费3分钟
成品大香伊煮和小辣椒的用途
和黑帮老大的365天
我的兔子好软水好多H15
中文日产幕无线码6区收藏
国外幼儿精品区
传闻韩国电影免费观看
BGMBGMBGM老太太毛多
被男生口是一种什么体验
我们在线观看免费BD视频
蜜芽资源高清在线观看
为啥很多男的喜欢睡孕妇
laojiumen
女儿成为爸爸的玩具
bgmbgmbgm老头野外
711人体美鮑
我们换个地方做吧未增删樱花视频
简隋英哭着喊着让李玉退出去
老公总是吃我的奶奶说明什么问题
黑料正能量zzzttt传送门
茶杯狐CUPFOX官网浏览器
男朋友找别人一起上我
阿拉善英雄会7分28秒视频
情侣的一百种插秧法
热浪球爱战演员表
XAX MANTA 中国
日本不良网站正能量入口大豆行情
数学老师叫我吃她的小兔兔
浓毛BGMBGMBGM照片
最近2018年中文字幕手机视频
53岁沈阳老阿姨叫得没谁了
rh男男车车的车车视频真人
掌中之物何妍被多少人轮
棉签play是什么东西
性少妇JEALOUSVUE成熟
GRAHAMCOXON女儿
西方大但人文艺术
高中校花陈若雪H校长
三十分钟让你桶个够
干柴烈火儿媳苏姐结局如何
白发弃妃太绝情
被魔尊圈养的仙尊
舌头一路向下探
疯狂守寡多年的的肥岳
jy浇灌系统公交车
为什么把腿开到最大就不疼了呢
人与畜禽的交佩的APP
我年轻的继坶2019
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1