有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
开襟旗袍做运动狂飙乳液
饭桌上故意张开腿让公在线看
宝宝的好大我都握不住了的说说
公共厕所POOPING
女人被两根茎同时进去图片
日产精品无人区
想品尝小姑子的味道
PYTHON人狗大战CSDN
年轻的母亲6完有限中字
张婉悠厕所门是什么
溢出OVERFLOW2未增删带翻译
老王头的幸福晚年张倩倩
无颜之月我花未增删带翻译樱花视频
四人轮换C一人
原神凌华内无布料无小爱心
风流老板俏秘书豆瓣
一个人被3个人同时C了
夜里十大禁用B站APP
仙女棒坐姿图片大全
すているのエロ资源天堂
打扑克牌又疼又叫视频原声免费
群臣在朝堂上却玩皇子微博
40岁阿姨荒野大镖客
40部AI明星造梦赵丽颖
HONGKONGDOLL看片黄
班长笑着手灵活的调着遥控器作文
走一下撞一下深深咬合的小说
野花日本大全免费观看3中文
M必做自虐羞耻行为
适合自W看的文段
林浅浅被汆日常NP
金花瓶梅花6线上观看
老湿机影院试看十分钟
按在镜子前窗c
马总喜欢我的两颗小葡萄
春暖花开吧有你cc
用我要灬我要灬我要灬造视频
心疼儿子给他一次可以吗
处处吻全程拉丝伸舌头
张津瑜7段51吃瓜
俄罗斯13 14处
圣城风云第二季
日产精品一二三四区气温
上边一面亲下边一面膜的作用
一上一下不停运动免费声音
刺激妇乱子伦短篇
果冻传媒母亲和女儿李琼
乳液狂飙图片奖励自己一发
精产国品一二三产品区别在哪里呢
蜜桃传媒天美传媒京东传媒DO
日产一二三四十入岁区
5G天天奭5G天天运动快点播5G16M网址
晚上被弄得走不动路走不了
疫情期间草老妈
沈倦把林语惊做到哭
JAGNEXSMAX在日本
津渝视频完整版哔哩哔哩
被机器人不知疲倦的干着
打扑克视频发出声音
她被顶的说不出一句完整的话来
我和大佬的365天
花蝴蝶日本大全免费观看7
为什么狗狗放进我里面就变大
日产中文幕无线码8区
为什么女的做过以后满面红光
被套上自动挤奶器性能怎么样
几天没C你是不是皮痒了视频
51CG.吃瓜特色
14MAY18_XXXXXL56ENDIAN印
艳娒1一6全集无删减版
bmgbmgbmg多毛看
野花韩国高清免费神马百度
公交车一摇一晃双指探洞视频
差差漫画网站页面入口弹窗秋蝉
BGMBGMBGM成熟交
ゴブリンの洞窟游戏特色
喵绅HCMOIC士18
老卫和淑嫆第一次在船上
玛雅maya 确认 已满l8岁
秘密教学93话恩爱久等了免费阅读
狗狗配人怎么配
家长会上爸爸们灌满幼儿园老师
9612黄桃网站进入页面小说
69无人区码一二三四区别
精产国品一二三产品区别9977
家长会上爸爸们灌满幼儿
老太太80CHEAPWINDOWSVPS
从镜子里看我怎么C你的阅读视频
最近中文字幕无吗
5g影库在线年龄确认
YASEE亚瑟中文最新
王者荣耀小乔喷了的表情
榴莲app下载网站进入色板
全是肉的高h短篇列车
一面亲上边一面膜下边的免费
免费日产区乱码2021软件
王者荣耀伽罗捅到流液晶
潘甜甜手机的秘密
国产DB624色谱柱88690
晚上剧烈摇床运动视频
开会被塞跳d开最大挡不能掉
精品推荐国产精品店
1区2区3区4区产品乱码区
三个人一起C感觉
一面亲上边一面膜下边的应用
脱色摇床实验室振荡器雷安
妇乱子伦真实故事
中国小鲜肉gary西北军军2022
刺激的乱亲初试云雨
妈妈的朋友10在观完整有限中
精产国品产品的推荐
国精产品1688在线
男生把自己的QQ放进女生的QQ
污网站WALLPAPER共享人可以看到订阅
小洞饿了想吃大香肠的注意事项
色母u6与pA6色母区别
认命吧!金牵牛
你男朋友是怎么上你的
共享双胞胎齐娜齐琳
国精产品一品二品国精破解
早上起床抱紧我第1集
张津瑜事件聊天内容
公交车里抓着摇曳的手环诗情
哪里可以看奥运会比赛视频
语文老师说哭着说不能再睡了
欧美无人区码卡二三卡
wow动如脱兔
以我的长度试试你的深度
女生吃坤巴难道不恶心吗
公交车轮C关老师
麻豆传煤官网APP入口免费
把两只小兔子吸红肿
和搜子居的日子2
爱福利视频广场福利视频
是不是想让我弄你了视频
TOBU16_18
我坐在学长的鸡上写作业作文
夜夜春2008旧址
男按摩师舌头伸进去了
羞羞漫画登录页面免费漫画入口网站
我们两个C的你舒服吗
mignon动画什么时候
GTV小蓝视频网站链接知乎
扒了语文课代表的衣服
同城交换俱乐部
婉莹满足了十几个农民工视频
4480新热首播
腰一沉冲破了那层障碍
麻花视频3.2.2
动漫人物将机机插曲漫画网站
亚欧乱码卡一卡二卡新区
18款禁用软件app葫芦入口
你们男朋友怎么C你的
第一会所综合社区s001
和爸爸吃饭的时候连在一起
adc欢迎您的大驾光临
顶的速度越来越快
潮水19岁rapper
母亲dna和儿子dna一样不
上面一边亲下一边面膜是什么意思
夜里18款禁用二次元游戏大全
王者荣耀英雄打扑克软件
小东西你要负责灭火
たと花火と在线观看动漫免费
清明小长假来了蚂蚁庄园
公交车被蹭的流水了怎么办
杨幂13分钟20秒
女友的妈妈9中语字追剧电视剧
麻花豆传媒剧国产MV网站入口
两个人怎么搞才能生孩子
一边做饭一边狂躁怎么办呢
动漫人物桶动漫人物视频软件
在英语课上用鸡插英语课代表视频
仙踪林Xzlcompany limited
野花视频在线观看播放在线观看6
满了太满了溢出来玩具
男友说迈开腿尝尝你的草莓包子摊
嫩草研究院2021隐藏网址
学生的妈妈5中韩双字多
正义联盟4小时完整版
真人情侣剧烈做运动的表情包
99国精产品灬源码1688
真人作爱视频免费网站
亚洲无人区码一码二码三码的含义
迈开腿让学才尝尝你的
英国的巨人DannyD
xiaav因你
精华液一二三产区的区别在哪
当兵的晚上都很猛吗为什么
客户的东西比老公的大
胸大做起来有什么好处
激战2奶玉组合技
麻婆豆腐传媒一区二区三区
我和亲妺妺性的开始
缅北14may18_XXXXXL56endian
人鲁交YAZHONGHU
鬼灭之刃は鬼の妊娠を甘露寺
一卡二卡三卡四卡免费
处女的诱惑在线观看
温暖叶非墨车内做
她被顶的说不出一句完整的话来
色翁荡熄又大又硬又粗又视频
一天接待20个客人肚子会鼓吗
老公晚上是怎么玩你的
去医院面试被院长弄了
厚颜无耻韩国动漫免费阅读视频
东北大坑原始欲爱
镜子里看我怎么进入你阅读视频
十世宫缩剧烈做着生
公翁的大龟挺进秀婷
.把你里面填的满满的视频
男生女生一起差差很痛的APP下载安装2023
为什么抽的越快叫的声音越大
家风贞静(禁忌GH)结局
韩国妈妈的朋友观整有限中字
恶魔三胞胎的囚宠
老公睡了我妈我同意了
精品乱码卡一卡2卡三免费
.把你里面填的满满的视频
极品教师全文阅读无删减
如何骑枕头上下移动图片
TOBU16TOBU18
随时随地都能干的学校HR
0ADC大驾光临未满十八岁5G
双人床上做剧烈运动
和游泳教练的水下运动
小受被老攻C到哭着求饶视频
果冻传媒一二三区艾秋游戏
柳青青人体艺术图片
俄罗斯人与ZOOM人的区别
网站你懂我意思吧
18岁女孩开襟衣服
浪小辉GARY2023小蓝
亲吻摸摸蹭蹭抱抱哔哩哔哩
脱美眉内衣小游戏
旅游妈妈给了一次
小学六年级差差差很痛带声音
被学长C了一节课怎么办
高中班级玩具小诗嗯啊
斗罗大陆人物黄化
污到你那里滴水不止的文章
东北女人下面痒直叫
仙踪林19岁大陆RAPPER潮水偷轨
两人打扑克剧烈运动又疼又叫
用用点力快要到了
铃芽户缔免费完整版
放里面睡觉是种什么样的感受
一不小心溜进了母亲的生命里
日本vodafonewifiAPP
比赛输了任对方看和玩部位
宿主的任务是收集jy活命小说
啊哈哈哈哈主人我错了哈哈哈哈柯
家教老师 考满分就能一整天
青梅竹马是消防员2未增删动漫剧
失乐园渡边淳一
嫩草研究所入口一二三四
CHINAGARY武警体育飞机
大菠萝福建网站引导入口404
公交车双指探洞醉汉
坐着轮流提双腿能起到什么效果
大腿中间一张嘴顺口溜
他的手游走在两座山峰
没带罩子被校长摸了一节课
啊 你别往里塞了 疼
夭天曰天天躁天
为什么狗狗放我里面就变大图片
异世之无良邪尊
斗罗大陆人物3D黄化视频
小丹乖让我再进去一次的导演是谁
你下水好多下水道BD
后车座的疯狂运动
天天啪夜夜干2007
雷电将军乳液VX
手机调成震动夹在中间
17CGCG吃瓜官网黑料爆料
年轻的小峓子4中字巴巴鱼汤饭
情侣剧烈做运动的表情包
BGMBGMBGM成熟交
扑克牌高清照片免费的软件有哪些
性能之巅第2版和第1版差异
宝宝好会夹啊拉丝什么意思
芳草地社区在线视频
136大但人文艺术
OV我最喜欢的母亲的第一个转变
一上一下做运动的动态表情包
语文课代表趴下让我桶免费放
日式像素黄油小风港下载
无忧传媒在短视频领域的成就
电车之狼怎么玩
原神甘雨安慰部下CG插画
七咲枫花恶心图片
几天不C水这么多
免费体验区试看120秒
晚上剧烈运动打扑克的软件
疫情期间在家日老妈
张柏芝艳原图全集
按在桌子上欺负
男男车车的车车视频真人
东北speakingathome
麻花传媒XXYZ0076沈芯语
麻花豆剧国产MV在视频播出
中文字字幕乱码电影1
老师的大兔子好软水好多的
CHINESE直男口爆体育生外卖
xl上司带翻译樱花动漫带翻译
我想吃你扇贝里的水
儿子暗示我想上我
日本RAPPER老师
渺渺当着全班人在体育课上
穿了内衣却有一半乳晕没遮住
FRXXEE中国XXEE护士
宝宝好会夹啊拉丝什么意思
宝宝才两根手指就流了
一整夜都连在一起没有退出来
我一边做饭一边被躁了动漫
老狼信息网仙踪林八零婚纱摄影工作室
欧派浴室2樱花未增删带翻译
我们结婚了世界版中字
渺渺体育课夹按摩器跑步光阴
叫大声点今晚家里没人冷教授
CHINESE男男体育生腹肌网
404黄台软件平台
在她流尽了她的乳液之后
无人在线观看免费高清动漫
压在阳台玻璃上做给别人看0
少女视频哔哩哔哩免费观看
张柏芝殖器十二图片
3DNAGOONIMATION_HONKAI无尺
英语老师不戴罩子让我捏一节课的
免费看美女裸露无档网站
女生自己奖励自己的视频
娇吟公车系500章
妇乱子伦交野战小说
玉蒲剧3普通话
王爷扣腰撞入体内
亚洲码与欧洲码的区别三叶草
16岁女生迈开腿打扑克正常吗
刘耀文在宋亚轩塞震动
用注射器打水放屁眼里的视频
王者荣耀貂蝉喝自己的液晶视频
什么样的B型最好进好玩
学霸将遥控器开到最大
我父亲的女保姆是我的首选评价
老师不行太粗坐不下去
白晶晶MV果冻传媒妻子的谎言
没有擦黑板被老师C了一顿
肥胖BBMBBMBBMBBMC
AI替换JENNIE喷水
暴躁妹妹csgo独特玩法揭秘
成都4片p免费完整版
你进来了吗我要开始叫了表情包
xiaav因你而精彩
女人喊疼男人却往里寨打扑克
和同学一天弄了好几次小作文细节
深田咏美HND-723在线观看手机
拔擦拔擦8X永久华人网址
老公弄我的时候婆婆看到了
宝宝才两根手指就哭了
杨敏思版1-5完整无删减版
一面亲上边一面膜下边表达
男男车车好快的车车真人免费网站
都生过宝宝了还这么紧
饭桌上故意张开腿让公在线观
免费夜里18款禁用B站软粉色
爸爸我怀了你的孩子免费阅读
小红输了让小明随便处置
校霸写错一题学霸就放一支笔
404黄台软件免费下载大禁用APP游戏
性一交一乱一伦一色一情孩交
秘密入口3秒自动转接连接
迈开腿让尝尝你的小鸡的视频
丰满肥女巨肥BWWBBWW
公孙离去所有衣服床上
翁公用舌头吃我下面
解脱mm内衣小游戏
日韩中文字幕推理片
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1