有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
全美超模大赛第十五季
过来自己趴好选工具小视频
中文字幕乱码2
yeezy380蜜桃粉和白色
交换:朋友的妻
摇床和喘气声音
WRITEAS吊带
rh男1做0车车的车车视频网页
甜蜜惩罚2樱花未增删带翻译
高清人和猪又细又长像钻头
妈咪直播打扑克
军舰上女兵免费高清原声满天星
快好喷水视频连续登上热搜
接电话被顶的受说不出话
群飞杨幂刘亦菲唐嫣赵丽颖
口工漫画全彩无遮漫画
数学班长哭着说太深了门派站
注射器放屁眼里灌注牛奶视频
白天是狗晚上是丈夫
爱情岛论坛网站线路1
中国青少年garyXXNN
妈妈说家里没人我们可以那个
zhangjinyu视频网盘
品色 免费论坛
开车视频小黄车视频免费下载
老师的兔子好多软水好多动漫
14may18_XXXXXL56endian49
午夜dj视频在线直播
坐摩托车车进入身体
差差差无掩盖视频30分钟
班级每人C了我半小时班长
吃饭时某处紧密连接在一起视频
榴莲app下载网站进入色板
女婿次次有力杆杆到底笔趣阁
你是我的女人4免费观看
世子很凶插花弄玉前进后出小说
公交车后车座的疯狂的做细节
坐着轮流提双腿能起到什么效
公孙离去所有衣服被捅
掀开衣服左边吸完吸右边知乎
BGMBGMBGM老太太交视频
女性被深耕后的表现
小东西我们两个C你视频
唐三把比比东埇的不亦乐乎
大地资源中文第二页日本
西方37大但人文艺术人山踪林
偷看娇妻被交换
在无限游戏里花式挨CH视频
原神申鹤开襟乳液狂飙
妈妈的朋友12完整视频有翻译
宏翔小蓝视频GY2022的特点
日本动态120秒免费
ACCA少女网课韩国
被C的走不了路
火影忍者禁图h大全
人物动物交互狗片段
重生之祝英台遇到马文才 在线
最近韩国日本免费观看MV
坐在有木棒的椅子上是什么感觉
已满十八周岁带好卫生纸
韩国女主播种子
天降女子未增删带翻译樱花
母亲ちゃんとしようよっ翻译
塞跳D的一天感受详细作文
诱人的女邻居9中文观看
ssni-392
小燕子乾隆在马车上的欢乐
青梅竹马是消防员未增删动漫
云缨去掉所有小内流口水图片
小妖精撞得你舒不舒服
公么天天吃我奶躁我的
中国韩国日本在线看高清
原神八重神子被捅出乳液
夫外出被公侵犯中字电影
2022年最新中文字幕
美国VIDEOSCRIBE
顶的速度越来越快越叫
纳西妲坐旅行者的胡萝卜
车子一晃一晃正好掩盖我们什么
麻豆精产国品一二三产区区别
宝宝都湿透了还嘴硬会怎么样
私人家庭影院3355
色天使色护士在线视频
xiaav因你而精彩
小护士献身取精
世界上最不得安人1-3纪录片
无翼乌全彩无漫画挤奶
LINODE日本IPHONE熟睡下载
善良的老师3完有限中字木瓜
51无人区码一二三四区别图片
青梅竹马是消防员 无马
亚洲乱码卡1卡2新区3
热浪球爱战演员表
日产一二三四十入岁区
镜子里看我怎么进入你视频
日本乱码卡1卡2卡三卡重新
才两根手指头就喊疼怎么回事
美国xaxwaswasfilm
无翼乌无遮挡全彩教师漫画
吃警察爸爸的擎天柱视频
穿越优质JY收集系统游戏
一区二区视频传媒有限公司
最近最新在线观看免费高清完整版
国内18岁女RAPPER老狼
燕氏四个和尚播种
为什么放里面要动呢
13277大但人文艺术照
布洛妮娅翻白眼乳液狂飙
马人配驴杂交种好吗图片
露娜用猴子的金箍棒玩
跳DAN放在里面坐公交知乎
我一边做饭一边被躁了男男
吃八重神子的乳液
国产精华精华液一二三区别
宝贝我们去卫生间做吧
另类老太婆BBWBBW
羞羞首页登录无限阅币免费
你就可尽的弄我们娘俩
岳今晚让我玩个够肥水一体探岳体
妖精动漫官方登录页面入口弹窗
亚洲专线S码和M码的区别
妈妈的朋友在完整有限中字第4
台湾仙踪林XZL
女式襟开免费地暖网站
一个人视频在线观看日本
走一步撞一下 湿透许安愉
小受被老攻C到哭着求饶视频
为什么睡过黑人一次就回不去了
色农夫网站导航大全
双人床上剧烈运动打扑克的视频
行吧有你春暖花开
又大又长又租视频
锕锵锵锵铜铜铜铜好大
榴莲app下载进入网址
亚洲卡2卡三卡4卡2022老狼
两个男生怎么做不可描述的事情
美美哒免费高清影院在线观看7
把两只小兔子吸红肿视频
帅气体育生GARY网站MV小蓝
肚子装不下了尿液公交车
精品亚洲卡一卡2卡三卡乱码
相对湿度po阿司匹林催熟
最强RAPPER潮水偷轨
办公室跪下拉开拉链吃应用的特点
日产VS国产VS韩产
农夫导航最新网址
无人区一码二码三码区别
OVERFLOW樱花风车动
被黑人做的白浆直流
八戒八戒视频中文
金瓶瓶之爱的性奴2
小米和爷爷和爸爸宴会
女生把筷子放屁眼里不能掉视频
做AJ的姿势视频教程图片高清版
欧美精产国品一二三产品区别在哪
少妇各种鲍鱼p
忘忧草在线影院www日本
二指探洞感觉要喷了
成品网站W灬源APP免费
公孙离去所有衣服跳惊鸿
老师好紧张开一些
污到你那里滴水不止的说说细节
当兵的晚上太猛
厚颜无耻韩国动漫免费阅读视频
中文在线12月18日快速反弹
国产无人区码卡二卡3卡4卡网站
永久免费品色堂
女人的阴性图片
别人玩自己隐私位置玩到哭
与女神同行评价
欧洲victoryday
日本欧美韩国推理片在线观看
TOBU18-25
一朵莲花三个莲蓬
全班的公共玩具坐便器
男朋友老是玩我的小兔子
女头部位上半身胸头透明
男生插曲女生动漫版
写作业写着写着就插起来了
我才上六年级就C过了作文
女生戴一天仙女棒上学的感受
星空无限传媒XK 8027我的妹妹
atlanticocean巨大
jy灌溉公交车唐小米
内衣柜办公室1-3怎么看
孕妇震BBOX
漂亮秘书的滋味2
男朋友平时都是怎么上你的
儿子把坤坤放入妈妈的坤坤里
没带罩子被校长摸了一节课
八重神子去掉小内趴在地上打扑克
女儿国3在线观看免费版高清
W永久939W乳液66
公交车6人轮换C白月
未来超模15季
WRITE AS 两根
粉嫩RAPPERDISSSUBS欢迎您
宝宝这才几天没做水就这么多顾延
女子打扑克一边叫疼一边喊
花季传媒v3.072黄每天免费三次下载
十九岁韩国HD免费完整版
中文字幕乱码2
嗯啊桌子下抽插NP
无颜之月我花未增删带翻译樱花视频
夜里18款禁用b站
我在开会他在下添的很爽视频
冲动的惩罚完整版动漫
王阿姨IPHONE13
王熙凤的牡户一张一合
刺激妇乱子伦短篇
爱情岛路线1线路2线路3京东唯品会苏宁易购
柚木提娜 ed2k
顶级RAPPER潮水日本
英语老师没带罩子让捏了一节
日本VTUBER在B站直播的钱
吉泽明部 种子
带着跳D走路舒服吗
插曲的痛的视频漫画
亚洲小鲜肉帅哥GARY
麻豆蜜桃丝瓜绿巨人糖心秋葵
交流1V3多肉
啊哈哈哈好长啊
又大又长又租免费看
八重神子去内奖励旅行者
妈妈朋友齐上阵
最近中文字幕在线的MV视频
老师你感受到它变大了么
黑料不打烊导航首页SEO
小诗的玩具日记笔趣阁
朋友换娶妻2韩剧
日本乱码无限2021芒果
女女开车车好快的车车
女生和男生在一起差差差体验
夜里18款禁用二次元游戏大全
污污的文章让人起反应
欧洲最强rapper潮水网
关晓彤被华晨宇做出了水
艳情短篇合集1一160
迈开腿给我看看你的草莓文章
性极强的岳让我满足
首长含着她的胸挺进柔软里
老婆不傻不天真
麻花豆传媒剧国产MV出差
用注射器打水放屁眼里处罚视频
小诗的公交车日记1一7h
欧美无人区码卡二卡3卡
女人大荫蒂毛茸茸视频
木叶的性处理番acg大全
2022GGY钙同
蜜桃传媒天美传媒京东传媒DO
被抱起来C是一种什么体验
美女图片禁欲系高级感
李燕刘国栋羞答答的那些事
男生的坤坤放到女生的哪里
是自己坐上来还是我撞上去
成熟50 WX老狼大豆行情
北北北砂王者荣耀禁满天堂
女厕厕露p撒尿在线播放
丰裕纵满杨玉环2588
公交车最后一排直接做
18款禁用软件app葫芦入口
压在阳台玻璃上做给别人看0
夜里怎么自己一个人弄自己
看镜子里的你流了多少水
禁欲电影观看完整版
一边说嗯一边喘气的声音怎么形容
苍老师最后一次
深田咏美HND-723在线观看手机
718吃瓜网网站入口
男生说吃兔兔的过程
公交车缓慢而有力的C
sky-258
农妇肉体AABBWHBBW
情欲小说龟全文阅读
ipz046为什么被称为神作
欧洲VODAFONEWIFI喷浆乌克兰
亚洲和欧洲一码二码区别
剧烈运动扑克牌
在床上拔萝卜又疼又叫什么
人与畜禽的交佩的APP
白雪公主被树干哭的故事简介
黑料网-独家猛料-曝光揭秘zztt
老公当你面吃婆婆咪吗
小东西几天没做水又变多
麻花传媒剧国产MV网站
世界上最不安心的人
oldwoman老太中國
厚颜无耻韩国动漫在线阅读视频
邻居按摩人妻HD三级
课后辅导(教室羞耻PLAY慎入)
我得到了妈妈的桃花源
公交车6人轮换c白月是
淑蓉又痒了办公室献身
好姑娘1免费观看完整版中文
打扑克视频用点力有声音
暖暖视频播放免费韩国
消失的她免费观影
女方输了任男方处置清清1000字
3ce奇米四色眼影奇米8888
女生主动让男生看自己的坤坤
做扑克运动全过程视频教程
小娘惹剧情介绍
小东西才一根就坚持不住了
如何在家中自罚隐私
女儿的朋友中字头
顶级RAPPER潮水
国精产品一区一区三区有
涨精装满肚子去上课
渺渺没擦黑板被老师C了一节课
一起差差差30分钟轮滑
亚洲无人区一码二码三码区别
最近2018年手机中文字幕
铃芽户缔免费完整版
STEVE HOPPER尺寸
在公交车上被撞出了水消防
小蓝彩虹男GARY2022钙片
坐在上面怎么晃教程
教练在车里C了我三次怎么办
如何把自己玩成喷泉状态
兽王ZOOM CLOUD MEETINGS
新红楼梦 艳情版
你对象晚上怎么玩你
在C用力把桌腿A抬离地面时小说
第一会所s001最新地址
老师白妇少洁第2部
我女朋友的母亲1完整视频有翻译
雷电将军の罚ゲーム破解版
羞羞漫画入口页面登陆章更新百度
榴莲app推广链接
美女和男生一起差差差图片
换个方式做吧未增删动画樱花
他缓慢而有力的撞着王爷
欧美精产国品一二三产品工艺
我可以触碰你深处的樱花吗
老师兔子好软水好多H15视频
我可以触碰你深处的樱花吗
GOGOGO大但人文艺术大
父母全家儿女大联欢第14集
花城谢怜车长干哭
描写doi过程的文章
被男友咬小兔兔的感觉
另类极品VPSWINDOWS
妙洁一次性合家欢
跳DAN是放在哪里的示意图
在公交车上被撞了八次
刘禅站在板凳上曹安琪拉
怎么玩自己隐私位置
晚上吃你的小草莓是什么意思
国精产品9AA
全是肉的糙汉文现言推荐
班主任是班级的公共玩具作文
1v3多肉小公主
半夜好用的网站
法海终于把白素贞日服J
my19777换哪了
我被带到公交车最后一排
欧洲最大但人文艺术
一支笔c哭自己从自w到高c漫画
在公交车上弄到高c了最后一排
野花视频高清在线观看
品色永久免费堂
女生喊疼男生越往里寨AQQ娱乐
麻花传MD0174苏蜜清歌
人皇skyvs兽王grubby
20岁女rapper越南
我的XL司第三季免费观看翻译
被压到落地玻璃窗前的紧急救援
在县城开零食店春节能卖200万
啊哈别别揉那处了
坐在腿上吃饭连在一起
双人床上剧烈运动打扑克
大家最刺激的一次是在哪里
小东西慢慢感受我
啊不可以坐不下去痛
棒棒糖放屁眼里吸收
看来太久没人给你滋润了
GAY空少被体育生开菊网站
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1