有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
宝贝你的奶头好紧好大
动漫人物将机机插曲漫画图片视频
张柏芝门照艳原图
内衣柜办公室未增减
自w的时候看的小短文
麻豆传煤官网APP入口免费
国产一品二品三品的区别在哪
女人的阴性图片
快猫记录世界记录你
男子故意失联不核检
GARYWAYNE男男视频
腐烂水蜜桃NPC
人妻洗澡被强公日日澡
迈开腿让学才尝尝你的草莓
小SA0货大JI拔CAO死你啊
张津瑜落地窗酒店
把红酒倒入b里温酒
儿子需要我就给了他
女19岁RAPPER潮水欢迎你
写的超细的开车小黄车片段
监控偷盗摄影二区
日本一品和二品区别
痴汉电车3图片
mignon动画什么时候
蓝男色蓝摄GAY裸男CHINA
韩国年轻漂亮的继坶
农场ZOOM与人性ZOOM
MIGNON动漫
一面膜上边一面吃下边免费
嘉木(1V1婚恋)
强被迫伦姧惨叫小说
最近新免费韩国视频图片
迈开腿尝尝你的森林什么感觉
小蓝视频GARY2023入口
黎朔WRITEAS水管
第一会所s001最新地址
慈禧的秘密生活高清完整视频
漂亮的丰年经的继拇5字
欧美人马狗八AB8ZOZO
成都4片p视频
老赵抱着媛媛在厨房做小说
韩国论理性电视2021
鲤鱼乡 流出来了 合不上
妹妹中考前让我C了1次作文
开始慢慢迎迎合
ZLJZLJZLJ日本人水多多
好...好快啊哈哈
玩滑梯吗越往下越疼那种视频
小东西才几天没做喷的到处都是
李宗瑞的继母是谁
奶糖与烈酒BY封远廷
原神外网黄化网站WWW
漫漫漫画官网免费阅读
放里面不动是种什么样的感受
爱萝莉真是太好了
宝宝我们换个姿势在玩
伊援中文日产幕无线码6区
松岛枫 恶女教师
含着校霸JING液去上课H
我的小兔兔被男生越捏越大
用点力就快出来啦
小雪的13又嫩又紧又多水带图
热浪球爱战演员表
我一边做饭一边被躁了怎么回事
XL上司樱花未增删翻译中文翻译
欧美BBBBBBSBBBBBB办公室
爸爸我们不能这样的
引导狗狗干自己哪里
滋润BBWWBWWBBWW
无人区码3DMAX
老师把筷子放进我P眼的作文
队长不干净了[电竞]
女生小坤坤图片大全高清壁纸
日本牙医赤子板栗免费
含着校霸JING液去上课H
最美情侣免费观看视频芒果TV
14岁女孩迈开腿拔萝卜
日本16岁RAPPER欢迎你
晚上没人妈妈就是你的人
19偷偷鲁青春草原视频
用...用点力快就好了
jy灌溉收集系统
用玉器养大的公主么么
我的兔子好软水好多的免费视频
潘甜甜果冻传媒七夕连接
IPX 528
快乐谷情趣商城
女孩子的第一夜图片
涩涩屋草莓丝瓜秋葵
八个大灰狼吃掉小绵羊
夹看学长的巨大的J把写作业小说
tobu8在线观看中国
小兔兔被男生吃会发出什么声音
大地日本韩国电影免费看
年轻的馊子8HD中文字幕
闫凤娇厕所门事件
第四色最新网站
比基尼性感女装
300勇士前传
掌中之物何妍被多少人轮
天美麻花果冻视频大全
C死了啊哈宝宝腰好会扭CBL
大团圆公交车大结局2
长插曲视频完整版30分钟免费
娇妻出轨的秘密
姜汁撞奶POH之初
姐姐说家里没人给我看下面
打开腿吃你的扇贝什么意思污
几天没C是不是又痒了网站
14may18_XXXXXL56endian个
王者荣耀瑶脸红享受流眼泪
一卡二卡3卡4卡视频免费播放
被公司领导C了很多次
穿越到随处做X的世界
吃到自己的鸡嘴巴简单办法
国精产品一二三线999
宝宝好会夹啊拉丝了
心疼儿子给他一次可以吗
肉多车速快的推荐
张柏芝的毛太茂密了
李宗瑞的继母是谁
遇到一个会夹会摇的
说是不是老公的小SB怎么回复
elsajean挑战最粗极限
精产国品一二三产品99
野草乱码一二三四区别
又黑又肥的60岁岳
被C哭是一种什么样的体验知乎
中文在线3月23日快速反弹
把老师摁在黑板上做了一节课作文
WRITEAS机器自动
旅行者趴在雷神身上运动
女生看了会湿的污段子
写着作业写着就插起来了
父亲缓慢而有力挺拔的句子
奇米四色7777中文字幕
当着别人的面要了我
无人区一码二码三码四码区
人曾乱码一二三四
废旧工厂被流浪狗涨精装满肚
WRITEAS黎朔
公交车6人轮换C白月是啥?
我的好妈妈5中文
蜜芽miya1173永不失联
古言骨科高能lH
もし祢豆子が悪いった
第一会所 欧美原创
我生日妈妈用身体做生日礼物
国内AI明星造梦网址是多少
晚上偷偷看B站欢迎您
公交车6人轮换CH
放荡老师张开双腿任我玩网站
等不及了先做一次
干柴烈火儿媳苏姐结局是什么呢
高冷男受用钢笔玩自己GH视频
在车里打扑克的又叫又疼
两根棉签如何把自己玩哭
B的感觉一样吗
嗯嗯宝宝大声点快
剧烈摇床运动免费观看
汤姆tom最新地域网名
公交车最后一排被多人C
御花园皇上撞着太子妃
对象都是怎么顶的
中国免费XXXXXL17
裙子下面是野怪
HAIJIAONET海角社区论坛
我的兔子好软水好多樱花视频
公交车最后一排被多人C
彻底征服美丽端庄的麻麻
女人越喊男人越往里寨的电视剧
Zoom与人性Zoom怎么同步
日本欧洲美国中国韩国产
相亲对象是未增删樱花有翻译
女生和男生在一起差差差体验
俄罗斯zoo weeklyXXX
张津瑜视频夸克
王者荣耀伽罗捅到流液晶
男神插曲女生软件完整版免费
没带罩子让捏了一节课怎么办
丁香婷婷五月情天
把腿开到最大就不疼
打扑克是怎么塞进去的部位
中国XXXXXL 18
疯狂伦交2完整版
冰块和棉签怎么弄出牛奶视频
粉嫩RAPPERDISSSUBS欢迎您
讲讲自己第一次细节真实知乎
国模超大尺度私拍
老阿姨在CSGO中的经典比赛
九一传媒制片厂传媒免费
秘密女搜查官系列
张柏芝殖器十二图片
ZOOMSERVO兽狗
快手王多鱼被C视频完整版
把腿再张大点就可以吃到扇贝
《药效》1V2H
用毛笔蘸下面洞里的水写字
牙医姐妹赤子板栗
捧小伙人帅吊大GAY
都这么多水了还不要吗
男生和女生污污事视频
日本卡二卡三乱码新区
斗罗大陆人物黄化完整版资源
撕裂BBOX入门头交
后营露营第二季无增减
500篇香艳公车短篇合
班级公共玩具叶渺渺
在公交车上被一个接一个的C
wy79cm浮力院
B站大胆人文艺术4K
你流了那么多水还说不要
男朋友抱着我在图书馆做
二次元动漫人物桶动漫人物游戏
冬日后的樱花韩剧
最新中文乱码字字幕在线
跟前妻见一次睡一次
全彩无翼乌之邪恶老师
原神雷电将军的俘虏生活
西方艺术本体137
最大但人文艺术网站
宝宝乖夹住别流出来了
小峰由衣热血教师
LASTDAYONEARTH粗暴
女人私密唇突出
两个男的一前一后叫什么
皇上往下边塞玉器这是
春暖花开 有你cc
谁知道4虎的地址是多少
公交车后车座的疯狂的做
数学课代表趴下让我桶免费放
.把你里面填的满满的视频
班长哭着喊不能再C了视频作文
旧里番OVA我侵犯她的理由
zztt黑暗传送门精彩片段
我的年轻继坶7中字
WRITEAS憋着做
老扒和三个熄妇
美国电影无法满足1980
4个学长一起我会坏掉的作文
太紧了夹得我的巴好爽欧美
黄晓明尹正合体录制中餐厅6
夜深了看点刺激的
济宁郑媛媛 ed2k
用点力用一点力我快到
你真是越来越耐C了什么意思
群飞刘亦菲刘诗诗杨幂杨颖
日韩成人大屁股内射喷水
公交车一次又一次
可以随意触摸内部位的软件叫什
扒开粉嫩小泬舌头伸进去视频
王者荣耀公孙离捅到流口水
用你的舌头搅拌着我的舌头歌词
果冻传媒MV免费观看大全
校园车文越详细越好推荐
游戏新体位47
一面亲上边一面膜下边吡吡啦啦啦
坐下来自己慢慢摇的感受视频
污开车作文500字有过程
公主车上荫蒂添的好舒服
打扑克的剧烈运动摇床视频
sdde318
王者荣耀小乔喷了的表情
小红帽LIVE直播
精灵の森へようこそ2
又疼又叫哔哩哔哩
为什么女的做过以后满面红光
MIGNON动漫
迈开腿让尝尝你的小草莓什么意思
视频一区麻豆国产传媒
亚洲一卡一卡二新区迎热烈讨论
VODAFONEWIFI另类
2020年日本高清一卡二卡三卡四卡
Collectivum XXVIII
3d 无尽 动漫 可爱 得到
人与畜禽杂交MOUSE农场K9
善良的嫂子1字巴巴鱼汤饭惹人中字
在公交车上破了两个六年级小学生
麻花视频V322纯净版
坐公交车弄了2个小时视频怎么办
美国十次啦地址
AI人脸替换白鹿喷水とらぶる
宝宝这才几天没做水就这么多顾延
一滴都不准尿出来
迈开腿让学长尝尝你的草莓是什么
我想吃你的r头叫出来
成品W灬源码1688伊园
小SB是不是又想要了H
老婆的扇贝张开口了还能吃吗视频
被当成发泄玩具的一天
C人的教学视频
亚洲欧洲一码二码区别在哪
一个好妈妈的4中字
人驴交f ee欧美
群臣在朝堂上却玩皇子视频
CHINA体育生GARY飞机
快穿之女配取液之旅H
日本一卡二卡三卡四卡免费观
无限免费观看动漫
深夜办公室哔哩哔哩
GGY钙2023入口
公交车里抓着摇曳的手环
馋你了今晚想吃馒头
欧美无人区卡1卡2卡3
友田彩也香qvod
西方最大但人文艺术摄影
婷婷开心色四房播播
双人床上剧烈运动打扑克
2022GGY钙男男视频
被抱起来C是一种什么体验
脱色摇床实验室振荡器游戏
腿可不可以再抬高点
被七个男人绑着玩调教
污到你那里滴水不止的说说文章
写着作业写着就插起来了
羞羞漫画登录页面免费漫画入口页面破解
天天想你视频免费观看高清在线
往下面一颗一颗塞珠子
校霸夹玩具坐跷跷板
最美情侣中文在线播放
夜里不知节制军婚
宝玉车内玩平儿第六回
原神八重神子被捅到流口水的游戏
这两个球球一直摇晃个不停
往下边塞水果走路
如何用枕头高C不断
压在窗户上C给别人看窗前
私人情侣网络站
潮水19岁rapper
一前一后的动了起来
开车疼痛有声音 免费网站
精品成品国色天香卡一卡三卡
24小时日本韩国免费看
玛雅maya 确认 已满l8岁
往下边塞玉器出门
写得很细的开车秒湿
MD传媒免费观看在线小说
迈开腿我可以尝尝你的小扇贝视频
试看免费120秒动态
国产精华精华液一二三区别
日本漫画口番工全彩之时间停止
13岁PG可以塞下多少根棉签
半妖乳娘百度影音
女性半夜莲花开什么意思
男女性杂交内射女BBWXZ
新婚教师被调教成母狗
朋友的母亲7在完整有限中字第
吃瓜网 - 免费吃瓜 黑料泄密
岳今晚让我玩个够肥水一体探岳
掀开衣服左边吸完吸右边
八重神子去内奖励旅行者
GARY大猛男GARY2023
妈妈的朋友在观5完整有限中字
在床上打扑克不盖被子会怎么样
日本年轻的母亲5观整有限中字
昨晚太想要了就和我家泰迪
炎の孕ませ发育身体测定2
日漫动漫人物将机机插曲漫画视频
文轩塞跳D不能掉出来上学
荧去掉小内趴在地上和散兵打扑克
国产精华液一线二线三线区别在哪
女自卫慰方法48图
我的年轻继坶7中字
夜晚双人做的扑克视频教程视频
胡桃坐旅行者的坤坤
b站大全永不收费免费下载软件吗
相亲对象是学生未增删樱花
女人的玉露是什么意思
和搜子同屋的日子2国语中字
咬住下唇动漫在线播放完整版
中国小鲜肉GARY2022飞机
国外大但人文艺术欣赏
打扑克牌又疼又叫视频原声免费
小时候看到外公压在妈妈身上
老师教久别的草原视频
最近2018免费中文字幕6
压在窗户上C给别人看
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1