有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
他给我放了三根卫生棉条
原神八重神子被捅到流口水的游戏
可以做X的手机游戏
我们换个方式做吧未增删樱花
国精产品一品二品国精破解
清楚看到我C你过程
校霸写错一题学霸就放一支笔
巜班长哭着喊着不能再C了
四人轮换C一人
百合做运动视频教程
仙女棒坐姿图片
是不是好久没人弄你了表情
色心色心board
西方47大但人文艺术
井川里予黑料33秒怎么看
打朴克剧列运动动画版
娇妻在我面前被多p
李宗瑞的继母是谁
迈开腿让我看看你的里面
china外卖小哥gary
量近2019中文字需大全规须1
张婉悠厕所门是什么
韩国娱乐圈事件
精产一二三产区区别在哪
我的XL司第一季免费观看翻译
日本亲近相尾换伴结局
3D肉蒲团之极乐宝鉴评价
很详细的肉肉床文片段
免费看不盖被子打扑克的软件
撩到女生下面流句子
渺渺上体育课当着全班人光阴汪仔
JEALOUSVUE成熟50MAO
bgmbgmbgm老太太毛多多1
动物胶配方大全高清
八重神子入夜狂飙图片高清
彩虹男.2022小蓝
伽罗躺床流白色分泌物大图
国内AI造梦鞠婧祎MV青岛
我难受就放一下我不动
扣自己的正确手势图9个
安全套试用员的辛酸
被学长抱到没人的地方小工具
野花视频在线观看免费观看最新
国内成品网站W灬源码
夹一天不能掉晚上我检查若若
2021今天沈阳爆炸事件刚刚
WRITEAS 教室
原神申鹤乳液xman天堂
仙女棒坐姿图片大全
用注射器打水放屁眼里
2014年5月里番合集
糖果君三人行视频
国色天香直播在线观看
父亲的东西又长又黑
清宫性史之名妓风流
亚洲中字幕日产2021草莓
荡公乱妇第1章方情公憩系列大
无限挑战130406中字
精产国品一产区
我把数学课代表捅哭了
不再是朋友的夜晚2
往下边塞东西PLAY
4P轮换爽舒服
你们老公晚上怎样玩你
最短的距离是圆的2雨水和苏打水
酒后和朋友换娶妻中字3
成品网站W灬源码被网友群嘲
忘记带罩子让他馍了一节课
安迷修被雷狮强行掰腿图片
CEKC老妇女CEA0
摇摇晃晃的电动车上1
18无人区码卡二卡3卡4卡
OVERFLOW樱花风车动
家里没人儿子就弄我了什么意思
说着他的手已经探了下去
韩国风俗媚娘贴吧
联谊中的游戏动漫
我的年轻继坶7中字
书桌下的快速顶撞
最近最新中文字幕MV高清在线
办公室的交易HD日本
喷泉1V3HL
一女多男nP现代高H
爷爷夜里压着妈妈在叫疼
日本全彩绅士邪恶帝邪恶木
沈芯语老师家访MD0076
亚洲VS欧洲VS美洲人口
浮力限制路线1路线2路线3
女生输了给对方玩一个月
三个人一起C你的
小蓝视频基佬彩虹1086
年轻丰满的继牳2
长城守卫军花木兰被草
色达天藏图片砍尸视频
明星合成斗转星移
镜流口水流白色液体正常吗
五十路六十路完熟交换
年轻的母亲6在观整有限中字
厨房往下边塞冰棒
我的漂亮女教师2在线
公交车疯狂运动
暖暖直播韩国免费完整版视频
女生小坤坤图片大全高清壁纸
把自己弄到喷泉
已经塞了三个鸡蛋了
棒棒糖放屁眼里旋转的游戏
一次又一次的索要
我的奶头被客人揪的红肿疼痛
葫芦里面不卖药千片万片你需要
YN荡校园运动会笔
黑龙江不雅视频
KISKIBLUE
宝宝我不进去就蹭一会视频
黄到让你那里滴水的作文英语老师
一边做饭一边狂躁怎么办呢
开车污的 女生越疼男生越来越快 段子动
用大宝贝给女儿疏通下水道
MACBOOKPRO免费观看视频
草莓app下载安装无限看-丝瓜安卓免费
男生最抵抗不了女生亲他哪
5g在线视讯年龄确认18岁
新不夜城 迅雷
小龙女只感觉那只巨大的火龙枪
边做饭边被躁BD在线播放
冷廷遇进入简夏身体飞机上
韩国妈妈的朋友观整有限中字
抖音成长人视频B站
他的白月光HvH桔子糖水类似
迈开腿让你尝尝草莓是什么
蜜桃MV在线播放免费观看网站
文轩WRITE. AS车肉教室
最美情侣中文观看完整版高清
vodafonewifi暴力
某科学的触手姬
suck cock
我的漂亮女房东完整版BD
37大胆欧体人文艺术的价值
久久只有这精品99
两只小兔子被捏视频
好痛太大了放不下的
张警官和吕总视频
爸爸单身多年想要可以给他吗
精品日产一卡2卡三卡4卡在线
日本14MAY18XXXXXL
人与畜禽狗Croproation
美女校花被老汗狂肉的故事
双人床上剧烈运动打扑克
天美传媒MV免费观看软件的特点
前男朋友特别大我忘不了他
c两根一起会坏掉的
被开三门恶心死了
以上欺下1V2
妈妈的职业K8s经典
皇上御花园HL
大香伊在人线一道本
2022年最新中文字幕
我妹妹每天做两小时作业的英文
精产国品一二三区别www
寡妇与和尚干柴烈火电影
今日吃瓜51CG热门大瓜
领导不让我断奶他要接着吃
伦理在手机观线
没有工具怎么自w到高c
王者西施享受还流着什么
深度了解1V3
中国小鲜肉GARY2022飞机
最近中文字幕免费大全8一
原神甘雨被空C出白色液体
情感的禁区电影日本
孩子没睡着老公侧身做
最近中文字幕高清MV免费
嫁给外国人会撑坏
男生晚上睡不着想看点片
才两根手指头就喊疼怎么回事
漂亮的丰年轻的继坶3在线观看
两个师傅一前一后完整版
污到你那里滴水的说说细节
向涟苍士献上纯樱花
厨房里的激战2精彩情节故事简介
开小黄车的详细描写
趴在玻璃窗做给别人看的视频大全
女人洗澡沐浴露全身
同桌把我拉到他家C作文600字
春暖花开 x吧有你
学长的双指探洞好厉害
星空传媒剧国产剧情744
中国人免费高清视频大全
阿拉善8人大战视频
4ayy私人影院
看来太久没人给你滋润了
12岁打扑克一边疼一边叫
tom汤姆叔叔最新地域网名
精华液一区二区区别
每次见面他都要好几次细节
韩国妈妈的朋友10整有限中字中国
妈妈的朋友8观完整有限中字木瓜
一边被学长撞一边写作业作文
欧洲高清videosexond
欧亚专线欧洲WMY
CF孙尚香正能量图片
韩国风俗媚娘贴吧
宝宝下面湿透了还嘴硬怎么回事儿
吃一次饭做四次爱
男男车车好快的车车网站入口
女人的阴性图片
觉得隔布顶住花蕊
情侣之间棉签是用来干嘛的
家里没人叫大声点干湿你
晚上想吃你的黑葡萄
最近最新中文字幕MV免费
最近免费中文字幕中文高清6
贺朝谢俞完整车 高速
仙女的JIOJIO放在你的鸡上
刺激战场未满十八岁能玩多久
接了一个30厘米长的客人
把跳d放在里面坐公交车作文
善良的小峓子67中字巴巴鱼汤饭
我和小堂妺的第一次
4399看片在线看动漫
中国夫妇hometown
疯狂厨房2双人35视频
BEB-079
把老师摁在黑板上做了一节课作文
始料未及的软1v2
日产乱码一二三四五
绝对丽奴漫画下载
不知火舞被三个小男孩浮虏
野花韩国高清免费神马百度
中国zoom人狗app
美国XAXWASWASWAS
成都4片p视频
污到你那里滴水不止的说说
乌克兰laurenphilips
writeas上层玩具
最近韩国免费观看视频
蜜芽最新域名网站
伊人成人生综合网图片
暖暖直播日本高清更新
坐着震动器写作业
俄罗斯13一16泑女
鲸鱼夫妇120114
开车真人版疼痛有声音
女朋友技术太好舍不得分手
人曾交互mouse放
你的东西比我老公大好多
WRITEAS刘耀文插宋亚轩
2021精品国色卡一卡二
无人区乱码一二三四区别在哪
沈浪与苏若雪最新
父子骨科多r车推荐
怎样把自己C到哭
今天晚上让你哭着喊停
张津瑜事件处理结果
处处吻全程拉丝伸舌头
免费做运动扑克视频
日本理论片和搜子同居的日子
黑料传送门tttzzz07du
双人床上互动大全
父之过家庭大杂乱经典说说
我的漂亮女房东中字
无人区一码二码三码是什么意思
我被继亲开了苞
芒果视频ios下载安装无限看丝瓜ios免费大全
美女100%露出奶子无遮挡免费观看
HJ3DCHJ海角论坛
又大又黑又长的蘑菇头
大妈山坡做皮肉生意
两个人免费视频完整版
双人床上做的运动剧烈
晚上进了二女小妍的身体
女儿的男朋友5中汉字晋通话
欧洲一本到卡二卡三卡乱码
美红与王站长交换十七章
痞幼视频黑料不打烊
粉嫩RAPPERDISSSUBS欢迎您
国模李莉私拍超大尺度
潘甜甜手机的秘密
亚洲一线产区和二线区的区别
坐在腿上吃饭连在一起
旅游时跟女儿有了关系知乎
被一条蛇c到崩溃的文章
王者荣耀西施爽上天的表情
精产国品一二三产品区别在哪里呢
解放的潘多拉 qvod
结合处粘腻水声拍打声的预防方法
我和姪女小婷上下耸动
把自己玩喷泉的视频叫什么
精JAVAPARSER乱偷
妈妈的朋友6在完整视频带翻译
简隋英李玉肉车writeas
妇女被深耕过后有哪些表现呢
汤姆叔叔最新地域网名2021是什么
年轻的小峓子1完整版在线播放
大菠萝福建官方导航引导入口
最近更新中文字幕
二指探洞感觉要喷了
核子基因创始人张核子弟弟发声
橘梨纱コスプレ连続激イキ
无限资源第1页2018在线观看
大菠萝福建网站引导入口404
国精产品一二三线999
艳情短篇合集1一160
无人区码一码二码三码
亚洲一线产区二线产区精华液
疫情期间拿下老妈
漾出overflow2未增删带翻译
把冰葡萄一颗一颗往里堆
被罚把筷子放屁眼里不能掉
无翼乌无遮挡全彩漫画大全漫画
回娘家给了父亲1一4
三一起C你的感受
麻花传媒XK在线观看
坐着震动器写作业
英语课代表的奶好软的作文视频
蜜芽188.Coo永不失联
穿戴式跳D放在里面逛超市的
美国ZOOM动物3D
像疯了一样要她
WRITE AS 灌满
人狗胶配方大全免费
日本漫画口番工全彩
CHINESE粗口篮球体育生生
人曾交互mouse农场
甘雨拔萝卜图片高清壁纸
18款夜间禁用入口2023
宝宝你能对准坐下去吗漫画
坐在木马凸起的木棒
宝宝我想吃你胸前的大白兔奶糖
渴了就喝水别扒拉我腿啥意思
妽妽的下边好紧春雨医生
韩国打扑克牌的剧烈运动
公嗲嗯啊轻点公大ji巴
青春草原精品视频
妈妈的朋友1在完整有限中字
日本一姐RAPPER潮水自由
宝宝坐下来自己慢慢摇视频
午夜香吻免费观看视频在线观看
YSL千人千色AE86
大BW毛毛多巨大BW大BW
老婆的扇贝张开口了还能吃吗视频
漂亮妈妈中文4
啊哈又加一指啊哈
向小小花蕾深处前进讲的是什么
麻花豆传媒剧国产MV出差
广西柳州莫菁门事件
亚洲无人区码二码三码区别图
漂亮的保姆3完整版
女性半夜莲花开放的治疗方法
色即是空1高清
吃到自己丁丁最简单的方法
日产乱码一二三区别免费公司
我在无限游戏里花式挨CH
感受到它在里面动了吗
诸神混乱之女神陷阱
在公交车上弄到高c了最后一排
中中文日产幕无线码
12岁PG可以塞下多少根棉签
老师你的兔子好软水好多动
搡BBBB搡BBBB搡BBBB
惠民卡盟没非梦专业
老谢小区保安赵敏老师
冰冷总裁带玉势上班
果冻传媒保姆何苗蜜桃传媒
老卫抱着淑蓉进房间
情侣的30种插秧法图片
他把手探到我的衣服里作文
无限资源日本动漫版免费
原神胡桃lsp去衣服
潘金莲全集1一5集电视剧
一个一个轮着CNP
啦啦啦 中国 日本 免费观看
成品源码1688网站免费版
羞羞动漫在线入口免费阅读
漂亮的丰年经的继拇3如如中字
倒插莲花是个什么动作
黑龙江大学不雅视频
两个人一前一后地动着我要
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1