有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
WRITEAS假阳
ed2k2分28秒江疏影
chinese东北老年人tbc
永远免费的论坛
乳液狂飙图片奖励自己一发
坐在学长的棒子上写作业作文视频
错一个题就往阴里装一支笔
公憩止痒 小说
上楼梯一深一浅
男男车车的车车网站推荐
亚洲一卡2卡三卡
嫩叶草m码和欧洲码的区别
我的好妈妈免费观看冰河局电视剧
妈妈的朋友2在完整有限中字
老旺的大肉蟒进进出出次视频
班长的手灵活的按着遥控器
最大BBWBBW
父母儿女媳妇一起来玩的说说搞笑
儿子比老公的大 没忍住
老师你的兔子好软水好多作文
无人区乱码与二码通的区别
出嫁前让父亲体验了一次
老卫淑华在上船上
坐在老师的紫根上写作业
日产乱码区别免费的使用方法
男朋友老是吸我的小兔子
老丈人的东西又弯又长
2021最新一二三四五六三
男生无收费看污网站
片多多3999HCC
北北北砂王者荣耀禁满天堂
被自己家狗狗C了
5G天天视频多人运动
write as 水果
小学生拿棒棒糖做内个玩具
日本动态120秒免费
拉开拉链它想你了给他好不好
才三个指头就撑不住了
啦啦啦免费视频播放在线
王多鱼被C视频
年轻的馊子8HD中文版
日本一二三区别
51成品网站W灬源码16
WRITE AS 大腿内侧
是不是想让我弄你了视频
迈开腿打扑克没有马赛克还有牛奶
公嗲器好大好H
心动时刻简简单单爱
女儿吃父亲的棒棒糖的说说
学霸将遥控器开到最大
爱情岛论坛免费观看路线二
亚洲尺码跟欧洲尺码的区别
学生的妈妈4在观完整有限中字
用我的棒棒疏通下你的水道
能让人下面湿的漫画有哪些
怪物VODAFONEWIFI巨大
精东影视传媒文化管理公司
漂亮的保姆完整版免费中文版
嘴巴吃鸡的正确方式图片
王者荣耀阿离嘴巴里含着口水
把腿开到最大就不疼了真的吗
999精产国品一二三产区
秘密入口地址1地址2地址3 帧
精产国品一二三产品区别
poduoyejieyi
没有罩子的瑜伽老师叫什么
撕裂BBOX入门头交
班长哭着说不能再深了
randyblue
美国VICTORYDAY妇女
丰裕纵满杨玉环2588
把英语课代表按到桌子上抄
顶开妈妈的生命之门阅读
姐家里没人用点力
久久这里的只有是精品23
51黑料吃瓜每日精品
爱你24小时不打烊
一本大道色卡1卡2卡3
老师说今天晚上随我怎么弄
妈妈的朋友2在完整有限中字
老师你的兔子好软水好多文案
女生发PYY什么意思
十九岁RAPPER潮水欢迎你
比比琼斯qvod
水拉丝了小东西怎么办
和平精英中女性的乳液
ipx118怎么被称为神作
讲讲你们DOI最猛的一次
夜里十八款禁用
沈阳45岁老阿姨喷了几次尿素
rosi视频001
把它堵住不能流出来下周检查
拔萝卜 全程不盖被子拔萝卜
老赵抱着媛媛在厨房做饭视频
别墅轮换游戏五对情侣图片
核子基因创始人张核子弟弟发声
花季传媒每天免费看三部
瑜伽老师让我C了一节课
3D姐弟关系第三集动漫
漂亮的保姆在完整5视频带翻译
美女露出奶头扒开尿口让男人桶
对象给我看他的鸡
我的妻子的姐姐2观整有限中字
我12岁就做了不干净的事
男孩子淦哭男孩子动图
红玫瑰直播免费版视频
在没人的教学楼里做老师
深夜动画在线观看
浇灌妈妈肥沃的土地
国精产品源XZL仙踪林仙踪
腿打开一点就能吃扇贝
说说老公夜里顶你的
美国十次啦色播
金刚杵大战肉莲花
王者荣耀李白吃王昭君的大B
儿子的东西比丈夫还要大
女生让男生随便玩自己的坤坤视频
我得到了妈妈的桃花源
亚洲无人区天空码头IV在哪
晚会上领导吃我奶还
菊内留香 金银花
老公老说想睡我妈
那么多水还说不要把腰抬起来
男孩子把淦男孩子弄哭的部位
51DADOU大豆行情网
免费人马大战CSDN的软件
女士开襟乳液狂飙
在车上被弄到高c
老何船上弄雨婷第14章
女生喊疼男生越往里寨的游戏
撑起伽罗的腿疯狂输入的视频
一下下的撞着公主
雷电将军乳液vx网站
迈开腿尝尝你的蜜林
我们4个人换着玩
14岁学腿迈开腿打扑克正常吗
朝俞R车WRITEAS震动器
秋葵 茄子 丝瓜 香草 榴莲污在线观看
随着车的震动一晃一晃
品色 免费论坛
把筷子放屁眼里不能掉的故事
国外幼儿精品区
淑蓉最爽的一次
越看水流的越多的故事
班长是我们班的存精器GH
年轻的母亲2在线播放中文版
顶级大但人文艺术视频音乐
搡BBBB搡BBBB搡BBBB
GOGOGO人文艺术
xiaav论坛因你精彩
我偷偷装睡让公滑进去
中文字日产幕码三区的做法大全
接电话插的说不出话怎么办
双面公主与双面王子
打扑克剧烈运动的视频不盖被子
原神甘雨安慰部下C插画
看后必湿的污段子视频
男生戴玩具出门体验
又有一批人开始高潮了
女销售的成功秘籍中字
亚洲一卡二卡三卡四卡无卡网站
我是狱长的专属的宠物13集
边走边c1vn骨科
父亲的东西又长又黑的说说句子
甜性涩爱bt种子
为什么狗狗放进我里面就变大
双人床上剧烈运动打扑克的视频
斗罗大陆人物黄化完整版资源
绿巨人推广APP网站
男朋友如何搞你的
免费网站在线观看人数在哪儿
老丈人的东西又弯又长
爸爸家里没人用点力
美女脱精光让男生桶下面
欧美妈妈的朋友5整有限中字
老扒和三个熄妇
污秽的教室未增删翻译樱花
永远免费的论坛
海角.COMHJ3DCE
张津瑜 VS吕总卫生间
最爽的乱惀小说200篇
一抽一出BGM免费50分
被拉到学校没人地方C知乎
精产国品一二三产品在哪买
公交车6人轮换c
对象都是怎么C你的过程
王副军官玩田雨细节描述
扑克牌又疼又叫全程视频
上面一边亲下一边面膜是什么材质
奶酪陷阱在线观看
青梅不经c1V1
小东西才几天没做水这么多
HJ54C1海角论坛
99无人区码一码二码三
乌克兰10一12x video
八重神子的神罚
椅子上有木棒坐下去吃饭短
儿子一晚上要了我三回怎么办呢
开车视频疼痛有水水
小女儿含着巨大写作业
APPSTORE美区免费2023
一边面膜一边燥的视频
windowschannel孕妇生产
我的兔子好软水好多双指探洞小说
花蝴蝶日本HD免费完整版高清版
一人一狗卡了六个小时视频
寂寞护士中文字幕 mp4
成功拿下了妈妈
掌中之物何妍被多少人轮
倒插莲花是什么意思
日产高清卡一卡二卡VA
pinsetangluntan
不知火舞 动画
荫蒂添的好舒服小说
放课后の优等生 3熟肉
浏览器网站免费进入
WRITE AS 轮
冰块温水跳跳糖果冻是什么意思
冲动的惩罚未删减
Zoom人与Zoom巨大
136精密导航AGV
孩子玩着玩着就进去了怎么回事
肚子里面满满的都是JY祝英台
女生醉酒被闺蜜用宝宝背带背回
没带罩子被校霸C了一节课作文
两个人的深夜运动
叛逆儿子暴躁老妈
欧亚专线欧洲WMY
美国人与动ZOOM
宝宝是我撞进入还是你自己坐下来
不知火舞vs外星人h
在车里撞了我八次高黄肉
芳草地在线观看播放在线观看
bgmbgmbgm毛多多视频1
乌克兰大但人文艺术摄影师是谁
被体育老师c了一节林妙妙视频
秘密教学100话恩爱久等了
蜜芽国内精品视频在线观看
PO18脸红心跳官网地址是哪一
喜爱夜蒲1在线影院播放
二指探洞很舒服吗
AI人脸替换脸杨幂在线播放
中国真实处破女WWW出血
英语今天晚上让你桶个够
杨欣cindy
melancholy视频在线观看
八重神子脱小内打扑克图片
斗罗大陆txt全集
打扑克牌又疼又叫视频下载
日产2021乱码三区
迈开腿让我看一下小鸡蛋视频
原神八重神子掀开副乳网站
接到了一位20厘米的客人
WRITE AS 吸蒂器
妈妈的朋友2在完整有限中字
甘雨安慰下部CG漫画在哪看
小鲜肉GARY2023男男
校草怎么还不和我分手[穿书]
WRITEAS边做边走
黑人啊灬啊灬啊灬快灬深
亚洲日本一线产区和二线
麻花视频V322纯净版
花火のエロドラえもん
体育老师C了一节课
2分30秒不间断踹息声
腿再张大点就可以看到小扇贝
女朋友的母亲1完整视频有翻译
两男一女两根同进去舒服吗
王者女英雄去掉所有服装不遮挡没有烟雾
国语高清CHEAPWINDOWSVPS图片
秋霞网在线伦理影片
我是怎么C你的 叫出来
桃汁糜烂NPC
妈妈酒后误为我是爸爸
纵容的母爱第1-17段概括
老师的兔子软水好多免费看
老公是怎么上你们的
够了够了已经满到高c了楼道
如何骑枕头上下移动图片
精产国蘑菇品一二三产品区
天美传媒MV免费观看软件的特点
高中班级玩具小诗嗯啊
仙女棒坐姿图片
小霜的高中成长日记下载
一面亲上边一面膜
阿宾之房东太太
女人露p毛的图片
我被继亲开了苞
韩国绝伦推理片高分剧
18款夜间禁用粉色短视频
939W乳液78WYW55523
刚开荤的女孩子是不是收不住
年轻的母亲5 免费完整版中文版
学渣含着学霸的写作业双男主车文
夜倾情保姆的诱惑
用...用点力一点快到了
两个人一前一后的上我
acome玫瑰
日产无人区一线二线三线小说
EUTOPIA无删减版网盘
阿岘洞夫人国语版
伽罗ちゃんが腿法是什么意思
仙踪林19岁女RAPPER一百信息
没带罩子让他C了一节课怎么办
桃花视频在线观看播放直播
把筷子放屁眼里高清图片
xl上司未增删带翻译
人妻无码AV中文系列
堵好了一点都不能尿出来作文
坐在老师的叽叭上写作业
第四色最新网站
老师家里没人你用点力视频
甘雨挤出白色脓液
亲爱的老师4 韩国高清
韩国风俗媚娘全套下载
一口一口把奶油从胸口吃掉
日美韩大片高清免费观看
潘金莲全集1一5集电视剧
他顶撞的速度越来越快是什么
男朋友如何搞你的
W永久939W乳液66
坐在学长的棒子上写作业作文视频
黑人双人RAPPER剧情介绍
数学课代表趴着让我c
班长是我们班的存精器作文
2023无人区码一码二码三码
含着老师的棒写作业
在床上拔萝卜又疼又叫什么病
叫大点声今晚家里没人冷
玩偶姐姐森林第一季第四集
数学课代表趴下让我桶RH网站
国精产品自偷自偷YM使用方法
三个rapper玩一个女的
粉色APP下载无限看-丝瓜 安卓
高校1v3po
BGMBGMBGM老头XX
深度1v3多肉
在教室被老师CAO到爽
VODAFONEWIFI与黑人
没带罩子被校长摸了一节课
亚洲和欧洲一码二码区别在哪儿
宝宝你好会夹啊都拉丝了作文
王多鱼打扑克视频免费
大炕上装睡配合弄
男孩子淦哭男孩子黄文
麻豆传播媒体大全
我想用扇贝夹你的乌龟是什么意思
三个人每人C我半小时的故事
XAXWASWAS17777777K9O75OXSL
魅力研习社避孕套
变成黑皮肤和朋友做了无删
斗罗大陆2大乱斗交大第1
好深再深一点动态图
赵奕欢魏晨亲密照
哥布林洞窟未增删开车原声视频
ZOOMSERVO
香港三圾片大全
久别的草原在线影院日本
玩白嫩少妇小泬高潮18P
久久精品一卡二卡三卡四卡视频版
被塞玩具出门文
TOBU16_18
胡桃N开襟乳液狂飙视频网站
将军们的共妻H
厨房春潮唐小米
甘雨安慰下部CG漫画在哪看
水渍声和撞肉声连成一片
帮英语老师疏通下水道
WRITE AS 医生X患者
人物动物交互狗剧情
HD2LINODE国产IPHONE69
W永久939W乳液78网站
妈的身子今天就是你的
班主任哭着喊着不能再继续
魔弹之王与战姬漫画
ZHANGJINYU视频观看
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1