有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
爱情岛论坛网亚洲品质自拍
人猪交互MOUSE农场
麻花豆传媒剧国产MV出差
不知火舞和三个坏小孩
日本vtuber在b站的钱
宝宝我想吃你胸前的大白兔奶糖
杨幂哭着说不能再深入了
两阳夹一阴涨停双响小说
腿张大点就可以吃到扇贝免
丰年经的继拇中文3使用方法
真实的妇乱子伦
年级老师的滋味4
成品禁用短视频app下载
大炕上和岳偷倩
4480新热首播
无人在线直播免费观看
杨欣cindy
JLZZJLZZ日本人护士水好多
野草一二三乱码区地址
终于又可以吃到你的jy了
女子初尝黑人巨嗷嗷叫
野花视频在线观看免费观看最新
4虎的新地址是多少2022
聂小雨视频3分25是什么内容
金花瓶双梅花5
妈妈说带套可以给我先说
好涨水快流出来了图片
歪歪漫画登录页面免费漫画入口首页漫画
污到你那里滴水不止的说说细节长文
无人区码卡二卡乱码字幕
一面亲上边一面膜下边的肌肤之亲
宝贝对着摄像头自己做
只因爱你by欲语还休
狗狗的东西一放里就变大
BGMBGMBGM老妇视频
136大但人文艺术
如何用筷子玩哭自己
把棉签放屁眼里一进一出
漂亮的小峓子4中字巴巴鱼汤饭
草榴新时代的我们
美女裸身无档图片视频
太大了小峓子受不了春雨
99精产国品一二三产区区别网站
多人强伦姧人妻完整版BDRV一
深一下浅一下深深浅浅来一下
日本1卡2卡3卡区
免费剧烈运动扑克网站
秘密教学SVIP土豪免费
门卫老头吮她的花蒂在线观看
老板等不及了在车里做文章
高铁上要她了好几次
这几天没C你了是不是
云缨拿枪奖励自己视频
用...用点力一点快到了
井川里予黑料33秒视频
灯草和尚txt下载
把女的弄的第二天走不了路
2015年3月里番
S货水都这么多了还装教官
开车越往下越疼的那种文章
校草怎么还不和我分手[穿书]
我的漂亮女教师2高清
无遮挡羞18禁黄动漫网站
儿子比老公大晚上故意到儿子
输了让同学玩全部位置的作文800字
女生迈开腿让男人打扑克
久亚洲一线产区二线产区三线区
男朋友说要修修我的下水道
教练在车里撞了我三次怎么办啊
最近新韩国日本免费观看
爱恋2015是怎么拍出来的
遥控器跳DAN放在里面坐公交
我的老师不是人
能让我流水水的一千字
晚上爷爷总是压在妈妈肚子上睡觉
迈开腿尝尝你的草莓汁的作文
姬小满乳液狂飙奖励自己一发视频
妈妈的朋友10完整有限中字一
换个方式做吧樱花网
高清vpswindows日本
开车污的 女生越疼男生越来越快
和搜子居同的日子中文3
高清男女之间射精
是不是想让我弄你了啥意思
什么叫倒插莲花
如何自罚隐私又不伤害隐私
放轻松别太紧张我会很温柔
边缘控制玩到哭的感受视频
英语老师的兔子又大又好吃
小黄说说1000字污
清纯校花系列h文
明星合成斗转星移
王尹平竹子走秀照片
好妈妈5免费观看中字直播
疯狂守寡多年的的肥岳
麻豆精产国品一二三产区区农民
最近2019中文字幕免费版视频
七仙女欲春古装电影
去医院面试被院长弄了
吃饭的时候还要顶连在一起
国精产品一二二区传媒公司
和搜子居住的日子4
小洞饿了想吃大香肠的注意事项
老师拉我去办公室做了一节课
CHINESE猛攻6P霸道太子怀孕
东北老太太BBWBBWBBW
女人一进去就老实了的原因
拔萝卜痛又叫黄
3ce奇米四色眼影奇米8888
污网站wallpaper共享人可以看到订阅吗
国产一产二产三精华液
天美蜜桃传播媒体有限公司
亲爱的老师3韩国完整在线观看
国色天香一卡二卡三卡四卡视频
自W到高C的25种图
我的好妈妈免费观看冰河局电视剧
银枪挑三娘一战到天亮精神抖擞兮
W永久939W乳液66
欠c的玩意sb就是用来c的h
数学课代表的胸摸起来软软的
浮力影视最新发地址
斗罗大陆人物黄化
漾出OVER FLOWER第二季
雷电将军入夜狂飙图片高清壁纸
25CARD中国大学高清视频
糖心短视频vlog柚子猫
草莓app下载安装无限看-丝瓜安卓免费
农夫成人网站导航
每当我看见她的jk慢慢脱离
新疆女RAPPER老太RDFJFTTIK
刺激战场未满十八岁能玩多久
中国vpswindows野外高清资源
椅子一前一后都有一个木棒
体育老师在单杠c了渺渺一节课
原炀WRITE AS震动器
翁公和媛媛在厨房里猛烈进出
金花瓶双梅花5
金花瓶梅花4金花瓶
我的漂亮女房东完整版电影
野花视频免费资源
品色永久免费论坛
重生之祝英台遇到马文才全文免费
腿抬起来靠墙上就不疼了视频
从后面抱着妈妈突然脸一红
拿我的妹妹做实验V2.0无病毒
Naruto Konan Hentai小南
喷泉1V3HL辛浮
都这么多水了还嘴硬这是在车上
人妻妺妺窝人体色WWW聚色窝
永远免费的论坛
日本网站你懂我意思吧
原神旅行者喝甘雨的奶
好儿子妈妈今晚就是你的生日礼
あの女の子は歌がうまいうえ
前夫6天要了我25次
嗯啊乌龟蹭你的扇贝
公主车上荫蒂添的好舒服
生物老师的兔子好大
前后攻击1v2
校花小柔舞蹈室遭遇记小说
两个男生吃我胸
儿子耕种母亲的田地叫什么名字
成绩好妈妈就给我一次作文
日本vodafonewifiAPP
一二三四高清日本视频电视
几天没做你就流了
超级好看的软妹纸
GARY2022小鲜肉GARY
免费无人区一码二码乱码
宝宝好涨水快流出来免费视频软件
jy灌溉公交车唐小米
江疏影2分28秒链接
女朋友特别会摇是什么意思知乎
水蜜桃秘密基地
宝宝腿抬起来就不疼了
公咬着小娇乳H边走边欢视频
丁香成人大型社区
精产国品一二三产品区别视频
国精产品6666
管鲍分拣中心富二代丝瓜
帮妈妈通下水道
大香区一二三四区2021
中欧乱码卡一卡2卡三
兄妹方程式多R车多1V3
纯情罗曼史3 动漫
欧美无人区卡1卡2卡3
被c是一种怎样的感受
每次见面他都要好几次
国产午睡客厅沙发30分钟
爷爷总是趴在妈妈身上睡觉好不好
大学旅馆叫的厉害
麻豆画精品传媒2021网站入口
大唐之妻妾成群
ONE.YG99.AQQ一个致敬韩寒
老师好紧好滑我要进去
不可接近的女士漫画在哪看
一区二区传媒有限公司
往下边塞玉器见客人
10岁小学生fees幼儿
卫生间疯狂打扑克
被公疯狂进入的美丽人妻
爱在空气中特别篇
国内精品一线二线三线区别在哪
办公室的交易 韩国电影
无耻家庭凯伦的爸爸
野花日本免费高清完整版3
电车之狼r去马赛克补丁
引导儿子上自己
把红酒倒入B里喝掉
女生高c的会自己知道吗
搡BBBB搡BBBB搡BBBB
男人大鸟硬起来图
热热色原网址20岁以下
久久无人区卡三卡4卡
老阿姨在CSGO中的经典比赛
菠萝蜜免费观看视频
北北北砂王者荣耀
手从小腹一路开到丛林处古代
同时被几人C是一种怎样的体验
最新中文乱码字字幕在线
走一步撞一下连在一起
把极品白丝班长啪到腿软
非洲人配人高清视频
是不是B越小越好玩儿
一边亲着面膜胸口
啦啦啦中国日本免费高清观看
声声奶酥1V办公室
当着全班人的面做
bgmbgmbgm老头野外
老何在船上弄雨婷
野草一二三四地区乱码
炎の孕ませ发育身体测定2
渺渺上体育课当着全班人
公交车大尺寸的小黄说说1000字
精品推荐国产精品店
午夜dj在线视频观看国语版
班长笑着手灵活的调着遥控器作文
妈妈酒后误为我是爸爸
品色堂免费图片
是不是老公的小sb
99无人区码一码二码三码
翁公半夜吃我下面
丝瓜草莓榴莲向日葵秋葵蕾丝
顶的她说不出话来
国内精品一线二线三线区别在哪
tek-067
叫大点声今晚家里没人冷教
小东西才几天没做就这样的
色降ii之万里驱魔
早上被C醒是一种怎样的体验知乎
张津瑜事件是什么
班级的公共玩具第1章
讲述真实的多人运动经历
迈开腿尝尝你的草莓陶软
32厘米的粗长硬受不了了
热心的朝阳群众51cgfun
玛雅论坛亚洲电影
爱情岛论坛永久免费线路
我的奶头被客人吸得又肿又红又痛
yy111111手机在线观看琪琪
家里没人你用点力 快快
5g影讯5g探花网址
日呀好久没有日B了
糖心vlog柚子猫内射频网站
妈妈的朋友8完整视频有翻译木瓜
老太太80CHEAPWINDOWSVPS
甜蜜惩罚未增删带翻译樱花翻译
野草高清视频免费
maya已确认满18我们严重反对
茄子视频在线无限看-丝瓜IOS苏州晶体公司红
玫瑰 acome
ZOOM人狗APP欢迎你
女生吃坤巴难道不恶心吗
中文字幕无线观看高清
坐在木马的木棒上公主
美式1984雪莉和保罗谁厉害
精东影业天美传媒网站
小洞饿了想吃大香肠怎么办
善良的妈妈2观整有限中字
公主恋人ova下卷
车子一摇一摇的刚好掩盖我们
英语课上插了英语课代表视频
给我播放片在线观看
缓慢而有力的往里挺送
儿子妈又不是不给你玩
错一道题就往阴里装一支笔
韩国妈妈的朋友10整有限中字中国
趴在玻璃窗做给别人看的视频
手不安分地探入森林
差差差很疼30分钟的动漫
深度交流1V3多肉
没做过的能放进几个手指节
差差差很痛30分钟打扑克
男孩子把淦男孩子弄哭的部位
无限资源第1页2018在线观看
学生的妈妈7中韩双字中国策
无翼乌全彩无漫画挤奶
x69老师x日本
棉签PLAY文
诱人的女邻居BD在线观看
公交车最后一排被多人C
成品网站w灬源码入口
一面亲上边一面膜下边表达
xiaodiaowang
一码二码三码区别日本
swag台湾官网
黑料吃瓜反差婊爆料网
朋友韩国线观高清2
国精产品99永久中国有限公司
女人网站你懂我意思吧
父母和子女互换
女朋友的妈妈2023中语翻译
怎么一边喘气一边说嗯的声音
麻麻熟睡让我滑进去了
啦啦啦 中文 中国 免费 高清
小龙女只感觉那只巨大的火龙
GY2023小蓝视频
Z0OZO0人善之交另类
三圾片2013目录
喜爱夜蒲1完整版
群臣在朝堂上却玩皇子微博
大白屁HDHOOOPORND
BBOX撕裂BASS孕妇公交车
三个人一起玩3Q会怎么样
帅气体育生GARY网站小蓝下载
非洲人与性动交CCOO
老熟女重囗味HDXX70星空
宝宝腿再开大一点就能吃到扇贝了
M0STHDCOECTION性
如何引导狗狗上自己春雨医生
含羞草四叶草三叶草
无翼乌邪恶全彩无挡遮
人体艺木艺g0g0
如何把自己玩成喷泉状态
咋能把女友弄成小喷泉呢
含羞草传媒app官方网站免费进入入口
欧美无人区码卡二卡3卡4乱码
老师家里没人你用点力啊
老人猛的挺进莹莹体内视频
班花哭着说3个一起会坏的
国色天香精品卡2卡3卡4
内衣办公室动未增删带翻译3樱花
一二三区无线乱码2021
儿子一晚上要了我三回怎么办
帮你女儿疏通下水道
美国日本一区二区三区
男按摩师用嘴亲我下面口述
谁输了去谁家受罚小红和小明
男生吃兔兔女生该干嘛
99精品与95优品
两个男孩子开车细写
花蝴蝶日本视频
暴躁老阿姨csgo攻略大全
大巴车最后一排被C细节
刺激打扑克摇床又全程不盖被子
2019久草原国产
在线天堂おなあちゃんなにか
BGMBGMBGM老太太70
深田えいみ无码作品
国产色母和进口色母区别大吗
美国十次了导航
刮伦人妇A极一片
久久国产亚洲精品AV麻豆
XL上司樱花未增删翻译中文翻译
把女人弄特爽黄a大片
一边亲着一面膜下奶韩剧动漫
隐身在课堂里为所欲为的游戏
帮妺妺洗澡忍不住C了她作文
精品国色天香新区卡一卡二
英语老师没戴套让我C了一节课
蜜桃成熟时5D
三圾片目录大全下载
躺在我跨下的英语老师
360大但人文艺术图
CHINESE体育生东北露脸SOLO
带闺蜜出来玩被她老公骂怎么处理
HAIJIAONET海角社区论坛
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1