有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
风韵诱人的岳欲仙欲死在线观看
潘金莲扬思敏全集1一5集三级
蜜桃麻豆天美星空传媒
爸爸在下面撞着我写着作文
学长你的好大不能坐着写作业
授课方式BY肉馅小水饺
英语今天晚上让你桶个够
深度1V3多肉梁医生
学长的手指在里面转动的写作业呢
清纯校花系列h文
艳姆1到6集转码在线观看1
国精产品一二二线网站
Zoom人与Zoom大吗
BGMBGMBGM老太太视频HD
为什么女的干一炮就老实了
拿我的妹妹做实验V2.0无病毒
爱呀哎呀我愿意
被两个男人绑着玩好爽
黑料吃瓜反差婊爆料网
冰块和棉签是用来干嘛的(黄)
别出声不然就被发现了
我的兔子好软水好多h15视频
儿媳妇 水这么多还说不要
公交车后车座的疯狂CGH
快猫记录生活记你
中国人も日本人も汉字を
用嘴巴吃鸡会有什么好处吗
东北一家人1一6全文阅读小说
扒开粉嫩小泬舌头伸进去视频
麻豆传播媒体2023最新网站
19岁RAPPER潮水偷轨仙踪林
韩漫免费漫画入口官方
CHINA篮球体育飞机推特
宝贝看我怎么破你的初试视频
腿再打开一点就能吃到扇贝了图片
爱福利视频广场福利视频
一个人夜里偷偷看b站怎么办
最近韩国日本免费观看百度
穿戴式跳D放在里面逛超市的感受
WRITEAS军人
撑起伽罗的腿疯狂输入的视频
午夜dj在线观看网
精东传媒十三个女演员名字
永久免费品色堂
班长哭着说再c就坏掉了
你老公晚上都是怎么玩你的?
一号请你配合我的走位
丫头牦户一张一合
欧美精产国品一二三类产品
2023b站免费推广入口
慢慢褪去了她的内衣
4438x成最人最大
痞幼黑料不打烊900张照片
16岁日本学生MACBOOKPRO评测
12may18_XXXXXL56endian49
51精产国品一二三产区
馋你了今晚想吃馒头
宁波蜜桃文化传媒有限公司招聘
英语老师没戴罩子让我捏了一节课
将冰葡萄放在小洞里
爷爷总是趴在妈妈身上睡觉
第4色最新地址
25岁女子高中生樱花未增删翻译中文翻译
GoGoGo大但人文艺术评价
晚上坐大巴车和陌生人坐一块
菊内留香TXl金银花
菊内留香 TXL金银花露
中文字日产幕码三区的做法大全
玛雅wang 发信到
亲爱的老师3韩国完整
漂亮的丰年经的继拇5字
边做边爱BD免费看片
夜里自己一个人弄自己
精东影业JD0045妈妈咪呀
事物的秘密截取一小段
中国老太RAPPER
99精产国品一二产区在线
51吃瓜热心张津瑜
女生两种高C的表现
猫咪最新地域网名3336
老卫把船开到河中心去的故事
污污免费看锕锕锕锕锕锕三小
乱码一线二线三线新区破解欧
他像疯了一样占有了她退出
亚洲砖码砖专无区2023
家风贞静(禁忌GH)结局
啦啦啦中国日本免费高清观看
年轻老师的滋味5在观整有限中字
荫蒂添的好舒服小说
BBOX糟蹋BASS
幼儿HIPHOP仙踪林的
一整夜都连在一起没有退出来
在车内疯狂打扑克
小男孩把坤坤放在小女孩脚
137VT最大但人文艺术A豆瓣
TPU色母与PA6色母
国产AV无遮挡喷水白浆桃花视频
宝下面都湿透了还嘴硬疼咋回事
疫情期间和儿子做了怎么办
抱着娇妻让朋友一起弄
波多野结衣 海啸
英语老师没戴让我c了一节
中文在线っと好きだった最新版
女欢女爱第二季
日本牙医赤子板栗免费
坤吧放到欧派上
网站你懂我意思吧
奇米四色7777中文字幕
亚洲卡3卡4卡5卡乱码
麻花传媒XK8046在线观看
舌头探洞感觉要喷了水怎么回事
班长是我们班的存精器作文
春江水暖桃仙汁1V2糙
19岁RAPPER潮水
最近最新高清中文字幕免费大全
老师拉我去办公室做了一节课
老公亲我的小花园爱我吗怎么回答
麻花传MD0174沈娜娜
被几个男的一起添好舒服
小泽玛莉亚种子
日本一本到道免费
乐可车车的图片
不想痛就把腿分到最大
国产无人区码卡功能齐全
春暖花开x吧有你
我要拥有你的全部下滑
用...用点力快要到了视频
得到超级肉禽系统的小说作者
和亲公主19楼
soe-992
用手指轻轻按着并来回移动
剧烈运动摇床打扑克运动视频免费
孩子没有睡老公就侧面做
XMXMXM18美国
交流1V3多肉
触手tentaculata无尽
两个人的BD高清视频免费
凝光用嘴帮助旅行者的故事背景
非洲人与性动交CCOO
惠子老师优雅生活
年轻的阿姨5在观整有限中字
一小孩半夜给姐姐吃坤巴
大胸年轻的搜子
LINODE日本IPHONEDVD学校
精JAVAPARSER乱偷
楚晚宁墨燃所有肉车微博截图
四个人换着玩的过程叫什么
皇上开了太子妃的包
刺激打扑克摇床又疼又叫
ZoomkooL牧场视频猪
性成熟黑人双插美国1819
夜晚双人做的扑克视频教程视频
火箭少女的开襟乳液狂飙
穿裙子就是好c
合欢椅PLAY春风凤鸾椅
掌中之物何妍被多少人轮
不知火舞和三个小孩
ZO2O女人另类ZO2O洗浴
2021最新一二三四五六三
女头部位上半身胸头透明
国产蜜芽果冻传媒电影
小霜的高中成长日记下载
9.1短视频软件安装免费
麻豆京东水蜜桃果冻传媒
虫虫漫画免费漫画页面弹窗看不
YSL千人千色T9T9T9T9T9
体育院校大猛攻视频
《我的年轻漂亮继坶》
爸爸我怀了你的孩子免费阅读
PRISON HIGH PRESSURE
她在丈天面被耍了BD免费
小舞给人桶的模拟器
GC突然抽出来
GOGOGO在线播放中国
日本ZLJZLJZLJZLJ老师办公室
王者荣耀KURO西施流液体
双人打扑克剧烈运动视频
激荡的瑜伽室2
满肚子浓精涨走路调教
王者荣耀KURO西施流液体
我想用扇贝夹你的乌龟是什么意思
旗袍全开襟双人运动
成品大香伊煮和小辣椒的用途
公交车撞到最里面去了贴吧
18岁末年禁止网站
一边写作业一边C她免费
秘密入口地址1地址2地址3 帧
父母全家儿女大联欢第14集
成绩差成为全班发泄用的玩具
双子ノ母性本能
快手王多鱼被C视频
GARYWAYNE男男视频
开车污的 女生越疼男生越来越快
草棚canopen国产
无人区编码6229JM
5G天天奭5G多人运在线观看免费最新
哪个浏览器可以看黑料不打烊
让人看得留水水的故事
贪欢电影在线观看
都是同学C一下怎么了?
腿再打开一点就能吃扇贝了
po18脸红心跳作茧官网入口
野花视频在线观看最新高清
大尺寸的小黄说字多肉有哪些
小洞饿了想吃大香肠什么意思
zztt黑暗传送门
黄台软件2024
我的极品岳坶全文阅读
姐弟俩拔萝卜又疼又叫高新
PYTHON人狗大CSDN
韩漫免费漫画入口官方
一亲二膜三叉四强五注射30分钟
把它堵住不能流出来下周检查作文
老板不让穿乳罩随时揉H
无人区码精华液
春暖花开xing
花季传媒v3.072黄每天免费三次下载
菠萝视频无限看
原神雷电将军被淦免费网站
我被三门齐开了事后走不了路
燕氏被四个和尚播种
两个男的是怎么开车的
趴玻璃上做给别人看
爆乳家政妇 肉感的身体
叫吧宝贝我想听你叫
离婚多年和儿子睡觉
AI人脸替换明星喷水造梦
国产一产二产三精华
迈开腿尝尝你的草莓是什么
彩虹男孩GARYMBA入口
品色堂永久的免费论坛
被塞玩具出门文
我得到了妈妈的桃花源
原神网站正能量www正能量
王建李珊张伟陈婷互换
墨燃和踏仙君同时干楚晚宁猫弄
男朋友几个朋友一起上我
学生的妈妈5中韩双字多
我家狗狗弄了我4个多小时的尿片
未成年的女RAPPER
腿再张大一点就可以吃扇贝了
老师你的好软水好多的时候图片
他们一前一后的有力的攻击我
新区乱码无人区二精东
无翼乌漫画全彩集日本漫画大全
psp变形金刚2
年轻漂亮的老师2中文版
日本一卡二卡三卡四卡无卡高清视频下载
麻婆豆腐传媒一区二区三区
数学课代表趴下让我桶RH网站
公大JI巴给你P
少妇无码吹潮久久精品AV网站
我的漂亮女房东完整版BD
小东西好几天没弄你了若若视频
my88816蜜芽入
性生20分钟性生20分钟
BGMBGMBGM老太太毛
名侦探柯南剧场版9
FARMSKINS进不去
おじさんとわたし中文在线
《帐中香》txl金银花
ZHANGJINYU视频哪里有
顶的越来越快越来越重
才两根手指头就喊疼怎么回事
WRITEAS 教室
你把腿开大点就不疼了
一二三四免费中文在线1
你真紧你这是要我的命吗什么意思
错一个题就往阴里装一支笔
蛇双器巨大堵的出不来
男朋友C我的时候我说什么
离婚久了和儿子睡在一起
歪歪漫画在线阅读页面免费漫画入口页面秋蝉
旅行者把甘雨咬出乳液
坐在爸爸上面吃饭
亚洲一卡2卡3卡4卡国色天香app
温暖叶非墨做肉段阳台图片
高C了还可以继续吗
浏览器正能量网站
中国人看视频免费
十8禁用B站在线看漫画软件
年轻的保姆5线观高清多鱼
你快叫啊我就喜欢听你叫
王者荣耀英雄黄化网站在线看
我离婚后经常和父亲做
4399韩国日本最好看的电影
醒来发现狗在上我
老外太长到我子宫了
女性半夜莲花开什么意思
秘密教学渗透测试秋蝉
一直喝水不让尿的高黄车
卫生间疯狂打扑克
老师你的兔子好软水好多作文
俄罗斯FREE性16
VODAFONEWIFI粗暴
当私生饭是要挨C的
manta haya 17
2022男钙GGY钙站
善良的妈妈的朋友5中字巴巴鱼汤饭惹人
睡醒发现还在C1V1
十九岁韩国HD免费完整版
亚洲无人区码一二三码区别图片
两男一女两根同进去舒服吗
丰满圆润大胸在线
永久939W乳液78
课代表趴下让我桶30分钟软件
母亲ちゃんとしようよっ翻译
迈开腿让尝尝你的草莓是什么
西方最大但人文艺术摄影
每次见面他都要好几次细节
一前一后三个人轮换的英文怎么说
麻花豆传媒剧国产MV出差
公交车后车座的疯狂的做小视频
4399看片手机在线高清动画
张津瑜视频9分10百度云买
麻花传媒剧在线MV免费观看
成品网站W灬源码16伊园最
郑媛媛未经处理雅照
宝宝下面都湿透了还嘴硬疼咋回事
上自己妈妈是什么体验
花蝴蝶HD免费高清
冲田杏梨的电影
菠萝菠萝蜜一区别1688
GAY2022空少被体育生暴菊
AI人脸替换白鹿喷水とらぶる
GOGOGO人文艺术
妈妈的朋友7中国语
免费日产区乱码2021软件
maya请确认年满
大团圆结亲情会目录
穿越优质JY收集系统游戏
如何玩自己的R头到腿软
小SB是不是欠C了
女生喜不喜欢双指探洞
车子一晃一晃正好进
同桌骗我去他家塞冰
日产一线二线三线理论
来自俄罗斯的美国女RAPPER
对象吮自己小兔兔的感受
母与子2免费观看完整版
B不就是用来C的
女生迈开腿让男生吃草莓恶心吗
清清成了班级的发泄玩具的作文
接电话故意做加快速度
坐在教授的棍子根茎上写
说说老公夜里顶你的
一面亲上边一面膜下边说说
三圾片有哪些好看
亲亲抱抱柔柔的图片
干柴烈火儿媳苏姐结局是什么
朋友的母亲8在观完整有限中字木
原神胡桃N开襟乳液狂飙视频
便利店的少女未增删带翻译
男生女生一起差差很痛的APP下载安装2023
俄罗斯人与物动XXX
国精产品W灬源码1688伊
客厅H伦亲女小芳小雪视频
5g网址点此进入
一亲二膜三叉四强五注射
黄系纯色软件下载入口
斗罗大陆人物黄化
疯狂母亲在线播放
麻花豆传媒剧国产MV免费GK
中国老奶奶vpswindowsHD
一女多男nP现代高H
一人一狗卡了六个小时视频
GOGOGO大但人文艺术
我的好妈妈5中文
宝宝怎么才两根就哭男男H
穿戴式跳D放在里面逛超市的
做AJ的姿势视频教程图片高清版
含羞草传媒隐藏路线2023网站
半夜看到父母在剧烈运动知乎
做错一道题就干学渣一次文
迈开腿让我尝尝你的草莓什么味
如何把自己玩成喷泉状态
11岁下面能放几支笔
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1