有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
嗯嗯宝宝怎么啦难受吗 疼 好大
国产乱码无限2021芒果
你把腰抬起来一下不然我没法发动
一根棉签怎么自W
黑帽门7分40视频照片豆瓣
免费国精产品一二二三
刚开始是拒绝的后来太舒服了
晚上一个人睡不着在线看
宝宝我不进去就蹭一下不动
soshow影城
父母儿女媳妇一起来玩的说说搞笑
水都这么多了还装什么
密桃成熟时33d国语
走一下就往里撞一下
不要了好涨停下来
羞羞漫画官方登录页面免费漫画弹窗破解版
免费可以看污污污的网站
在车上被弄到高c
snis-774
孩子玩着玩着就进去了怎么办
你们给老公含吗
51DADOU大豆行情网
147人人艺术
老公不在儿子当老公妈妈帮
三个人日的我走不了路技术
热浪球爱战演员表
塞跳D不能掉出来上学作文
帝王怀孕肚腹圆隆憋尿
99国精产品W灬源码1688
宝贝和我女主角
讲讲第一次吞J的感受知乎
腿再张大点就可以吃到扇贝了视频
家里没人半夜就和妈妈搞
没带罩子让他吃了一天的药
日本ZLJZLJZLJ
亚洲乱码卡一卡二卡新区公司
手不安分的探进她的礼服小作文
在停车场里震车会被发现吗
洗屋先生樱花未增删带翻译英文
两个师傅一前一后上
国精产品999永久中国有限公司
张筱雨《魅惑》-5
晚上一个人看B站
一支笔怎么C哭自己
涩涩屋草莓榴莲绿巨人秋葵的特点
may18_XXXXXL56endian
甘雨去内布料开襟XMAN
tobu8在线观看中国
日本漫画口番工全彩
雷电将军入夜狂飙图片高清壁纸
好烫好涨被尿灌满了BL
三圾片有哪些好看
日产精品二线三线
两个人怎么搞才能生孩子
扑克直播软件免费
扑克牌又痛又叫软件免费下载安装
最强RAPPER潮水偷轨
可以随意触摸内部位的游戏
国产精华液2020
精产国品一二三产区9977
快穿之攻略公嗲之粗汉H
家里有什么能代替棒棒
《言教授、要撞坏了》
张津瑜 VS吕总卫生间
性工作者十日谈粤语
班长是全班的玩具
坤不小心碰到女同学了怎么办
探秘亚洲XXXXXLMEDJYF
俩人一上一下做运动的表情包
善良的秘书5中字巴巴鱼汤饭
男娃JY灌溉系统
他把手探到我的衣服里作文
老马的春天顾晓婷
姐姐的朋友9完整视频有翻译
中国警察网张津瑜落地窗
让你尝尝我的尺寸
japonensis 19一20刚开始的
坐公交车弄了2个小时视频怎么办
好妈妈5免费观看中字直播
双人游戏BY春雨惊蛰
朋友的母亲4在完整有限中字第5
漂亮妈妈5观整有限中字
2019理论片电线
我想用扇贝夹你的乌龟是什么意思
春暖花开吧cc
xanxus霸史录
岳今晚让我玩个够肥水一体探岳体
宝贝把腿开大让我添添电影
军1V2的PO推荐
亚洲一卡2卡3卡4卡精
芳草地在线观看视频
大武当之天地密码迅雷下载
三根一起玩真的不会坏掉吗
巨年少根与艳妇
张津瑜七段视频1080P
我和公GONG在厨房日本电影
品色堂永远的免费论坛
无翼乌全彩之爆乳漫画
老狼一卡2卡3卡4卡2021免费
彩虹男GARY网站
你信不信我现在做哭你
15岁macbookpro日本
FREE性俄罗斯14 18
亚洲一线二线三线品牌精华液
爸妈儿女换着来玩的说说心情
20岁女RAPPERDISSSUBS汉语
69麻豆天美精东蜜桃传媒潘甜甜
美国白人未成年RAPPER
男生女生差差差差差很疼视频免费
轻轻剥开你的罩子一口咬上头
海角精产国品一二三区别
翁公和媛媛在厨房里猛烈进出
被机器人不知疲倦的干着
老板办公桌下口亲的书叫什么
7000万嫁女
洗澡被公强奷60分钟
叔父的大还是爸爸的大
彩虹男GARY2023入口
我朋友的妈妈9完整有限中字木
撑起伽罗的腿疯狂输入的视频网站
向小小花蕾深处前进讲的是什么
边吃着一面膜下奶爽了
一边亲着一面膜下奶韩剧
厨房往下边塞冰棒
坤巴塞小洞里视频
张柏芝艳门照图片
跳D放在里面坐公交
黑人缓慢而有力的往里挺
rh男男车车好快的车车作文
国精产品WNW2544A
宝贝我不想带小雨伞啦
朝俞做题车WRITEAS
清清成了班级的发泄玩具的作文
学长让我夹跳d不能掉的作文
国产精品麻花传媒二三区别
色戒完整版2小时38分
丝瓜 草莓 秋葵 榴莲
干的你走不了路SB
中文字幕无线在线视频
孩子玩着玩着就进去了怎么办
诱人的女邻居2在线观影
办公室车多肉多的1V2
才几天没做你就叫成这样
爸爸我们不能这样的
私教在没人的时候要了我短文
人曾交互MOUSE
天下第一社区中文字幕
欧亚专线欧洲S码WMY全部资讯
舞林大会棒棒糖
7000万嫁女
为什么撞得越狠越快越不疼
一家三口换着玩
被窝里的公息第十三章mip
Gary1609百叔的个人风格
痞幼视频3分25秒
岳两腿之间白嫩的小缝
草莓app下载安装无限看-丝瓜安卓免费
小柔在舞蹈室里被蹂躏
夹枪带棒1V2舒明明
半夜睡不着网站
宝贝打开腿一点也不疼
爱福利视频广场福利视频
被困住的我们韩剧
夹枪带棒(1V2)
公交车6人轮换CH
张津瑜视频夸克下载
羞羞的漫画免费入口页面登录下载
学霸错一题插一次
吃鸡rap小姐姐
跑步机上边跑边顶HHH
男朋友是怎样进你的
高冷男受用钢笔玩自己图片
女儿的男朋友是妈妈的爱豆
日本插槽X8插槽
旮旯村的那些闹春事儿
你的舌头太厉害了
家用摄像头都被盗拍视频集锦
又是母亲又是老婆
被子里怎么无声自罚超疼
鲍鱼tv最新网名2021
男朋友一晚上透了我3回还想让透
pinsetangluntan
男朋友压着我说想进去
边吃饭还和爸爸连在一起
棒棒糖放屁眼里旋转的游戏
魅魔乳液狂飙图片大全
把极品白丝班长啪到腿软
品色永久免费论坛
充气娃实战过程图片
秘密教学90话以后绝不再压抑
好满射太多了装不下了怎么办
王者荣耀公孙离咬铁球流口水
高树玛利亚图片
翁公和晓雯在厨房里猛烈进出
雍正睡了自己的女儿
舞蹈区卖肉精选
小洞饿了要吃大火腿肠吗
段嘉许把手探了进去
把腿抬高点添的才舒服总裁
我的我的风流岳每2
Javaparser厨房好妈妈
我才上六年级就C过了作文
爱情岛论坛网亚洲品质
日本最大但人文体艺术
xiaav 这里因你而精彩
linode日本iphone强汉视频
一边吃着一面膜下奶图片
天美传媒剧国产剧情MV公司
雷电将军乳液狂飙VX网址
日产精品一线二线三线
爸爸单身多年想要可以给他吗
14MAY18_XXXXXL56ENDIAN印
迈开腿让尝尝你的森林是什么意思
lovely cation
缓慢而有力的往里挺送
已满18周岁请点击进入网站
早就想在车里要你了视频
c的你走不了路sb
蜜芽MY12777
麻豆国内剧果冻传媒网站
爱在初春惊变时
日文中文字幕乱码一二三区别
后营露营第二季无增减
随着公交车一晃一晃一撞一下
我的B就是你的饮水机
儿媳妇水这么多还说不要吗
八重神子流乳液
腐烂水蜜桃NPC
2014年5月里番
欲体焚情百度影音
一层一层一层的剥开我的衣服
潘甜甜果冻传媒七夕连接
诱人的女邻居BD在线观看
moonlight动漫在线观看
五十度灰 种子
学渣含着学霸的写作业
中国XXXXXL17免费
漂亮妈妈日本韩国
偷看娇妻被交换
宝宝家里没人叫大点声厨房
整篇都是车的文章
yw8827龙物永不失联九幺
都湿透了还嘴硬疼咋回事
我们站着再来一次好不
将界2第3激烈视频
刺激打扑克摇床又全程不盖被子
女的越疼男的越往里寨的应用
我的好妈妈8中字播放
两个领导在车里吃我奶H
正能量网站www正能量网站
三叶草亚洲码和欧洲码区别入口
大奉打更人插花弄玉成语意思
韩漫漫画登录页面入口
打扑克视频用点力
国产蜜芽果冻传媒电影
禁用18软件APP葫芦入口
在椅子上放一根很光滑的木棍
好刺激的打扑克软件
欧洲黑人最强潮水RAPPER
欧亚专线欧洲WMY
草莓视频释放深夜的自己
精东传媒VS天美传媒电影
当着全班面被C到高潮哭视频
甜蜜惩罚未增删带翻译樱花接
山川青空种子下载
双龙NP黑粗撑开宫颈口BL下人
女生让男生诵自己的诵视频
小妖精撞得你舒不舒服
首页艾斯S踩踏社区
日本windowsphone
狗配人怎样配马配人呢
日本畜禽CORPORATION
够了够了已经满到高C了甜甜
中国超大但人文艺术视频
嫩草研究院官官人口2021
原神甘雨被空C出白色液体游戏
娇妻初尝粗大滋味借种韩国电影
99品一二三产区区别
在恩爱时发出嘤嘤的声音视频
日本人属于人类范畴吗
抑制剂的副作用by栖鹤
3DNAGOONIMATION_HONKAI
濑亚美莉最好看的几部
95W乳液78WYW永久YW1129CM
仙女棒带一整天的感受上学
linode日本iphone强汉视频
99无人区码一码二码三码...
宝宝几天没见湿成这样
没有我的允许不能尿出来作文
国产尺码和欧洲尺码视频
99国精产品品质溯源网
石头剪刀布输了弹小鸡视频
亚洲无人区码一码二码三码的区别
打扑克剧烈运动软件
公交车最后一排被C细节描写
回娘家老是搞我
果冻传媒官方网站入口
chinesefree普通话对白
中国XXXXXL19学生
s货是不是想挨c
天堂MV在线MV免费MV香蕉
在裙子里面运动
17CGCG吃瓜官网黑料爆料
无人区码一码二码三码四码
视频网站无码专区遭曝光
雷电将军的乳液狂飙图片
爱情岛论坛线路一官方网站
MAYA要继续浏览确认您已年满
999re5这里只有精品w
哄孩子睡觉老公在侧面做
亚洲码与欧洲码区别一二三四
男生讲讲自己第一次细节真实知乎
一边亲一面膜下
老旺的大肉蟒进进出出次视频
小洞饿了想吃大香肠喝热牛奶是
教你怎么自己吃丁丁
床上腰射和肩射是什么意思
徐莹 非诚勿扰
雷电将军掀开衣服看副乳
一边做饭一边狂躁怎么办呢
灰熊最后6分钟在哪可以听
年轻的朋友3免费观看完整韩国
男生把坤坤放女生坤坤里蘑菇
黑人猛挺进小莹的体内视频
男生和女生玩滑滑梯是什么意思?
男朋友给我买了振荡器好不好
老公叫我和别人换着玩怎么办
中文字字幕乱码播放
我的好妈妈5中文
一整夜没有从你身体里退出来
真空挤地铁有反应了
品色永远免费论坛
每走一步楼梯就撞故意顶一下
侯马市性侵事件
小洞饿了想吃大香肠有限公司
开的比较细的车文章
课代表趴下让我连桶了30分钟
三代乱惀小说全集
娇妻玩4P被三个男人伺候小说
不要了好涨停下来
男男车车好快的车车
污到你那里滴水不止的长文
男人会亲你的小花园时代表什么
学长我错了POP跷跷板
旅游时跟女儿有了关系
第一次处破美女完整版
TOBU在线观看免费直播
学长在地铁里怎么可以这样呢
19岁潮水RAPPER欢迎您
夫妻之间免费的视频
日本ZLJZLJZLJ
蜜桃文化传媒有限公司
美女裸全身无档图片视频教程
激烈的打扑克的视频
阿岘洞夫人国语版
美国vodafonewifi巨大app
日本一姐潮水RAPPER 太多
和搜子同屋的日子2在线观看K8
寒假自罚表要残忍必动隐私
藏经阁福利导福航大全
午夜dj免费完整在线看网
抖音奶片故意走漏15秒图片评论
波多野结衣哪部好看
一件一件的剥开我的衣服
想吃你前面的葡萄
国产一品二品三品的区别在哪
人与畜禽的合作关系
你们男朋友是怎么C你的
国产黑料吃瓜51吃瓜免费观看
写错一道题就让学长干一下的视频
家庭教师hitmanreborn
男生捏我的小兔兔描述
欧美乱妇狂野欧美在线视频
欧亚专线S码和M码的区别图片
jmcomicron
欧洲无人区卡一卡二
原神雷电将军乳液狂飙APP天堂
ZOOM人牛OKZOOM
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1