有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
日本1卡2卡3卡4卡
爸爸妈妈为什么夜里摇床还叫
赵露思乳液头实出
第4色最新地址
张雨欣人文艺术欣赏
男朋友一晚上透了我3回还想让透
国精产品一二三线
JK底部的视角是什么样的
做完后堵上不让流出来作文
国精产品999永久中国有限
妈妈的朋友的4在观完整有限中字
ZOOM人牛OKZOOM俄罗斯
工口无翼乌彩色无摭不知火舞
同桌拿舌头进去我下面好爽
大象1区一品精区搬运机器
12种B哪种最好玩是哪12种
国精产品W灬源码1688伊在
柳州莫菁门事件
英语课代表说他下面湿透了
品色堂永久的免费论坛
开襟旗袍做运动狂飙乳液
动物胶配方视频高清
たと花火と在线观看动漫免费
白天躁晚上躁天天躁的治疗方法
vodafonewifi喷浆
8008幸福宝官网隐藏统计
贪欢经典片在线播放
换个方式做吧未增删樱花网
弱点第21话只做一次够吗
韩国三圾片目录大全
情侣之间插秧的图片
高嫁肉柳1一4集BT
朋友的妈妈2在完整有限中字木瓜翻译
总裁缓慢而有力的往里挺送
顶一下叫一声是什么意思
爷爷总是在妈妈身上
迈开腿让我尝尝你的小扇贝APP
品色堂永久论坛
原神雷电将军18襟网站
父亲缓慢而有力的撞着
希儿乳液狂飙天堂W98
沉香如屑在线观看免费完整版腾讯
女生越喊男生越要塞的视频
我与黑大佬的三百六十五天完整版
一个人看BD高清在线观看
老阿姨一直叫BILIBILI
永久的免费论坛
欧美无mate30pro巨
亚洲一卡一卡二新区迎热烈讨论
顶级大但人文艺术欣赏
软玉娇香1V3
公交车上的诗请猛烈的输出阅读
成全动漫视频观看免费下载
国精一二二产品无人区
我想用乌龟蹭你的扇贝是什么意思
合欢app下载汅api免费秋葵
变成黑皮肤和朋友做了无删
暖暖直播视频免费高清完整版
老师你的兔子好软水好多的图片
班里的公交车小诗的高中日记
女生的小雏菊长什么样(不是花)
关于我和鬼变成家人这件事
被C到说不出话
翁熄系列欲仙欲死
两个蛇根吃不下呀
家用摄像头都被盗拍视频集锦
400ai情艺中心
你的水都拉丝了
YSL千人千色T9T9T9最新网站CODE1016
成年动漫3d无尽视频
一根筷子怎么玩哭自己
原神外网黄化网站WWW
雨后小故事动态图片
锕锵锵锵铜铜铜铜好大
夏季短袖女生乳突图片
学校的公共公用便器
中国老奶奶vpswindows
水都这么多了还装什么
低头看我们结合的地方
日本不卡三卡四卡
大型丁香成人社区
4399看片手机在线高清动画
怎样把自己玩出很多水
亚洲精华国产精华精华液网站
吧唧吧唧吧唧一口一口吃掉了
同桌C了我一节课作文
台湾果冻传媒在线观看
日本是人类吗最佳答案
老师的兔子好软有好多水
尺八话的巡り动画免费看
小东西长大了可以做了视频
黑人巨茎大战白人女40CMO
国色一卡2卡3卡4卡在线新区
漂亮妈妈日本韩国
精品人在二线三线区别
无人区一码二码三码四码多人收藏
yinseyinxiang
强壮的黑人RAPPER
校园车多肉多的1V2
妇乱子伦真实故事
一边伸舌头一边快速喘气小
多肉大尺寸小黄说说
YSL千人千色YESE88
把娇妻借给朋友泄欲4
八重神子入夜狂飙图片高清
小东西几天没做水这么多
黑料社吃瓜爆料砍黑料社
校长办公室里狂肉校花
妈妈的朋友8中字电视剧
宝宝家里没人今晚弄刺激点
公翁的粗大放进我的秘密电影
我女朋友的母亲5整视频有翻译
差差差很疼的30分钟无掩盖视频
7000万嫁女
胸大的姑娘中文字幕视频
天天啪夜夜干2007
深度开发1V3二月天2YT
狗的东西比男朋友还大
你的东西比我老公大好多
另一类Zoomcloudmeetings
迈开腿尝尝你的草莓什么感觉
车子一晃一晃就C进肉了的游戏
真人情侣剧烈做运动的表情包
撞击的速度越来越快公交车
台湾果冻传媒在线观看
男女在一起翻雨覆雨电视剧
做得你三天起不来
老阿姨BILIBILI视频
中文字幕无线观看高清
黄金网站app免费视频大全
打扑克发出哼哼哼的声音
SWAG台湾官网地址
小区老王的春天
荒野大镖客2大妈一家
宝宝我放进去就不疼了视频
龙口护士门视频
两个奶头被吃得又翘又硬怎么办
啊 你别往里塞了 疼
yy6090新视线看
无翼乌漫画全彩集日本漫画大全
娘娘微臣和他谁弄得更厉害些?
你们对象怎样抠你们的
宝宝家里没人叫大点声
放在里面顶着学长写作业作文
色达天藏砍尸过程
我想要看胸片曝光照片实体
8x8x海外华为永久免费视频
小猪草莓丝瓜深夜释放自己
可以插纳西妲的模拟器
r车禁闭室润滑剂
班长哭着说不能再抠了男生
在教室里把跳d开到最大
甘雨自我奖励让旅行者发现
宝宝你好会夹啊都拉丝了什么意思
东京热456大交乱高清视频
原神凌华内无布料无小爱心
公交车的最后一排入了我
胡桃坐旅行者的坤坤
法海终于把白素贞日服JH
yw8827龙物永不失联九幺
离婚久了和儿子睡在一起
原神女角色翻白眼流眼泪流口水
健身私教弄了好几次PO
叫女生捏自己的小兔兔的视频
白丝脚上的浓浓的精华液
数学课代表趴下让我桶视频
鲍鱼最新地域网名是什
护士VODAFONEWIFI
荧去掉小内趴在地上和散兵打扑克
王者公孙离害羞流口水的表情
什么东西可以当自为棒
用手指轻轻按着并来回移动
为夫们等娘子好久啦
把我的香肠塞进你的甜甜圈里
5g网址点此进入
麻花豆传媒在线MV免费版特色
男JI大巴进入女人的视频
王者荣耀姬小满被捅的流眼泪网站
小东西几天没做喷得到处都是
为什么越叫他越快视频
三邦车视第一视频分享门户视
装不下了要溢出来了
女士不遮阴内搭图片高清图
原神网站正能量www正能量
秘密女搜查官系列
无人区乱码卡一卡二卡三
两个人一前一后中间
99国精产品灬源码1688钻
清楚看到我C你过程
在县城开零食店春节能卖200万
水渍声和撞肉声连成一片
老公弄我的时候婆婆看到了怎么办
原神女角色翻白眼流眼泪流口水
状元的小公主1V1
WRITEAS撑桌上
桶三十分钟全教程
将军每走一步就撞一下
环太平洋 迅雷
中国日本韩国免费观看
拔萝卜痛又叫黄
不如各自安好(1V1)
缓慢而有规律的往里挺松动
GoGoGo大但人文艺术张
厨房往下边塞冰棒
人和畜禽Croproation
暖暖视频播放免费韩国
说是不是老公的小SB怎么回复
院子里公开惩戒(下)WRITE AS
把她送上快乐巅峰
国语高清CHEAPWINDOWSVPS图片
GAY2022
边做饭一边躁狂怎么办
被当成玩具发泄的一天作文
黄色软件下载3.0.3每天无限次VIVO版大全
我是怎么C你的 叫出来
中韩砖码砖专区2023
我的妹妹需要牛奶才能变聪明
四叔日常1V2
丰满年经的继拇9M
夜里18款禁用B站入APP软件
家有三个媳妇陈淑蓉结局是什么
老公晚上吃我的小兔子
亚洲一线产区二线产区区别在哪儿
JINYU9分10秒
老人船上弄雨婷第20集
边做边爱3完整版
5G天天运动天天奭运动入口
初中女生喊疼男生越往里寨游戏
顶的速度越来越快越叫
晚上婆婆叫的厉害
上课跳D突然开到最大
野花视频手机免费观看完整直播
津渝视频完整版百度云
ekdv 273
日本一卡二卡3卡4卡乱码理论
china中国青年gary外卖抖抖
日产高清卡1卡2卡无卡
妈妈的朋友8完整视频有翻译木瓜
年轻的阿姨1在观整有限中字
CHINA中国东北GARY2022
2014年4月里番
中国speakingathome宾馆百度
无人区码卡二卡乱码
1000部未年禁止勿入免费
女士睡衣开襟免费网站高清
污到能让你滴水600字作文
丝瓜草莓秋葵污下载旧版网址免费
939W乳液78W78WYW55523
引导狗狗上自己
深夜释放你自己草莓视频
性VODAFONEWIFI另类老少性
暴躁老阿姨CSGO攻略
火车后车座的疯狂的做
污到你那里滴水不止的长文
总裁尺寸大的进不去
嗯啊快停下我是你老师啊H
含玉势走八百台阶的师尊
学长们一个一个来C
WRITEAS 野外
白晶晶MV果冻传媒妻子的谎言
搡BBBB搡BBBB搡BBBB
公交车一晃撞了进去没有阻隔
鄂州一家三口373页聊天截图PPT
黑龙江教室视频完整版
中中文日产幕无线码一
sis第一会所
我的很大你忍一忍
一次接5个客人的感受
雍正进入甄嬛身体
超pen个人视频公开视频
在公交车最后一排被多人
B是不是越大越好
玛雅论坛亚洲电影
为啥很多男的喜欢睡孕妇
妈妈的朋友1在完整有限中字
女生让男生随便诵自己的名字诵
试看免费120秒
为什么撞得越狠越快越不疼
斗罗大陆txt全集
学渣坐在学霸的鸡叭上写
祢豆子が悪い人に捕まったら
711人体美鮑
吃鸡rap小姐姐
18岁末年禁止网站
暖暖高清视频免费
傻大壮你真厉害我都
壮GAY吊大人帅精浓
第一次给0开的手法图
被C哭是一种什么感受
天美传媒国产电视推荐
教室里英语课上插英语课代表
张铁泉死亡现场
GARY18一19
输了被罚让别人玩一个月隐私
老师上课跳D突然被开到最大作文
我家狗狗弄了我4个多小时的尿片
日本人属于人类范畴吗
久久一区二区三区精华液使用方法
云缨去掉衣服图片
坐摩托车车进入身体
别人玩自己隐私位置玩到哭
雷电将军ちゃんがを腿法娴熟部下
G718.SX.张津瑜蘑菇
日本亲子乱子伦XXXX50路
韩国电影办公室1免费完整版播放
你快叫啊我就喜欢听你叫
充气娃娃实战演练
天堂引路人咳咳懂得都懂
全在DOI没停过的电影叫什么
日韩天码砖区2022
黑帮少爷爱上我
日本ZLJZLJZLJZLJ喷
求你别在阳台有人看见
10款禁止下的软件
梅姨到底有多恐怖
1819处china
8X8X拨插拨插高清免费版本
甜蜜惩罚未增删带翻译整集带翻译
19岁macbookpro未满16岁
彩虹男GARY视频2023入口
五十度灰 种子
张莜雨人体艺术图片
YSL千人千色AE86V9
奥利给吃粑粑原视频
搞机time恶心10分钟直接打开网页
段嘉许把手探了进去
迈开腿里草莓男人往里怼
日产一线二线三线理论
人间小喷泉1V3HL
俄罗斯人和欧洲人的情感差异
魏晨破赵奕欢密照
侯马市性侵事件视频
呵啊呵啊呵啊女生叫什么
我在英语课上强干英语课代表
非洲人与性动交CCOO
一边做饭一边狂做怎么办
幸福宝APP站长统计官方网站
秘密教学83话田里开机SVIP
男生和女生 打扑克
几天没C就痒了宝贝
一前一后同时攻击舒服吗
被自己造的机器人C了
略国精产品W灬
文轩WRITE. AS车肉教室
6人轮换害羞了
女人做几次就不紧了
坐在木马的木棒上公主
被主人用数据线打的作文
一面亲上边一面摸下边打扑克
4虎的地址有知道的吗
羞羞网页入口页面登陆
我的兔子好软水好多H15
八重神子の俘虏ゲーム桃子移植
国精产品无人区一码二码三蘑菇
仍想结婚的女人
男朋友做到我下不了床
中文日产幕无限码一区有限公司
糖果君小宇36分钟无偿
中文字字幕乱码播放
白嫩的白嫩的BBBBBB
无人在线观看免费观看韩剧
差差差很痛30分钟打扑克
痞幼视频3分25是什么意思
究惑R车禁闭室润滑剂
老湿机影院试看十分钟
漂亮妈妈5韩国2019
把腿张大点就可以吃到扇贝了视频
老卫抱着淑蓉进房间导演是谁
老公说想上我妈妈
WRITEAS强制
趣事百科宅福利鲁一鲁
日本最大但人文艺术欣赏的背景
中国 韩国 日本 免费看
为什么抽的越快就会叫
4虎的新地址是多少2022
小东西几天没做又紧了
女人的各种鲍鱼
小兔兔被男生咬着的图片
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1