有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
体育课被C了一节课
25岁的女高中生
S货是不是想挨C叫大声点
试看免费120秒
无翼乌漫画之无挡遮
中国vpswindows野外高清资源
一面亲上边一面膜下边的肌肤之亲
露娜用孙悟空的金箍棒玩自己
不知火舞之沙滩狂欢
人蛇大战之蛇精3
女子日系裸妆视频
WRITE AS 公共场合
无人在线观看免费高清动漫
姐姐说家里没人可以C
沉香如屑在线观看免费完整版腾讯
精品无人区码一码二码三码区别
班主任说快来插我啊的视频软件
只因爱你by欲语还休
公交车后车座的疯狂的C
小棉签是用来干什么的
隔着睡衣吃你的小尖尖作文
看见你的棒棒就想吃是什么歌
来吧儿子妈妈今天是你的人
水蜜桃秘密基地
今天晚上我控制不好速度
双指探洞一分钟200次什么意思
一前一后的动了起来
张柏芝艳门照图片
男朋友c的时候都说什么
得到超级肉禽系统的小说作者
云缨去内P图图片
JLZZJLZZ日本人护士水好多
十字架与吸血姬
LASTDAYONEARTH粗暴
一面亲上边一面摸下边打扑克
两个蛇根吃不下呀
跳d放在里面逛超市的
插花弄玉曲径探幽不正经的意思
md0070沈娜娜苏清歌团圆火锅
国产一产二产三精华液
在教室里把跳d开到最大
明星ai智能人脸替换网站
别急妈妈教你做
女神漫画免费登录
跳D放里面遥控器给别人了
大尺寸小黄说说1000字多肉
爱福利视频广场
老八吃屎奥利给原视频不遮挡
戴了一天跳DAN感受
腿打开点就可以吃到扇贝了视频
小芳乱目录伦7
美女露出尿口让男生爽痛
黑料吃瓜网.SU永久有效
你们四个一起上我会坏掉的小说
原神雷电将军乳液vx网站进入
日本一卡二卡三卡四卡在线观看免费软件
坐在根茎写作业
sis0001 board评论区
日韩天码砖区2021
丁香花大型成人社区
几天没做你就流了
男朋友一晚上透了我3回还想让透
麻豆传播媒体网站入口官网下载
缘之空第4集开始开的车视频
狗狗又烫又大又长
李宗?视频1313网
女人半夜睡不着看点害羞的
忘忧草768mon二区
老阿姨一直叫BILIB
福利姬液液酱高潮喷水白浆
讲述真实的多人运动经历
扒开大腿就可以吃到扇贝吗
国产MV在线天堂MV免费观看
最刺激的乱惀小说合集
分手炮是不是都特别卖力
女朋友技术太好舍不得分手
麻豆传播媒体入口下载免费版官网
你终于长大了可以做了
用力一沉突破了那层障碍
两个奶被揉得又硬又翘怎么
午夜香吻免费观看视频在线观看
羞羞漫画破解版免费阅读网页版
桃花在线观看视频动漫
花季传媒v3.072黄每天免费三次下载
lovely cation
GAY2022空少被体育生暴菊
中国zoom人狗app
差差差很疼视频30分钟应用
宝宝把腿开大点儿就不疼了正常吗
女生和男生打扑克差差差差视频
妈妈说家里没人我们可以做
亚洲一线产区二线产区区别在
再一次心跳第三集
男人会亲你的小花园时代表什么
可以随意触摸内部位的软件叫什么
被闺蜜老公从阳台C到卧室小说
没带罩子让他C了一节课作文动漫
浏览器正能量网站免费
果冻星空传媒儿媳妇
老奶奶vpswindows
开车污的 女生越疼男生越来越快
差差漫画网站页面入口弹窗秋蝉
帅气GARY体育生网站MV视频
in treatment
嗯嗯宝宝怎么啦难受吗 疼
上面一边亲下一边面膜使用方法
怎么自W到高C详细教程
肉莲花吸入金刚杵会怎么样
日本一卡二卡三卡四卡在线观看免费软件
洗澡时被闺蜜老公进入了
注射器放屁眼里灌注牛奶
MD豆传媒一二三区进站口在线
电车蓝衣女种子
老卫干淑荣死去活来
八戒八戒视频中文
欧美乱码1卡2卡三卡4卡
世界上最大阳器有多大
水乳交融HPO
不知火舞3个小孩
雷电将军の罚ゲーム破解版
叫女生捏自己的小兔兔的视频
在体育馆的地板上做
小东西你的水都拉丝了
宅男宅女电影网
张津瑜7段51吃瓜
坐公交车最后一排被C
无限动漫视频在线观看
数学课代表趴下让桶我rh网站
迈开腿男人往里怼女人做法
扣那里的手势图
被同桌扒开腿用震蛋器折磨
妈妈的朋友2中字巴巴鱼汤饭惹人
怎样把自己C到哭
我想吃你的水蜜桃葡萄扇贝
厨房里的激战2海外版
疏通妈妈下水道
大地资源高清日本
ZOOM人狗APP欢迎你
年轻的馊子8HD中文字幕
黑料不打烊tttzzz668.su官网
边做边爱完整版3在线
我家狗狗一天上我一次
真人作爱视频免费视频大全
魏晨破赵奕欢的处图
水都拉丝了还说不
火影忍者禁图网站
吃饭时某处紧密连接在一起
入禽太深麻花影院
97ai蜜桃欧美图片
海角HJ9DB5免费进入
国精产品zzlg77777
儿子比老公的大 没忍住
白妇少洁高义全文阅读
不小心进了岳坶的身体
孩交VODAFONEWIFI
欧亚专线欧洲WMY
雷电将军ちゃんが部下を图片
娘娘微臣和他谁弄得更厉害些?
母亲dna和儿子dna一样不
激荡瑜伽1V2PO
一边做饭一边躁狂的原因分析
洗澡被公强奷60分钟
爱情岛永久免费线路二
宝贝你已经长大了给我
亚洲无人区码一码二码三码的区
宝宝腿抬得高一点就不疼了
中国VODAFONE喷浆
妈妈说只要爸爸不在家就可以睡觉
黄台免费软件OPPO
怎么把自己扣的全是水喷泉访页
黑帮大佬和我的365未删减
色达天藏图片砍尸视频
张津瑜落地窗9分20
宝宝怎么才两根就哭男男
按住腰往上顶弄 滚烫
某处紧密连接在一起
朋友的妈妈2在完整有限中字木瓜翻译
公交车站避雨第二集
始料未及的软1v2
喷泉H1V3HL慕深
写的超细的开小黄车片段
公交车售票员用B售票
公交车被蹭的流水了怎么办
无人视频在线观看完整版高清视频
拔擦拔擦8x8x网站
proumb18
麻豆精产国品一二三产区别
随时随地都能干的小镇叫什么
原神甘雨被史莱姆注入sky
家里没人叫大点声干湿视频
爱情岛论坛免费观看路线二
张书记跨下的杨雨婷
雨后的故事 动态图
大叔你好坏大叔摇起来是什么歌
zztt黑暗传送门精彩片段
oldmacdonald中老年乐
99精产国品一二三产品
小莹客厅激情46章至50章视频
宝贝你已经长大了给我
语文课代表趴下让我桶免费放
又大又黑又长的蘑菇头
人与各种动ZZZ0O0OXXX
亚洲无人区码二码三码区别
汤姆叔叔最新地域网名
整篇都是车的百合
XL上司带翻译免费樱花车
祢豆子が悪い人に捕まったら
斗罗大陆2大乱斗交大配目录
张警官9分10秒
麻豆精产国品一二三产区区别大吗
厨房里两只奶头被吸肿
24小时韩国日本高清免费观看
西方大但人文艺术
樱花味仙流白浆福利姬
夜晚睡不着看B站
真实的CHEAPWINDOWSVPS
班级每人C了我半小时班长
最近日本字幕免费高清
往下边塞玉器见客人啥意思
新疆XXXXXL2031
最近高清日本免费
斗罗大陆2大乱斗交大配目录1
适合女生深夜看的污一点的说说
brt快速公交
MACBOOK少女
同桌把他的J坐进我的下面
每天都是被C着醒的
被体育老师c了我一节课作文
娇妻荡女交换多P
换个的方式做吧第一季
亚洲无人区一码二码三码区别
课堂上时间暂停为所欲为在线阅读
仙桃高一老师没关直播
ZOOM和OKZOOM
37大但文体艺术A级都市天气
大将军1V2LH
坐着震动器写作业朝俞WRITEAS
把腿再掰大点就能吃到贝壳
詹妮弗的肉体下载
日本speakingenglish实践4
你的东西比我老公大得多
早就想在学校要你
亚洲和欧洲一码二码区别
337VT最大但人文艺术西方
海角社区.COMHJ
95W乳液78WYW永久区域
无翼乌老师漫画漫画全集
聂小雨黑皮衣5分多钟视频内容
打开腿我想尝尝你那里的水
老人森林交易视频
14表妺毛还没长齐
一前一后同时攻击舒服吗
亚洲乱码无人区卡1卡2卡3
俄罗斯severodvinsk
国产乱码卡一卡二卡三新区
日本最大但人文艺术欣赏
好男人资源在线观看高清播放免费
深夜办公室哔哩哔哩
国产无人区码卡二卡三卡
谁输了去谁家受罚抽阴可处置男生
无人区乱码一二三四
又大又长又租免费看
caopor男频超碰
天美传媒剧国产MV网站入口下载
浪小辉GARY2022
2023国精产品一二二线免费
黑人双人RAPPER的特点
这几天没C你了是不是
hongkongdoll森林秘境第3集
妈妈的男朋友2线观 高清
小货SAO边洗澡边CAO你动漫
晚上睡不着想看点网站
最近中文字幕完整视频2019
CHINA篮球体育飞机2023
姐姐说家里没人我们可以在一起吗
国内精品乱码卡一卡2卡三卡新区
野花韩国高清完整版在线观看5
多人公交车运动
GARY2022钙片
欧式春画图片大全欣赏简单
成都免费影院直播
麻花传MD0174苏语棠
精东影业JD0045妈妈咪呀
自己塞跳D不能掉出来上学
申鹤被淦出不明液体XMAN
张婉悠白蛇传完整版
97国产精华最好的产品在线
天美传媒国产剧影视公司
哥布林洞窟未增删开车原声视频
塞住了下星期回来我检查
和亲戚发生过关系以后怎样相处
夜倾情 保姆的诱惑
30秒不间断踹息声
寂寞护士中文字幕 mp4
羞羞漫画在线漫画网页破解版
夜里18款禁用B站入APP软件
顶一下叫一声是什么意思
最经典的两人轮流取珠题目
国产传媒蜜果冻天美传媒
英语课代表趴下让我桶
一二三四在线视频社区3
差差差很疼的视频无掩盖
日产乱码一二三区别18
啊轻点灬公大JI巴又大又
爱情岛论坛首页推荐进入网址
如何把女朋友弄成小喷泉
迈开腿给我尝一下你的味道
ZoomkooL牧场视频猪
男女打扑克的APP
孩子想上我该怎么办
14MAY18_XXXXXL56ENDIAN60
妇乱子伦真实故事
爸爸的东西又弯又长怎么办
朋友的母亲8在观完整有限中字木
一边做饭饭一边燥L
风韵诱人的岳欲仙欲死在线观看
在公交车上弄到高c了最后一排
5G天天奭5G天天运动
黄光裕是怎么进去的
令人心动的OFFER第四季
无人影院在线播放视频
雨后小故事 动态
女人半夜莲花开大概时候几点
浓毛BGMBGMBGM
AI人脸替换迪丽热巴造梦
我的极品岳坶全文阅读
车文超细过程长图片
s把m骂湿的句子怎么理解
我今天接了一个三十CM长的
皇上撞着太子妃的小说叫什么
深田咏美HND-723在线观看手机
tobu7tobu8学生18
你看桌子上都是你流的
BGMBGM老太太毛多多金属
坐在老师的鸡叭上写作业
我的很大你忍一忍
妈妈说带套可以让我做
tobu8美国14
公交车轮换C程雪
张津瑜七段视频1080P
三个人玩我一个人是什么感觉
老婆同意再找个男的
旧里番OVA我侵犯她的理由
不伦纯爱在线观看
TPU色母和PA6色母的区别
18款禁用黄台入口APP应用
ed2k 超市
亚洲无人区码二码三码区别
水蜜桃文化传媒
美女脱精光让男生桶下面
宝宝几天没做都湿成这样
年轻的母亲2在线线观中文免费观看
刮伦人妇A极一片
两对夫妻一起旅游互换的说说
任你玩人免费视频
ed2k 超市
两根茎同时进去爽不
歪歪漫画页面漫画入口
男生吃女生的兔子头会变黑吗
校服下摆太紧不好c
一面亲上边一面膜下边的免费
男朋友是怎样进你的
无遮挡郑媛媛不照雅
三叶草亚洲码和欧洲码区别入口
黑人巨茎大战白人女40CMO
心疼爸爸给他一次可以吗
两个人一前一后融为一体
刮伦后心理咨询
蜜桃日本免费MV免费播放
未成年的女RAPPER
桃花社区在线观看视频
4399看片在线看动漫
WRITE AS 震动
娇娃荡女K8经典
51成品网站W灬源码16章节
糖心LOGO在线观看免费EYE
你信不信我现在做哭你
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1