有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
乳色吐息樱花未增删翻译中文翻译
blackpinkmv4k高清黑白配
斗罗大陆158集免费完整版
2023国精产品一二二线精华液
每次见面他都要好几次
刻晴被盗宝团C的不能自理视频
姐姐的朋友中线字
JEALOUSVUE50成熟MAOFF
斗罗大陆女生去掉所有服装网站
上原miku种子
美女扒开腿让男生桶免费看动态图
星空乌鸦天美大象果冻
魅力研习社41
凌晨三点看的片www动漫
腿再张大点就可以看到小扇贝
欧亚尺码专线欧洲
色翁荡息又大又硬又粗视频
完整版白妇少洁高义阅读
突然像尿了一样出了一股水
厨房一次又一次的索要摄入
文轩WRITE AS 震动器
男女车车好快的车车有点污网站
厨房强奷同学麻麻
老婆出轨时打电话给老公
爸爸刚走爷爷就来抱妈妈来了
美国VIDEOSCRIBE
好满射太多了装不下了软件
国精产品zzlg77777
日本产品和韩国产品的区别
日产精品无人区
俩人一上一下做运动的表情包
年轻的妈妈中字巴巴鱼汤饭
看镜子里我们的结合的地方科学
网站你知道我的意思的免费的
迈开腿尝尝你的森林什么感觉
探秘亚洲XXXXXLMEDJYF
小城雨巷 高清
10岁小学生fees幼儿
教练在车里撞了我三次怎么办啊
公翁的大龟挺进秀婷
SSNI-674
小龙女只感觉那只巨大的火龙
性宝福丝瓜草莓芭乐小猪鸭脖
王者荣耀伽罗爽上天的表情
star 424
公交车轮C关老师
精东影业JD011民国传奇演员
卫老与淑蓉7一12集
年轻的小峓子1完整版在线播放
japonensisJAVAHDTV公交车
北北北砂禁慢天堂 云缨图片
日产精品二线三线区
雷电将军的乳液狂飙图片
两个男生做不可描述的事情
抓着腰撞了起来水流了一地
5g天天奭5g天天运动破解版
父亲缓慢有力挺送女儿
永久939W乳液78
公交车上的诗绵抱着孩子
2023国精产品一二二线眀星
两不疑漫画全集免费
穿越优质JY收集系统游戏
27报女上男下动态图GIF图
日产2021免费一二三四
1069男男贴图
娇妻系列交换27部多P小
上楼梯时故意一点一点
张津瑜 VS吕总卫生间
拔萝卜全程不该盖被子
原神女角色去掉所有服装小内无爱心图片
妈妈的朋友4在观完整有限中字
喝了酒跟我家的狗狗做了
主人把棉签放屁眼里不能掉视频
在后车座上的疯狂做I
聂小雨视频3分25哪里能看
母亲误把我当父亲
带自己老婆参加多人活动
叶非墨和温小暖车内做
久别的草原在线影院视频观看免费
电影巜狂欲之夜
ぱらだいす天堂中文网.WWW
对着可乐瓶坐下去
品色堂 永久免费论坛
多毛BGMBGMBGM胖在
欧美人马狗八AB8ZOZO
谁可以给我新版猫咪的地址
宝宝的水喷得到处都是视频
一个妈妈的女儿4中文字幕
北北北砂禁慢天堂 云缨图片
校花被出租车司机强H
睡过年纪最大的多少岁六十多
云缨拿枪奖励自己核心
没带罩子让他捏了一节课怎么办
精产国品一二三区别9999
蜜中蜜3动漫无修在线观看
日本高清一卡二卡三卡四卡无卡
凌晨三点看的片WWW小说
男男GARY2023
亲亲抱抱举柔柔的视频
老头趴在我两腿之间
坐在紫到发黑的木棒上写作业
白丝高中生被C到爽哭视频
15岁macbookpro日本
404黄台下载大全
如何自w到高c详细图
秘密教学子豪83田里开机svip
世界上最大阳器有多粗
japonensis成熟
为什么男生喜欢摸和咬小兔兔
xl上司带翻译中文
伽罗太华被 哭还流东西漫画
小雪的13又嫩又紧又多视频
大学生宿舍飞机china free
天美果冻蜜桃精东传媒
人与善交XUANWEN18
看着领导挺进娇妻的体内电影
WRITEAS花式PLAY
爱情论坛观看路线二
美国白人未成年rapper豆瓣
日本是人类吗最佳答案
男朋友压着我说想进去
宝宝我尿在子宫里了不准出来
一根筷子怎么玩哭自己的小朋友
粉色视频高清影视在线观看
祺鑫涨精装满肚子用塞子堵住
WRITEAS骑马
你看你把水弄得到处都是
考好妈妈说做一次
亚洲无人区一卡2卡三卡
适合夫妻之间看的麦片
免费60分钟上大床
年级老师的滋味3中字视频
差差差30分钟很疼视频无掩
女医生私密诊所
被子里怎么无声自罚
原神雷神去掉小内图片
如何引导狗狗上自己春雨医生
处钕膜被捅过程图片
2828dy日本伦理电影
TPU色母与PA6色母的区别
荧被焯出白水图片
吃瓜群众一区二区
免费吃瓜爆料网站
液体收集器系统HH
YSL千人千色YESE88网站
双人床上扑克动作视频
上原miku种子
女朋友喊疼男生的心理活动知乎
看了让人想做的文章
迈开腿给我尝尝你的森林味道
大团圆结亲情会高洁
原神雷电将军被淦免费网站
往下面一颗一颗塞珠子
来吧儿子妈妈今天是你的人
黑龙江大学事件
李z瑞事件图片
麻豆传播媒体网站入口官方
狗的东西比男朋友还大怎么办
去医院面试被院长弄了
怎么自W到高C详细图片
夹震动蛋上课的女教师
哪个网站可以看泰囧
甜蜜惩罚未增删带翻译中文樱花
年轻的朋友3免费观看完整韩国
墨燃把楚晚宁按着干188章
40岁阿姨荒野大镖客
迈开腿尝尝你的草莓声音
办公室的交易HD日本
没有我的允许不能流出来
大象W灬源码1688
GOGOGO高清免费看韩国
国产在AJ精品
八重神子去掉小内趴在地上打扑克
性一乱一搞一交一伦一性
TROUBLEMAKER两个男生
J8又粗又硬又大又爽又网站
阿宾之房东太太
俄罗斯XBXBXB兽交
免费3圾片在线观看
噼里啪啦水蜜桃
我被继夫添我阳道舒服口诉
男子吃冻土豆后拔牙
日本一卡一卡二新区乱码仙踪林网
人与动物PPT免费模板大全
我被三门齐开了事后走不了路
BGMBGMBGM老太太交视频
两个人一前一后攻击舒服吗
人曾交互mouse农场
想品尝小姑子的味道
另类老妇奶性生BBWBBW
丁香婷婷五月情天
无颜之月第五集你会回来感谢我的
深度开发1V3梁医生不可以限
搞机TIME恶心直接打开的网站不用嘉兴
扒开未发育的小泬视频
随处做X的世界学校游戏
无人视频免费观看免费直播视频
她被撞的话都说不出来
医手遮天小妾太难驯
国产开嫩苞视频在线观看
BMGBMGBMG毛多
日本理论片和搜子同居的日子
走楼梯每走一步就往上顶一下
催熟po1v3道具
新版金银瓶1一5
小东西你的水都拉丝了
GARYWAYNE男男视频
云缨拿枪奖励自己核心图
俄罗斯18give100
两兄弟同时拥有一女主的现言
坐在爸爸的JI巴做作业
538porm在线播
双人床上剧烈运动打扑克
国精产品一二二区视早餐有限
男朋友晚上都是怎么玩你的
老公睡了我妈我同意了
夜间正能量网站
妈妈的朋友3007电影
小蓝G钙2023GGY钙2023
公交车两个人一前一后
岳女共夫张淑芬
用注射器打水放屁眼里的视频
健身教练漫画免费版在线阅免费版
你是我的女人HD
老窝鸭永久免费视频新地址
中国小鲜肉gary西北军军2022
上课时突然把跳D开到最大
公司办公室强C了我好多次
男朋友买玩具玩我
嗯宝贝叫的再浪一点
按在镜子前窗c
一面亲上边一面膜下边打扑克
朋友的妈妈6在观整有限中字
狗头萝呼啦圈视频26分钟什么梗
军舰上女兵免费高清原声满天星
黑料传送门tttzzz07du
女人越喊男人越往里寨的电视剧
日本1卡2卡3卡区
已满十八周岁带好卫生纸
学生和妈妈的朋友
JUX434被公每天侵犯的我
国产在AJ精品
中中文日产幕无线码一区
多人运动网站入口
小东西想要了是不是
菠萝菠萝蜜视频在线3
在英语课上用j插英语课代表作文
我在学长的根茎上写作业
妈妈酒后误为我是爸爸怎么办
从黛玉的身体里退了出来
无节操摄影部1
考的好妈妈就给我一次
韩婧格镜子视频
狗狗进到里面变大了
数学课代表趴下让我桶RH网站
从厨房一路顶撞到卧室
斗罗大陆人物黄化完整版资源
高树玛利亚作品
嗯啊宝宝怎么这么湿呀
荫道BBWBBB高潮潮喷
迈开腿让你尝尝草莓是什么
掌中之物何妍被多少人上
公交车动一下就撞一次
精东传媒vs天美传媒合作
娇妻被朋友玩得呻吟在线电影
男女打扑克的APP
仙踪林XIANZONGLIN
一人一狗卡了六个小时视频
动漫人物做差差差免费看
樱井莉亚百度影音
五个闺蜜的疯狂互换春雨医生
一个男孩子顶哭另一个男孩子图片
WRITEAS诸葛亮多人
半夜被C醒是一种什么样的感受
胸前两个巨大的兔子蹦出来
宝宝好涨水快流出来了说说
亚洲VS欧洲VS美洲人口对比
sky-258
整篇都是车的百合推荐校园
少女视频哔哩哔哩
够了够了已经满到C了学校作文
5G天天刷天天奭
抱着公主走一步撞一下
公交车上两个人一前一后攻击
最近中文字幕完整视频2019
张津瑜本人回应
沈阳45岁老阿姨叫的没谁了
把它夹住去跑步不能掉体育课
雷电将军乳液狂飙翻白眼流口水图片
一天接了八个客人肿了
一个晚上用了好几个小雨伞
BRANDILOVE超清在线
在她写作业的时候弄她
俺去啦最新地址
野花视频免费资源
最近日本MV字幕免费高清
WRITEAS 教室
国产乱码卡一卡二卡三新区
宝宝好久没C你了校园
野花视频免费资源
我顶开妈妈的生命上之门目录
差差漫画页面免费阅读秋蝉
班长哭着说不能再深了
妈妈的朋友2在线观完整版看中文字
免费夜里18款禁用B站软粉色
我16岁可以塞几支笔
网站你懂我意思吧
群飞刘亦菲刘诗诗杨幂杨颖
高铁上可以打扑克吗
学霸错一题插一次
舌头探洞感觉要喷了
overflow未增删樱花
公交车两人双指探洞湘潭天气网
祢豆子が悪い人に捕まったら
腿再分大点就可以吃到扇贝了视频
5G天天视频多人运动
学生的妈妈双字10字
波多野结衣哪部好看
把你的香肠放入我的甜甜圈的
纵容的母爱第1-17段概括
ZOOM人牛ZOOM俄罗斯
xl司第二季未增减
胸大的姑娘中文字幕视频
亚洲乱码无人区卡1卡2卡3
处钕膜被捅过程图片
王者荣耀英雄打扑克软件
开视频会议时老板也要弄
生物课老师拿自己做繁衍例子
校霸错一题打一下PG
漂亮的韩国家教
宝宝腿再抬高点就不疼了
丰满的女房东6剧情
极品Y荡人生白柔柔
穿越到随处做X的世界
亚洲码与欧洲码一二三区别
舌头探洞感觉要喷了
坐在上面怎么晃教程图片
黑帮大佬和我的365日第2季剧情
日本人算人类吗
男生女晚上剧烈运动扑克
一边伸舌头一边快速喘气表情
14表妺毛还没长齐
新金艳花瓶1-5集
天堂在线www官网
3d肉蒲团之极乐宝监
超碰国产视频免费播放
皇上撞着太子妃沈音
大团圆结闪闪发光继
哈尔滨70岁丰满老熟女
人与畜禽corporation怎么读
女人露p毛的图片
刚的老婆林彦是间谍吗
八重神子ちゃんの球棒生涯
TOBU在线观看免费直播
qvodsetup3
国产一码二码三码区别
他的手探到我的衣服在做什么
谁把黄光裕弄进去的
用牙齿轻吸咬小豆
公孙离去所有衣服跳惊鸿
段嘉许把手探了进去
什么样的B型好玩
中国人免费高清的视频大全
快猫成人短视频app
帮英语老师疏通下水道
夏季短袖女生乳突图片
白天躁晚上躁天天躁的治疗方法
啊我们换个地方做...又加了
高清无码成本人视频
女生和男生一起差差的事
疯狂伦交550篇小说合集
阿岘洞夫人国语版
四虎免费最新在线永久4HU
abp-279
羞羞漫画登录页面免费漫画在线入口页面
电车之狼r操作
金瓶玉2之性奴
娘王virgin
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1