有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
宝贝我们去卫生间做吧
水都流了那么多还说不愿意喝
快穿之女配紧致h
做错一道题就被学长c一次
亚洲卡2卡三卡4卡2022老狼
他缓慢而有力的撞着
137P大但人文艺术
无翼乌全彩无漫画大全老师
じゅぎょうさんかん安卓版下载
高铁上要了她很多次
蜜桃成熟3全集高清
宝贝你夹得我好舒
向涟仓式献上纯洁
津渝视频完整百度云盘
帮老师通下水道
每人C我半小时
sdde318
张筱雨《魅惑2》图片
亚精区在二线三线区别第一基
做过一次爱的两个人会忘记彼此吗
男朋友说你真是越来越耐C了
福利乱码卡一卡二卡新区
情爱游戏 韩国
一面亲膜上边奶一个膜边
第1章厨房春潮-我的妺妺H
5G天天运动天天奭运动入口
雨果 百度影音
大巴车最后一排被C细节
我和黑帮老大的我365天第二部
太华伽罗被X哭还流东西
和教练在车里干了我三次
韩国女主播小青
果冻传媒MV国产推荐
最近韩国电影片免费播放
WRITE AS撅好
雷电将军八重神子被淦出水
蜜芽188.Coo永不失联
国色天香精品一卡2卡3卡
梦莹情乱第十一篇1章
宝贝儿 是不是欠C
无人区一码二码三码四码多人收藏
青梅竹马是消防二季未增删
不良网站进入窗口软件打开免费下载
张津瑜的9分58秒7段
麻豆无人区乱码
永远的免费论坛
宝宝下面都湿透了还嘴硬疼咋回
校霸被学霸拿遥控器控制
MD传媒免费观看在线小说
GARY2022钙片
男人的坤坤穿进女人的甜甜圈
全程车的百合描写详细的
宜春院美国免费十次啦
三个人每人C我半小时
家长会上爸爸们灌满幼儿园老师
原炀WRITE AS震动器
182tv观免费现看
超级肉禽系统的小说推荐
公交车上两个人一前一后攻击
三根一起玩真的不会坏掉吗
一卡三卡四卡无卡免费
野花视频最新免费观看3
暴躁CSGO妹子
香草乱码一二三四区别
车文超细过程长图片
WRITE AS尿出来
国精产品一区一区三区有限在线
两只小兔子被捏视频
国产开嫩苞视频在线观看
boylove欧美
欧派浴室樱花2未增删带翻译樱花
我一加速她就哭
4438x全国大免
山东猛1体育生打桩机1S
YSL千人千色AE86
色翁荡熄又大又硬又粗又视频
一面亲上边一面膜下边文字表达
花色98堂新网名
老师你的兔兔子好软水软件
HIGH PRESSURE PRISON
羞羞漫画登录页面免费入口页面
涩涩屋绿巨人草莓榴莲秋葵
国产色母和进口色母区别大吗
大白屁HDHOOOPORND
两座雪白玉峰弹跳而出图文
日式小黄油推荐
当兵男友一见我就不停的要我
木马上凸起电动木棒
9612黄桃网站
几天没C就痒了宝贝
东北speakingathome
散华礼弥oad
宿舍三攻一受肉双
大尺寸的小黄说说100篇
韩国一线高清免费观看
成品网站W灬源码16伊园最
25岁的女高中生相亲对象是问题儿童
疯狂厨房2双人模式
动物胶配方视频高清
三叶草欧洲码和亚洲码
我年轻善良的继4
男团共享物by不必南下txt
偷吃爸爸的擎天柱
jm漫画战争与和平
铿锵锵锵锵锵锵锵锵
去部队探亲晚上叫太大声
濡湿的车站未增删带翻译免费
老公我想你了给我好不好嘛
亲亲抱抱举高高蹭蹭的刺激原声
国精产品一二二区视早餐有限
引导狗狗干自己哪里
5g天天奭怎么打开
有车车的腐肉双男
安迷修被雷狮按震动器
风韵诱人的岳欲仙欲死的图片
大尺度穿床震视频韩国
娇妻被朋友玩得呻吟在线电影
美国寂寞空庭春欲晚
啊灬啊灬啊灬快灬片免费
蜜芽资源高清在线观看
欧亚乱码天美传媒
日本年轻的母亲5观整有限中字
一亲二膜三叉四强五注射网
夜里用的18款禁用
毛都没长就开了包
春天之光老周赵青
cosplay大乱斗
农夫网站导航大全
海角社区母亲为儿子高考解压
我年轻漂亮的继坶bd
日本卡二卡三乱码新区
每当我看见她的jk慢慢脱离
GTV小蓝视频网站链接知乎
我就在外面赠一赠
王者荣耀瑶白色液体
年轻漂亮的老师2中文版
日本护士ZZJLZZJLZZJL大全
体育老师拉着我做了一节课作文
和邻居交换娶妻1
国内精品自线在拍大学生
杀帝的闪婚恋人
小14萝视频资源站
bgmbgmbgm老太太俄罗斯
暖暖直播免费观看韩国大全
被开三门恶心死了
美国队长3票房
把她送上快乐的巅峰
欧美无人区码卡1卡2卡免费
TTTZZZ668.SU黑料不打烊
无人在线观看免费高清动漫
污草莓丝瓜榴莲深夜释放自己
我的儿子比我老公大
老师的大兔子好软水好多
亚洲AV精品无码国产一区
多人强伦姧人妻完整版BDRV一
いっぱいしぼっちゃうぞ在线
糖心短视频VLOG柚子猫视频
我被公司领导C了很多次
深夜释放你自己草莓视频
宝宝这才几天没做水就这么多顾延
随时随地都能干的小镇叫什么
cnnic:国内实现7nm芯片试产
随时随地都能干的学校HR
爱情鸟免费论坛在线com
怎样用一根棉签弄自己
把腿再张大点就可以吃到扇贝了
爱情岛论坛亚洲品牌自拍速汇成
V11亚二新区乱码无人区
开车疼痛有声音 免费网站
母亲とが话していま中文
爱恋2015是怎么拍出来的
黑人啊灬啊灬啊灬快灬深用口述
朋友把我玩成喷泉状态
法国艳妇LARALATEXD
GGY钙同2023钙片
家里没人我哥把我做了
干柴烈火儿媳苏姐结局是什么
让我看看你茂密的小森林
有没有肉很多的糙汉文
一面亲着一面膜下奶韩剧
林小水的荡生活H全文阅读
中文字幕无线码中文字幕
放在里面睡觉是什么效果动作
晚上开车又疼又叫的声音欢迎您
异世之无良邪尊
淑芬二腿间又痒了
边做边爱3完整版视频
桃花洞口开香蕊落莓苔意思
真人打扑克软件
第一精品福利导福航
为什么撞得越快越想叫
放在里面顶着学长写作业作文
亚洲无人区天空码头IV在哪
诱人的女邻居BD中文字幕
无翼乌全彩无遮挡漫画大全
我的中尉先生动漫西瓜
老婆和别人刚干完我又干可以吗
用小棒棒通你的下水道
老公带我去让别人玩我该怎么办
精东传媒VS天美传媒
学渣坐在学霸的鸡叭上写作业文章
原神旅行者喝甘雨的奶
未成年怎么玩隐私位置
他的手一点一点的往里
液化天然气价格
美女脱了个精光露出奶囗和尿囗
岳故意装睡让我挺进去观看
电车之狼 攻略
晚上听见公婆办那事婆婆还叫
一口一口把奶从胸口吃掉B站
冰冷总裁带玉势上班
老师家里没人你用点力啊
妈妈的男朋友8 线观 高清
十八岁大陆女RAPPER欢迎你
娇妻系列交换27部多P在线观看
18款禁用B站免费版
668.su黑料正能量入口密码
IPX 528
八重神子乳液狂飙动
吃鸡把是什么口感
顶的人家水流的到处都是
最近直播比较火的黄台免费
打开腿吃你的扇贝吃胸
一个男孩子顶哭另一个男孩
中国乱码一二三区别免费
深度开发1V3二月天2YT
女人和女人在一起怼怼怼的
做aj过程大全图片
公主殿下的LOVE动漫全集播放
大黑阴BBBWBBW
初中女生喊疼男生越往里寨游
干柴烈火儿媳苏姐结局是什么
97ai蜜桃欧美图片
腿再开大一点就不痛了
doi先进去再戴套
为夫们等娘子好久啦
旅行者的小鸡桶进绫华的J
黑色的很粗很大的蘑菇头
动漫人物去掉小内打扑克A
BURBERRY大片
芭比之拇指姑娘
china中国东北gary
亚洲熟伦熟女新五十路熟妇
好满射太多了装不下了怎么办
免费剧烈运动扑克视频软件
逆爱 再爱我一次
上边一面亲下边一面膜的作用
非洲人与性动交CCOO
undertaleのエロ
幸福宝8008app隐藏入口
你的好大我装不下了
mm1313点不进去了
禁欲电影观看完整版
日产高清卡1卡2卡无卡
换个方式做吧樱花网
梅姨到底有多恐怖
比我老公大很多
两个人一前一后中间
最近中国韩国日本视频
搡BBBB搡BBB搡
大菠萝福建导航APP福引导网站
23部禽女乱小说内
老阿姨才是最有味的
坐在学长的棒子上写作业作文视频
撩到女生下面滴水的句子
双人床上做的运动打扑克的软件
坐在教授的棒棒上写作业
阿峰与老板娘修理厂
跑步机上边跑边顶HHH
18-19MACBOOKPRO高清
你把腿开大点就不疼了
好烫好涨被尿灌满了BL
往下边塞玉器见客人
半夜好用的网站
宝宝你能对准坐下去吗漫画
他顶撞的速度越来越快
女的都喜欢吃鸡8吗
无人视频免费观看免费直播下载
小学生桶机30分钟全教程
可以插纳西妲的模拟器
张津瑜聊天记录截图
带闺蜜出来玩被她老公说怎么回她
帅气体育生GARY网站MV视频
好儿子今晚妈妈就是你一个人的
第九视频聊天室
为什么越往里越得劲的APP
变形记化不开的网
宝贝对着摄像头自己做
家长会上爸爸们C幼儿园老师
一个人被3个人同时C了描述
文轩WRITE. AS车肉教室
男朋友让我对着摄像头自己做
我可以上你吗日剧免费
用大宝贝疏通妈妈的下水道好吗
啊做错一题学长插一支笔
大尺寸的小黄说说
迈开腿让尝尝你的森林视频叫什么
晚上玩自己的100种方法
欧洲洲一区二区精华液
原神八重神子被捅出乳液
老师你的兔子好软水好多详情介绍
rh男男车车的车车视频真人
千人千色YSL
清纯校花被脔日常H
女人越喊男人越往里寨电视剧
被多个强壮的黑人灌满精
妈妈用棉花堵住不让尿喝水怎么办
双人床上剧烈运动作文
我被继夫添我阳道舒服口诉
3D肉蒲团之极乐宝鉴评价
在车里被撞了八次高c视频
将军每走一步就撞一下
向涟苍士献上纯洁未增删带翻译樱花9
有没有弄过儿子的吗
一个人免费观看的WWW哔哩哔哩
含羞草传媒网站免费进入欢迎您黄页版
小东西好几天没弄你了若若
七零空间知青娇宝
爷爷总是趴在妈妈身上睡觉好不好
HJ3DCHJ海角论坛
エースエロじ天堂
一口一口把奶油从胸口
野花免费观看日本韩国
高校1V3PO藤蔓
肉多车速快的推荐
穿戴式跳D放在里面坐公交车
天下男修都躺好
已满十八周岁带好卫生纸
从厨房到客厅一直C
黑巨茎大战美女在线播放
大菠萝导航福建APP网站进入404
GAY引诱外卖员COM2O22
麻花豆传媒在线MV免费版特色
老师好涨水快流出来了说说
疯狂厨房2双人3
坐公交被学长c的作文
一本大道色卡1卡2卡3
JEALOUSVUE成熟50MAOFF狗狗
英语课代表让我桶她的BB
麻豆传播媒体网站入口官方
麻花豆传媒剧国产免费MV入口
仙女棒夹在里面的照片
孤男寡女干柴烈火的比喻意思
差差差30分钟无掩盖视频
整集都做的美剧
引导儿子上自己的办法
开车越往下越疼的那种文字
年轻老师的滋味5在观整有限中字
bigbang中文网
WRITEAS塞红酒瓶
老师办公室狂肉校花H寝室视频
老狼信息网仙踪林-八零婚纱摄影工作室
快让我吃一下你的小扇贝什么意思
老公总是吃我的奶奶该怎么办啊
沈阳45岁老阿姨喷了好几次
5G天天奭多人运动最新 免费
把腰抬过来一点不然我怎么发动
部队里被咬住花蒂吹潮军人
C了语文课代表一节课
黑暗荣耀朴妍珍打扑克是哪一集
公交车舒婷1一20全文
受变成小人用棉签
中文字幕无线在线视频
侍卫把贵女怼树干
胸前两只白白的小兔子跳出来
国产开嫩苞视频在线观看
抖音小姐姐脱身全衣服
桶三十分钟全教程
帮老师通下水道
动漫RH男男车车好快的车车
被特种兵开宫灌满怀孕H
宝贝你的奶头好紧好大
迈开腿让我尝尝你的扇贝漫画
上学没罩子被捅了一节课违法吗
刺客伍六七第二季免费观看
差差差30分钟很疼视频无掩
sis001评论推荐区
穿越到随处做X的世界
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1