有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
两个大兔子抖来抖去的图片视频
注射器打水放屁眼里视频处罚
教练把车开到没人的地方去了
寂寞护士中文字幕 mp4
领导吃我母乳上瘾了
88369游戏
鲍鱼最新地域网名2021查询
美女裸露双奶头与尿口的图片
青梅竹马是消防员未增删第一季
迈开腿让我亲亲你的小草莓
迈开腿让我看看你的草莓游
WRITEAS红酒塞
国产无人区一码二码三码MBA
当私生饭是要挨C的
我们四个人换着玩的感觉
医疗室play道具走绳结
醒来发现狗在上我
快穿之女配取液之旅H
我们结婚了20131026中字
公交车6人轮换CH被一堆人看
在线国内永久免费CRM
被夹在中间当磨心最后会怎样
大妈山坡做皮肉生意
往下边塞玩具坐公交是什么感觉
斗转星移明星合成图
欧美黑人猛性暴交
这一刻我们已水乳交融在一起
甘雨拔萝卜图片高清壁纸
用玉器养大的公主么么
亚洲宅男天堂在线观看无病毒
老友鬼上身国语
无限资源日本电影
善良的小峓子3字巴巴鱼汤饭桥矿
井川里予33秒正能量的原视频
色花堂 永久 网站
桃花视频在线观看播放直播
哈妮克孜18秒烧毛
男生拿冰块和棉签是什么意思
男人和女人香蕉网线看
厨房里的激战2PH
纳西妲坐旅行者的胡萝卜
B的几种类型图例
厨房里两只奶头被吸肿了怎么办
真实多人运动故事叙述
是不是年轻一些水就多一些呀
迈开腿打扑克没有马赛克
2019理论片电线
日本iphonepromax70
欧美致敬很多经典的黑白mv
女神漫画登录页面免费漫画入口网页
无人区一码卡二卡三乱码
善良的的老师3
真是不经弄的小东西视频
善良的邻居4字
日本漂亮妈妈7观整有限中
一上一下做运动的动态表情包
被C了一晚上是什么体验
我的兔子好软水好多双指探洞小说
哪吒顶进敖丙里面
路虎车内激战2小时
AI换脸杨超越自带套造梦一区
黄沙视频在线观看www免费直播
公嗲器好大好H
暴躁老阿姨csgo
扑克剧烈运动打扑克视频
我和小娻孑在车上全集
我好像找到你的敏感点了宝宝
幼儿HIPHOP仙踪林的
美国十次 导航
受从打结的绳子上走
写的超细的开车文知乎
好深再深一点动态图
双乳被一左一右的吸着
妈妈用身体做儿子生日礼物
妈妈的朋友1在完整有限中字
10tee中国
差差差无掩盖视频30分钟
游戏输了让同学玩全部位置
迷人的保姆3线观高清
把老师玩到怀孕
蜜芽高清完整视频
狗的东西比男朋友还大
八重神子去掉所有服装挤乳液
黄版直播APP
漂亮老师1在线视频
老人在野外做见不得人的事
麻豆一区产品精品蜜桃的广告语
小苹果影院日本影院
枫牙 夏天的约定
张津瑜本人回应
高树玛利亚图片
妈妈的朋友在观5完整有限中字
缅北14may18_XXXXXL56endian
无颜之月是啥意思
跪射是什么意思污
几天没C你是不是皮痒了视频
我和女婿发生了不该发生的
我把美女日出了白将
说说你们老公夜里怎么搞你的
蜜桃传媒天美传媒京东传媒
无人区一码二码三码区别图片
写得很细的开车秒湿作文
after之后1
瑶被淦的生活不能自理图片
妈妈的朋友2在线观完整版看中文字
公交车多肉短文300字左右
写的超细的多肉C过程
新疆女RAPPER18岁RDFJFTTIK
换个方式做吧未增删樱花
AI人脸替换脸杨幂在线播放
大家最刺激的一次是在哪里
把它堵住不能流出来下周检查作文
八戒八戒视频中文
姬骑士征服战争
镜子里看我怎么进入你阅读视频
一边亲着一面膜下韩剧网
WRITEAS花蕊
前女友那方面厉害一直忘不掉
胸大的姑娘视频高清
女生越说疼男生越往里
你进来了吗我要开始叫了表情包
14没有工具怎么自w到高c
年轻的母亲6在观整有限中字
幸福宝APP站长统计官方网站
日本护士ZZJLZZJLZZJL大全
久亚洲一线产区二线产区三线区
黑人缓慢而有力的往里挺视频
湖南某学校秋千门
国产AV无遮挡喷水白浆桃花视频
在体内横冲直撞就是不出来
差差漫画免费斗罗玉转土豪网站
免费剧烈运动扑克视频链接网站
在床上拔萝卜又疼又叫痛
尤物已满18点击进入在线
大BW毛毛多巨大BW大BW
斗罗大陆黄化网站
原神黄化网站站
漂亮的三年经的继拇4
缓慢而有力的往里挺送
宝宝可以捅捅我的下水道吗
一边亲着一面膜下韩剧网
最近中文字幕2019视频
雷电将军被旅行者淦到哭
输了让同学玩全部位置的作文800字
无人区3DMAX
公交车后车座的疯狂做
学生党怎么自W
傅先生宠妻无度小说免费阅读
中国bgmbgmbgm老头和老妇
ssni-392
小S货又想挨C了叫大声点
宝贝把腿开大让我添添电影
bgmbgmbgm老妇60
日文中字乱码一二三区别在
欧洲家庭史7726
文轩塞跳D不能掉出来上学
没带罩子让C了一节课时
班长笑着手灵活的调着遥控器
丫头腿张开点就不会疼
转过去趴好bl
TOBU7TOBU8
姐弟拔萝卜又疼又叫高新
把老师按在地下做了一节课作文
小时候发现妈妈和外公在一起
车内剧烈运动描写
精品无人区一码卡二卡三
台湾已逐步恢复供电
你们三个一起上我
男生车车好快的车车黄
成年动漫3d无尽视频
金花瓶梅花4金花瓶
父子tck完整版
把它夹住去跑步不能掉体育课渺渺
跳D放在里面走路感受描述
明星造梦49区
炎孕乳身体检测2
老王头的幸福晚年张倩倩
强伦姧人妻三上悠亚中文字幕
宝宝把腿开大一点就不疼了
陪儿子读书发生的事是真的吗
一下又一下有力的撞进去
换个方式做吧未增删动画樱花
小泽玛丽娅电影
秘密教学子豪26再做一次
农夫成人网站导航
小东西把它夹住去跑步不能掉
爱如潮水免费观看日本
原神黄化网站站
学生自W到高C的25种方法
你的棒棒真的好大用了什么料
腿张大点我就可以吃扇贝了
荧被丘丘人繁衍后代
WRITE AS 讲台上
美国人与动ZOOM
147人休艺术 大胆
蜜桃麻豆天美星空传媒
小坏蛋别带套了今天是安全期
野花视频在线观看最新免费
chinese东北体育生打飞视频
当陆沉往你里面放了东西小玩具
晴雅集 在线观看免费完整版
开车越往下越疼的句子
啊我们换个地方C死你
抖音奶片故意走漏视频7028
妈妈的朋友在完整有限中字第4
成品网站W灬源码伊园百度百科
办公室的交易HD中文字幕
浓毛BGMBGMBGM照片
久久一区二区三区精华液使用方法
丰年经继拇中文2的功能介绍电影
涨精装满肚子用塞子堵住上学
果冻传媒母亲和女儿李琼
宝宝几天没做都湿成这样
一抽一出BGM免费50分
成品人直播大全
单身男女2粤语
王者荣耀黄化网
XAX MANTA UZUN HAYA APP
孩子想上我该怎么办
51黑料吃瓜每日精品
宝宝我们对着镜子做
含羞草MYHANXIUCAO
WRITEAS震动器
日本是人类吗?
空姐前规则高清观看在线
亏亏插曲叫疼的免费网址
没带套让班长捏了一节课怎么办
my pico 女装正太
极道之妻们neo
年轻的母亲2在线观看带翻译
刺客伍六七第二季免费观看
小东西几天没做水这么多还说不要
坐公交车失去了第一次
china外卖小哥gary2022
一区二区无码精品AV
晚上听见公婆办那事婆婆还叫
同时被几人C是一种怎样的体验
学霸将遥控器开到最大
男孩子淦哭男孩子视频免费
亚洲卡2卡三卡4卡2022老狼
青梅被从小摸到大H补课
好姑娘7免费高清观看
日本16岁RAPPER欢迎你
我变成野兽的夜晚4忘不掉的前任
2021国产麻豆剧传媒一区
晚上坐大巴车和陌生人坐一块
校霸被校草强迫H
两大央企总经理调整
学长突然将遥控器开到最大
迈开腿吃你的水蜜桃是什么
被黑人伦流澡到高潮HNP动漫
人妻洗澡被强公日日澡
扑克牌又痛又叫软件免费下载
WRITEAS宋亚轩插
罗马帝国艳情史图解
动漫人物打扑克剧烈运动的视频
姬小满无限奖励别人的英雄
美女护士献身取精
开车晚上污痛痛的
未成年的女RAPPER
51cg1.fun怎么打开
公交车最后一排
家教老师 考满分就能一整天
国模冉冉私拍大r.5
适合俩人运动前看的电影
生物老师的兔子好大
王者荣耀KURO西施流液体
三个人玩我一个人
在车里就迫不及待要你
晚上喝酒回来和狗狗做了
做完放里面睡觉醒了继续
粉色视频APP在线无限看免费丝瓜晶体公司藏
最近2019免费手机
后厨剧情分集介绍
蜜中蜜3动漫无修在线观看
晚上开车又疼又叫的故事
妈妈的朋友4完整视频有翻译木
凌晨三点看的片韩国
日本一产二产三产
WRITEAS强制标记
qvodsetup3
绿巨人二维码推广下载
过来自己趴好选工具小视频
免费涩涩屋草莓榴莲秋葵绿巨人
无限动漫网 在线播放
空姐前规则高清观看韩国
美国日本一区二区三区
初中生一起床差差差的场景
在学校想要了怎么办
我成了生物课的教具
胸的手感怎么样
99w乳液78w78w永久
按在桌子上欺负
哎呀哎呀在线观看视频高清国语
凌晨三点看的片WWW小说
性姿势48个动图
怎样揉自己的痘痘揉到腿软
打扑克视频发出声音
夜里一个人想看b站免费缓存
公交车轮换C程雪
儿子比爸爸的几把大
Z LIBRARY
无颜之月哪一集开车了
社长千金的叹息
chunnuanhuakaixingba
全是肉的糙汉文
妇女被深耕过后身体有哪些变化
后营露营无增减2季
叫吧宝贝我想听你叫
绝对控制少x时代
SWAG台湾官网地址
下雨天留客天天留我不留
迈开腿让我看看你的里面
日产乱码一二三区别免费下
没带罩子让校霸C了一节
中国小鲜肉巨大2022GARY
破了英语课代表的处视频动漫
傻大壮长的驴一样的东西
彩虹男GARY2022
开车疼痛有声音视频下载软件
剧烈运动扑克牌
坐着震动器写作业WRITE AS
国产无人区二卡三卡四卡不见星空
高岭家的二轮花
刺激打扑克摇床又疼又叫
bigbang中文网
国产未成女YOUNV仙踪林
宁荣荣把腿抬高我要进去
校园春色武侠古典系列
班长哭着说别再继续了
秘密教学53子豪源源不绝漫画
谢俞贺朝肉车试卷
品色永久免费论坛
linode日本iphone强汉app
人与畜禽CROPROATION免费
WRITEAS吊带
LOVESTORY动漫无删减
日韩天码砖区2022
爱情岛论坛线路一官方网站
九一果冻制品厂最新电视剧红桃
搞机TIME的恶心软件10分钟APP不用下
宝宝好会夹啊拉丝了
一前一后同时攻击舒服吗
18款夜里禁用b站
成绩差成为全班的玩具
污到你那里滴水不止的说说文章
遇到东北猛攻后一枚夹心饼干
一边伸舌头一边快速喘气
黑暗荣耀朴妍珍打扑克
父母儿女一家狂
班花哭着说3个一起会坏的
15岁macbookpro日本
他的手一直探下去
仙女棒坐着使用方法图片
小SB是不是欠c了h
车子颠簸一下猛地进去
被自己家狗狗C了一天
疼插30分钟一卡二卡三卡四卡
艳情短篇合集1一160
黑料吃瓜反差婊爆料网
2014年2月里番合集
云缨救公孙离黄画
爱情爱情岛论坛线路播放1
黄动漫车车好快的车车APP
国精产品一区二区三区有限
八重神子雷电将军开襟
爆黑料不打烊传送门
中国VPSWINDOWS野外农民工
娘娘微臣和他谁弄得更厉害些?
坐在学霸的鸡上背单词
18岁MACBOOKPRO45岁
无颜之月带翻译樱花中文翻译
成熟交BGMBGMBGM日本
一面亲上边一面膜下边文字表达
第四色最新网站
迈开腿让我看下你的小
喜爱夜蒲1在线影院播放
动漫车车好快的车车图
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1