有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
棒棒糖放屁眼里吸收的视频
电车之狼r秘籍
才几天没C你水就这么多了
扯掉衣服两只小兔子
14MAY18XXXXXL日
王者荣耀西施爽上天的表情
你们对象都是怎么扣你的
老地方在线观看免费视频社区
王者荣耀西施爽上天的表情
一口一口吃掉胸口的奶油HD
迈开腿给我尝尝你的森林味道
妈妈的朋友5完整有限中字木瓜
坐在学霸的棍子上背单词
亚洲无人区天空码头IV
当陆沉往你里面放了东西小玩具
当你拔出来的那一刻
同学的妈妈2中韩双字
和老板在办公室BD 中文
xxxholic 春梦记
我家狗狗卡在我里面痛怎么办
双指探洞一分钟200次什么意思
无人高清视频免费观看在线动漫
八重神子去掉所有服装挤乳液
男朋友老是要吃我的妹妹怎么办呀
人鲁交YAZHONGHU
樱井莉亚电影下载
日本RAPPERDISSSUBS13
23部禽女乱小说内
一边做饭饭一边燥L
被C到起不来是什么体验
不知火舞之公园狂欢
被窝里可以怎么玩自己处
中日韩一卡二卡三卡四卡
第一次3q大战的经过
啊班长C了我一节课
学生自W到高C的25种方法
蛇的两坨进不去
一根筷子怎么玩哭自己的小朋友
rbd-509
在公交车上被蹭流水了怎么办
好满射太多了装不下了短视频
25岁女高中生的相亲对象是问题
成品人和精品人的区别在哪里
把老公撩硬的表情包图片
任你干在线精品视频网2
把冰葡萄一颗一颗往里堆
打扑克视频发出声音
男生说把你填满了怎么回答
比赛输了任对方看和玩部位游戏
课代表趴下开让我桶30分钟全集
最短的JK裙子
大炕上的肉体交换农村乱睡
黑帮老大和我的365日绝了
伽罗太华被 哭还流东西漫画
51无人区码一码二码三码
差差差30分钟无掩盖照片
100位未成年RAPPER
一面亲上边一面膜下边美国
花木兰乳液狂飙奖励自己一发图片
丫头牦户一张一合
品色堂 永远的
亚洲无人区码卡二卡三卡四卡
高中校花陈若雪H校长
水蜜桃着色入口
在公交车上到高C
暴躁老外玩MINECRAFT
徐若瑄魔鬼天使下载
至尊宝用金箍棒桶紫霞小鸡
萝li精品资源无码
三个人弄得我走不了路的说说
堵好了一点都不能尿出来作文
妈妈的朋友免费观看全集在线观看天才
仙踪林XIANZONGLIN
14岁女生迈开腿打扑克牌正常吗
免费无人区码卡二卡3卡4
八重神子焯出白水来怎么办
桃花视频最新免费高清完整在线观看
白雪公主成版人版H
把自己弄到喷泉
动漫人物打扑克牌的剧烈运动
芒果视频ios下载安装无限看丝瓜ios免费大全
早上醒来巨大还在里面
csgo高清大片
大小姐与流浪汉
伊人查蕉在线观看
ssni409
电车 之狼r攻略
放课后的职员室无删减
一亲二膜三叉四强五注射应用免费
年轻的阿姨3完整版
西门庆日女尼姑视频大全
撑起伽罗的腿疯狂输入游戏
最大BBWBBW
在街上他突然按了遥控器作文
WRITE AS 尿液
国模贝贝高清炮轰图
张津瑜七段视频1080P
小东西才一根就坚持不住视频
TOBU8-HD100
夜间自罚自己实行污
成品大香煮伊在20
男生女晚上剧烈运动扑克
电动木棒动得好快
日本一姐RAPPER潮水太多一
白天躁晚上躁天天躁的治疗方法
男生和女生晚上玩滑滑梯
无人区一码卡2卡3
538prom精品视频我们不只是
最大但人文艺术网站
老狼一卡2卡3卡4卡2021免费
张津瑜吕总1080P
一颗颗眼泪都是爱
儿媳妇夸我比他老公大
一边做一边说国语对白
不知火舞海滩h
IGAO网站在线观看
温暖叶非墨做肉段阳台日照小说
可以随意触摸内部位的游戏
男女在一起愁愁愁视频素材
中国windows野外
夹冰块一天都不能掉出来
善良的小峓子中字巴巴鱼汤饭视频
写得很详细的开车
女儿就是用来给爸爸用的
蜜芽国内精品视频在线观看
莫菁门事件完整照片
老人船上弄雨婷第20集
エロワンピース天堂
一边桶又一边叫
一个男孩子顶哭另一个男孩子文案
没带罩子让校霸C了一节课小作文
天海翼家庭教师
国精产品一区一区三区有限公司
黑料不打烊tttzzz入口
宝宝上面全都是你的水
三叶草GW6781
电车之狼r完美存档
YW193COC永久入口特点
亚洲尺码和欧洲尺码区别
黑龙江大学3号楼事件视频
减去小舞的所有衣服
双面公主与双面王子
怎样用两根棉签玩哭自己
冲动的惩罚动漫HD在线播放
以上欺下1V2
13岁能放几个笔
有车车的腐肉动画网入口
没带罩子让他C了一天作文
我女儿的朋友3在完整有限中字
一个人看的免费WWW高清
美国XAXWASWASWAS
野花香社区TV
china中国青年gary外卖抖抖
张津瑜吕知樾三部曲哪里看
云缨用自己的枪X自己
糖果君三人行视频
啦啦啦 中文 中国 免费 高清
爸刚走爷爷就来抱妈妈怎么办
OVERLORD第四季在线播放
言教授要撞坏了中催奶
腿打开一点就能吃扇贝了
中文字幕无线码
老地方在线观看免费视频社区
热心的朝阳群众51cg3fun
喷泉辛浮H1V3H
妹妹流了怎么多还说不要
坐在老师的叽叭上写作业
《水泄不通》txl金银花
小龙女只感觉那只巨大的火龙枪1
另类极品VPSWINDOWS
德国VODAFONE精品
宝宝你看你喷的到处都是
万花楼楼凤论坛
当蜜桃成熟时3
行尸走肉洛莉做过几次
黄沙视频在线观看WWW官网
亚洲卡1卡2乱码新区仙踪
97夜夜澡人人爽人人模人人喊
春雨直播免费直播视频
一个上添B一个下添
我一边做饭一边被躁了怎么回事
仙踪林company Limited19
男人女人40分钟视频
不知火舞被3个小孩
潘金莲扬思敏全集1一5集三级
注射器放屁眼里灌注牛奶
越碰人人在线公开视频
张津瑜事件聊天内容
冰块温水跳跳糖果冻是什么意思
蕾丝视频旧版APP2021下载汅API最新版苹果版
剃须.然后捡到女高中生
老师的玉足伸进我的喉咙里
把它夹住去跑步不能掉体育课
杨思敏1一5集未删减
空庭寂寞春欲晚
迈开腿吃尝尝你CH
看见你的棒棒就想吃的歌手是谁
把棒棒糖放屁眼视频
宝宝打开腿让我尝尝你的扇贝
蜜桃成熟时33d bt
猎艳十大名器艳妇
唐三插曲比比东不亦乐乎MBA
麻豆精产国品一二三产区别
宏翔小蓝视频GY2023
老湿影院里面的视频免费观看
没带罩子让捏了一节课怎么办
好姑娘完整版在线观看日本
看镜子里我们合体的样子
一件一件的剥开我的衣服
核子基因创始人张核子弟弟发声
XFB3.XYF幸福宝导航
做错了题就让学长C一次视频
简隋英哭着喊着让李玉退出去
国产免费毛不卡片
一个女记者的开放人生
日批发出来的声音录音
白雪公主成版人版H
大连护士门照片
男女XX00上下抽搐动态图
晚上玩哭自己的100种方法
这几天没C你了是不是SB痒了
WRITEAS假阳
朋友换娶妻2韩剧
说服好兄弟让一堆人c我作文
才两根手指头就喊疼怎么回事
群体交乱之放荡娇妻
水都流了那么多还说不愿意喝
原神雷神ドラえもんのエ网站
和女儿弄了好多年了
上课的时候突然把跳d开到最大
上海富家女杨丽玲
一直喝水不让尿捂着的作文
manta haya 17
ZOOM俄罗斯另一类
善良妈妈的朋友9完整有限中字木
16MAY20_XXXXXL56ENDIAN
把毛笔放到洞里写字不准掉HL
荔枝app在线汅api在免费下载
漂亮的邻居交换2
最近2018免费中文字幕4
重生回到冷战前军婚
老师的大兔子好软水好多的
原神女角色去掉所有服装小内无爱心图片
大尺寸的小黄说说推荐
小黄说说1000字污
爱情鸟在线论坛1在线观看
风流老板俏秘书豆瓣
朝俞坐着震动器写作业write
你看的这么多水了还说不要
我同意老公睡了我妈
在车里被撞了八次高AO视频
双指探洞感觉要飞了
厨房里的激战2海外版
学校里的性教学教具
麻花视频V3.2.2纯净版
囗交大图片26交
沉香的一二线产区
全部都在那个地方在线观看
美国VICTORYDAY妇女
把男生的坤巴放在女生的定眼里
用...用点力快要到了
麻豆传播媒体APP官网在线观看
小东西这才一根而已还有呢
午夜4k最新福利
18C.MICIOS禁慢天堂18C.MIC北北北砂
王二傻的桃花运
9612黄桃网址进入页面手机端
日产韩版精品一线二线三线区
无人区码一码二码W358CC
沈芯语天美传媒免费看
wuyuetiansese
大巴车轮C系列
车子一晃一晃正好掩盖我片
第一会所 欧美原创
色达天藏砍尸过程
老师迈开腿让尝尝你的森林应用
小箩莉末发育娇小性色XXXX
男男车车的车车网站推荐
四房播播 快播
已经塞了三个鸡蛋了
国产卡一卡二卡3卡四卡精品
动漫人物剧烈运动打扑克视频
翁公和媛媛在厨房里猛烈进出
奶酪陷阱在线观看
荧被焯出白水图片
国产午睡客厅沙发30分钟
和搜子同屋的日子2在线观看K8
男按摩师用嘴亲我下面口述
我们没试过在阳台做呢
麻花传MD0174苏蜜清歌
扯掉衣服两只小兔子
刚满十八岁女生穿衣搭配
大胆西西正版人体
猫咪最新地域网名3336
国内成品网站W灬源码
篮球队的公共玩具坐便器
日韩卡1卡2 卡三卡免费
一个吸上一个添下小说
萝li精品资源无码
精东影视传媒文化管理公司
灯草和尚txt下载
学长我错了POP跷跷板
性情中人中文网bt
护士张开腿被奷日出白浆
可以触碰你的深处吗 樱花
真实血淋淋处破女流血
阿峰与老板娘修理厂
高铁上可以打扑克吗
亚洲无人区码一二三区别在哪
翁与小莹凌晨欢爱回乡下
年轻母亲8免费观看在线高清
为什么鸡儿总是会无缘无故的硬
深度开发1v3梁医生
做错了题就让学长C一次视频
艳姆全集樱花在线观看
诱人的女邻居BD中文字幕
花蝴蝶免费直播
班上男生带到没人的地方作文
一边伸舌头一边快速喘气图片
无翼乌漫画教师全彩
软玉娇香1V3
斗罗大陆2大乱斗交大TXT漫画
writeas上层玩具
爆乳JUFD492汗だく肉感
IPHONE欧美高级特色
欧洲最新一卡二卡三卡四卡
倒插莲花是什么一种服务
嘴巴吃鸡的正确方式图片
13277大但人文艺术日本活动
乐可车图片(长图)微
中国免费XXXXXL17
跟他做了1V2
亚洲精华国产精华精华液有多好
W78W78W乳液永久
另类极品VPSWINDOWS
自w到高c的25种方法带图
丰年经的继拇中文3的特色和机能
沈阳老阿姨最后的巅峰
女生说疼男生越扎的视频
老公晚上是怎么玩你的
晚上睡不着瞅瞅看点B站
把英语课代表做哭了视频
做错一道题就干学渣一次文
老旺的大肉蟒进进出出视频
精东传媒一二三区进站口
AIRMAX97杂交
十九岁RAPPER潮水欢迎你
张津瑜资源在哪
差差差30分钟视频轮滑
香港三圾片大全
50款夜间禁用软件app免费
我朋友把我玩成了喷泉
最近的2019中文字幕国语5
让男人硬起来的网站
山东体育猛1打桩小蓝网站
WRITE AS管教
在把腿张大点我就可以吃到扇贝了
亚洲无人区码卡二卡3卡2020
岛国片人妻三上悠亚
年轻的母亲5整有限中字
法海终于把白素贞日服J
宝宝你好会夹在车上
王者公孙离害羞流口水的表情
女生让男生随便玩自己的坤坤视频
日本一卡二卡三卡四卡网站99
姐姐的朋友9完整视频有翻译
甜性涩爱bt种子
亚洲一卡2卡3卡4卡5卡127
dazeyouxiang
隔壁机长大叔是饿狼
姬小满无限奖励别人的英雄
孩子玩着玩着就进去了怎么办
囯精产品一品二品国精
开车污的 女生越疼男生越来越快动漫
激荡瑜伽1V2PO
下面都湿透了还嘴硬疼咋回事呢
雍正睡了自己的女儿
LINODE娇小IPHONE69
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1