有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
精东传媒剧国产MV的特点
中文在线っと好きだった官网
校花啊哦好猛好力啊哦
遇到一个会夹会摇的
把它夹住去跑步不能掉体育课
系统之魅姬养成(莫紫弦)
交口图片30种图片大全
刚开荤的女孩子是不是收不住
各种姿势玩小处皱女
不知火舞之公园狂欢
中国XXXXXL在线
一个女记者的开放人生
没带罩子让他C了一天怎么办
宁一荣荣开襟乳液狂飙
被主人用数据线打的作文
女儿今夜以身相报父亲怎么办呢
国产果冻天美传媒电影
老太太bgmbgmbgm大
baiduyingyin
天美传媒TMY0013在线观看
善良的小峓子2在钱 中文版
天降女子未增删带翻译樱花
GOGOGO在线播放中国
男朋友C你的时候你会说什么知乎
打扑克剧烈运动又疼又叫的视频
中国人看视频免费
什么是主题公园
剧烈运动摇床运动视频
迈开腿尝尝你的草莓是什么味道的
国产一线产区二线产区
暖暖直播日本高清更新
我一加速她就哭
120秒免费体验试看5次
教官脔到她哭H粗话H
小SB就是欠C
BGMBGMBGM老太太交70
班长是我们班的存精器GH
最近中文字幕完整国语
雷电ゃんが腿法娴熟を免费网站
叫大点声今晚家里没人冷教
迪卡侬潮水门事件15分钟
日本REPRODUCTION OF FOUND
满清十大刑酷之凌迟快播
S货叫大声点C懒烂你的SBXS
男生女生一起差差很痛的app下载安装20
boss俄罗斯撕裂bass
初中女生说疼男生继续往里寨游戏
你是不是没有被C够
美女校花被老汗狂肉的故事
好姑娘7免费高清观看
扒开粉嫩小泬直接进去
井川里予黑料33秒视频
一前一后三个人轮换的英文怎么说
仙踪林直接入口RAPPER
被他从身后撞得浑身散
丰年经继拇中文2特色介绍
小东西多久没c了
好儿子妈今天就是你的人
精密导航agv
男按摩师舌头伸进去了
羞羞漫画在线看免费阅读破解
不被原谅的搜查官
国内AI造梦鞠婧祎MV青岛
他像疯了一样占有了她退出
养敌为患漫画免费全集下拉式
被罚把筷子放屁眼里不能掉
我的兔子好软水好多的免费视频
大地资源中文第二页日本
数学课代表的B真紧
男生摸和咬小兔兔
迈开腿让尝尝你的CH宝宝
妈妈说只要爸爸不在家就可以睡觉
可疑的美容院 迅雷
不知火舞被3个小孩
黄光裕进去的根本原因
怎么把自己变成喷泉夹枕头
小东西把它夹住去跑步不能掉
污到你那里滴水不止的作文1000字
妈妈说只要爸爸不在家她就是我的
xl上司第二季樱花未增删翻译免费
蜜芽永不失联2023
公交车最后一排被群C的文章
小SB是不是欠C流了那么多
次次到肉杠杆到底
麻花豆传媒剧国产MV动漫在线
九一制片厂果冻传媒APP
一前一后三个人轮换的英文怎么说
去部队探亲晚上叫太大声
女性被深耕后的表现
很详细的肉肉床文片段
女性半夜莲花开什么意思
男朋友给我买了振荡器控制我
公交车上被撞了八次
大菠萝福建导航进入网址
国精产品一区一区三区
40部AI明星造梦赵丽颖
一男一女在房间里打扑克是什么梗
200hh情艺中心
娇妻玩4P被3个男子伺候辣文
日韩欧美中文字幕送别
真是不经弄的小东西视频
二指探洞疼哭了
诱人的女邻居BD中文字幕
刻晴ちゃんがを腿法娴熟
中文在线中文在
WRITEAS边做边走
开车晚上看有痛痛的声音视频免费
公主殿下的LOVE全集播放
日韩成人大屁股内射喷水
免费看美女裸露无档网站
把女朋友弄成小喷泉的手势
最新张津瑜卫生间视频
老师说今天晚上随我怎么弄
花季传媒APP每天免费3次观影在线观看
一件一件的剥开我的衣服
中文字幕看成电影乱码
原神女角色去掉所有服装小内无爱心图片
玩弄朋友娇妻呻吟交换电影
麻豆精产国品一二三产区区别免费
用注射器打水放屁眼里视频
女性大荫蒂荫道多毛茸茸
迈开腿我可以尝尝你的草莓感觉
抱着边走边撞水流了一地的水
wuyuetianshequ
melancholy视频在线观看
张铁泉死亡现场
亚洲精华国产精华液的福利
渺渺上体育课当着全班人
粗大挺进闺蜜的幽深处网站
性一交一无一伦一精一品
动物胶配方视频高清大全动
免费看大片的APP
小男孩把坤坤放在小女孩脚
女人被添荫蒂的口述
国产尺码和欧洲尺码表CCTV
春暖花开炎狼之地
香蕉丝瓜草莓樱桃草莓榴莲污
一本二卡三卡四卡无卡免费高
一个人免费看B站
云缨的乳液长什么样
一件一件的剥掉西施的衣服
三叶草GW6781
和活好的男生做是什么体验
荧被丘丘人繁衍后代
伊人大杳蕉在线看
人与各种动ZZZ0O0OXXX
将电动牙刷放在小洞里
两个黑人大战娇妻的小说
雷电将军掀开衣服看副乳
被窝里的公息全章
浪小辉GARY2022
黑白配高清HD1080完整版
人间小喷泉H1V3H
贪欢电影在线观看
姑父缓慢有力挺送侄女
孙尚香站在凳子上辅导刘禅写作业
大菠萝福建导航导入网站
哥布林洞窟未增删开车原声
迈开腿让学长看看
离婚久了和儿子睡在一起
宝宝在把腿敞开点一会儿就不疼了
小SB就是欠C
能干的猫今天也忧郁
疯狂母亲在线播放
性少妇JEALOUSVUE成熟
电动猫尾巴PLAY
坐在木马凸起的木棒
朋友换娶妻5中文版
国精产品一区二区三区糖心269
我想用我的扇贝夹你的乌龟
大叔轻一点可以吗
段嘉衍路星辞肉车终身
无人区码精华液
老公总是吃我的奶奶该怎么办
偷偷藏不住40集完整版
朋友的母亲7在完整有限中字第
糖心VLOG产精国品免费老
do的时候夹一下是什么感觉
二指探洞好像要喷了一样的水
亚洲精华国产精华液有什么福利
top gear 19季03
淑蓉最爽的一次
叔叔说我体内有虫子
无人区码一码二码三码
唐朝豪放女完整版
私教在没人的时候要了我短文
三圾片有哪些好看
麻豆是传媒官方直接进入
奶酪陷阱在哪可以看
忘忧草768mon二区
适合夫妻之间看的麦片
bgmbgmbgm毛多多
蜜桃成熟时33d qvod
寄宿日记37你也想做吧秋蝉
文轩WRITE.AS 抽肿被发现之后
偷看各类wc女厕嘘嘘
诱人的女医生中文字幕
男人的坤坤升到女人的坤坤
刘禅站在板凳上曹安琪拉
日本适合十八岁以上的护肤品
我的老师不是人
一边桶又一边叫
怎么样吃女朋友小扇贝
吃女朋友的扇贝的正确方法
一个上面吃一个下吃视频试看
春雨直播免费视频观看
男女一边摸一边做爽爽的动态图
一边做一边说国语对白
5g影讯5g天线在线观看免费下载
51精产一二三产区区别
公交车上的小黄说说1000字
把英语课代表做哭了视频
中文字幕无线码中文字幕
miya222
男生抓着你双手摁墙边什么意思
公交车两人双指探洞详情
黑帮老大和我的365日绝了
开车越往下越疼视频
25CARD中国大学高清视频
IPX 528
精产国品一二三产区区别麻豆
9.1短视频软件安装免费
幸福宝APP官网导入资源
张柏芝殖器12图
舒婷1一20全文阅读
成品网站W灬源码被网友群嘲
网红打扑克牌网站
中国老人mandaddyertv
王者荣耀公孙离被捅的流口水视频
老师上课突然把跳D开到最大视频
一前一后三个人轮换的
优质jing液灌溉系统
一二三四在线观看高清韩国视频
男孩买来金戒指妈妈慌了
老奶奶vpswindows在线播放
黑人啊灬啊灬啊灬快灬深用口述
坐在老师的鸡叭上写作业
夜里100种禁用视频
正式告别一段感情的话
迈开腿尝尝你的草莓什么感觉
无人区编码6229JM
打扑克剧烈运动全程不盖被子
逆爱 再爱我一次
亚洲人一卡4卡5卡6卡7卡
玩弄老太太的BBB
大哥二哥你们谁先来
我和公GONG在厨房日本电影
小东西底下都是你的水
从厨房一路顶撞到卧室门好吗
河南妇女毛深深的沟WCD
亚洲国产精华推荐单品榜
在英语课上强插英语课代表
好刺激的打扑克软件
47147人文艺术欣赏
JMCICON网页版
小娇乳H边走边欢1V1视频国产
心动的信号4免费观看西瓜
花季传媒每天免费看三部
b站大全永不收费免费下载软件吗
剧烈摇床运动视频
男生讲讲自己第一次细节真实知乎
GC时突然抽出来难受吗
年轻的保姆5线观高清多鱼
晚上听到婆婆叫使点劲用力
爱情岛论坛首页推荐
TOBU7TOBU8大学生
欧洲乱码卡1卡2在线
我年轻善良大胸的邻居
男人最后一下为什么要叫
娇妻玩4P被3个男子伺候
过来自己趴好选工具小视频
4HU四虎永久在线观看
麻豆精产国品一二三产区别
AI换脸JENNIE向上射水
黑料不打烊tttzzz入口
真人打扑克直播软件下载安装
一个上面吃一个下吃视频试看
不知节制地索要了三天三夜视频
把毛笔放到洞里写字不准掉HL
一面亲上边一面膜下边的日志
丰年经的继拇中文3使用方法
宝宝我们对镜子C好不好
抽烂WRITE AS
亚洲欧洲卡1卡2新区
小S货又想挨C了叫大声点小
一抽一出BGM试看60分
倒插莲花是个什么动作
莉莉卡奥特曼的乳液
学长我们换个地方做小作文
污开车作文500字有过程
男朋友晚上怎么做你的
HENTAINATRUAL
换个方式做吧未增删动
l多肉的糙汉b1H
朋友的母亲6在观有限中字
色降ii万里驱魔
一边亲着一面膜下韩剧网
雷狮被安迷修强行掰腿车图
王者荣耀黄化图库
一层一层一层的剥开我的衣服
免费BGMBGMBGM胖老太太东北
姐姐终于长大了呢可以做了
公交车里抓着摇曳的手环
教练在车里C了我三次怎么办
杀帝的闪婚恋人
简隋英writeas震动器
免费日产区乱码2021软件
网站你懂我意思吧的
肉多到炸的古代
像疯了一样要她
花城谢怜车长干哭
ZOOMDOG13
黑寡妇v3pro和rogrx
三十六种阴阳技图解PDF
女性大荫蒂荫道多毛茸茸
终于又可以吃到你的jy了
含着校霸JING液去上课H
我帮娇妻找粗壮男人玩3P
男朋友晚上怎么做你的
ONE一个成年的世界一个就够
双胞胎一前一后夹心饼干双子
拉开拉链它想你了给他好不好视频
麻豆 天美 果冻 星空国产
打扑克视频又叫又疼原声
他戴上小玩具调到10档
一体六交怎么做
走楼梯每走一步就往上顶一下
三个人玩我一个人是什么感觉
4399看片在线看动漫
免费涩涩屋草莓榴莲秋葵绿巨人
日呀好久没有日B了
甜蜜惩罚未增删带翻译樱花接
如何把女朋友弄成小喷泉
抽烂WRITE AS
夹枪带棒1v2舒明明和黎
天天想你视频免费观看高清在线
整篇都是车的文章校园
182tv观免费现看
火影忍者禁图大全
日本动漫人物打扑克
坐在学长的棒子上写作业作文片段
CHINESE男男体育生腹肌网
BASE掀起ONCHAINSUMMER热潮
日本是人类吗?
MAY18_XXXXXL56
怎么奖励自己的隐私位置
魔弹之王与战姬漫画
5分钟不间断踹息声在线听
俄罗斯19girl video9
公孙离去所有衣服被捅
mdyd-751
椅子上有木棒坐下去吃饭
老翁真厉害不倒枪
拔擦拔擦永久华人免费
校花婉莹被农民工玩
秘密入口地址1地址2地址3 帧
YELLOW高清视频
男朋友的手探到我的衣服里怎么办
我想用乌龟蹭你的扇贝视频
中国RAPPERDISSSUBS老大妈
他的白月光HvH桔子糖水类似
我想吃你的水蜜桃葡萄扇贝
二人扑克剧烈运动视频
亚洲精品国产精华液有哪些牌子
最近中文字幕MV在线视频2018
奶糖与烈酒BY封远廷
开车视频疼痛有声音
王爷扣腰撞入体内
吃女朋友的扇贝是什么感觉
核子基因创始人张核子弟弟发声
扯掉衣服两只小兔子
原神申鹤被空C出白色液体游戏
亚洲无人区码二码三码区别
已满18周岁从此转入
开车视频疼痛有声音免费观看软件
3个人同时玩一个人
日文中字乱码一二三区别
中国speakingathome宾馆
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1