有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。
知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。
如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。
对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(混合专家模型),就是优化推理成本很好的解决方案。其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样底层算力用得更好,推理成本就会大大降低。
MoE大模型的盛行,实际上对应的正是模型能力和算力开销两大问题的解决。这也是为何众多大模型厂商如OpenAI、谷歌、Mistral AI、浪潮信息等陆续基于MoE架构升级自家大模型产品的原因。
从浪潮信息发布的“源2.0-M32”开源大模型来看,其基于“源2.0”系列大模型已有工作基础,创新提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),并大幅提升了模型算力效率,模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。
浪潮信息人工智能首席科学家吴韶华在接受中新网记者采访时说,我们一直在想如何以更低的算力消耗,提高整个大模型的应用效果,能让企业、机构以更小的算力代价去获得更高的模型能力。“这可能是中国发展自己的AI大模型比较行之有效的路径。”
他直言,大模型推进速度越来越快,必须强调模型算力效率。“大家可以想象,效率越高就意味着在单位算力投入相等的情况下获得的精度回报越高,它对于训练和应用都非常有利。”
“现实的算力是有限的,我们一再反复强调模算效率,试图针对当前算力情况闯出一条自己觉得比较好的路子。在固定每个Token算力不变的情况下,通过扩展专家数量可以获得更大参数量的模型,进而获得更高精度。”吴韶华说。
他进一步称,整体来看,尽管当前模型的能力提升非常之快,但之前大家更多关注单个维度问题,即平均精度的提升。但大模型进入快速落地时代,就不得不考虑更多维度的问题,包括模算效率、精度、算力开销等。
中国工程院院士郑纬民曾做过这样的计算,在大模型训练过程中,70%开销要花在算力上;推理过程中95%的花费也是在算力上。
为解决大模型训练的算力不足问题,郑纬民建议,在推动智能计算中心建设同时也可以利用已有超算系统的空余算力。
郑纬民表示,现有14个国家挂牌的超算系统,每台机器的建设成本都很高,成本在10亿元至20亿元,甚至更高。这些超算系统已经为中国的国民经济发展作出巨大贡献,但有些系统还有空余算力,这些空余算力也可被用来做大模型训练,且经过优化甚至可降低大模型训练成本。
对于近期中国企业的一轮大模型降价,零一万物CEO李开复表示,未来整个行业的推理成本每年降低十倍是可以期待的,且这个趋势是必然的,如此会有更多人用上大模型,这是非常利好的消息。(完)
acg里番资源站全彩
你对象晚上怎么玩你
班长是全班的玩具
怨妇.狂娃.疯杀手
欧美BBBBBBSBBBBBB办公室
老师家里没人你用点力好好快软件
翁公与小莹在客厅激情
亚洲专线S码和M码的区别
姐姐终于长大了呢可以做了
侍卫把贵女怼树干PO
香含玉女峰头露润滞
厨房一次又一次的索要摄入
按在桌子上欺负
妈妈的朋友5观完整有限中字木瓜
新龙门客栈2龙门飞甲
云缨巡街网站入口 漫画
老师裸露胸被强挤奶漫画
两个吃上面一个人下试看
电车 之狼攻略
福利社体验区会试看
菠萝蜜免费观看视频
WRITE AS 公共场合
中国XXXXXLMEDJY免费
数学课代表趴下让我桶视频
高中校花陈若雪H校长
井川里予33秒正能量的视频播放
玖玖资源3658稳定更新
ACCA少女SDANVI
帅小伙GARY
国产色母和进口色母区别在哪
白天是狗晚上是狗老公
强伦姧人妻三上悠亚中文字幕
姐弟拔萝卜又疼又叫高新
王者荣耀公孙离脸红流眼泪表情
国色天香A区与B区
极速天使里面的英文歌
东北大坑原始欲爱
疯狂厨房2双人35视频
野花视频在线观看最新高清
迈开腿尝尝你的草莓是什么味道的
国产自制剧天美传媒老狼
大型大巴车最后一排被轮
上面一边亲下一边面膜使用方法
如何自己玩自己全是水
toul-307
父亲缓慢有力挺送女儿的话30字
宝贝把腿抬高一点就不疼了
国产无人区码一码二码三MBA
丰年轻的继拇中文3使用方法
电锯惊魂3百度影音
人与马是怎么交流配的
麻花豆传媒剧在线MV免费牛牛
把我的香肠塞进你的甜甜圈
欧美无代码HD免费
漂亮的保姆中文版完整版免费
18款禁用B站APP免费版
被魔尊圈养的仙尊
董小宛 果冻传媒 麻豆
张津瑜口卫生间
haolekk
迈开腿尝尝你的草莓汁的作文
农家俏寡妇电影在线观看免费
舞林大会棒棒糖
电动猫尾巴PLAY
人与动物PPT免费模板大全
八重神子焯出白水来怎么办
都生过宝宝了还这么紧
丫头牦户一张一合
为什么抽的越快叫的越声音大
18youngchinagir g国
最近HD免费韩国电影
老师没有带罩子让我练了一节课
女生越喊男生越要塞视频
芭乐鸭脖向日葵芭乐鸭脖
交警用菊花检查酒驾的文章
吃棒棒糖是什么意思
原神纳西妲流不明液体A区
军舰上的女兵免费高清原声满天星
67194线路一点击进入
两对夫妻一起旅游互换的说说
山川青空种子下载
把两只小兔子吸红肿视频
小东西几天不见水又变多怎么回事
鲍鱼最新地域网名2021查询
国产一卡2卡3卡4卡影视果冻
狗狗射速好太可怕了sun
精品日产高清卡1卡2区别在哪里
xfplay365每日稳定资源站姿
漂亮秘书的滋味2中文
含羞草实验室2023隐藏入口(已更新)
女士不遮阴内搭图片高清图
精产一二三产区别在哪里
在线正能量网站地址链接免费
几天不做就湿成一片
2012手机在线看免费观看
公交车后车座的疯狂C
体育生GARY网站MV
说说自己睡过哪些亲戚
男生的坤坤放到女生的哪里
网站你懂我意思吧
妈妈的朋友7中国语
一姐rapper潮水太多
蜜桃成熟时33d qvod
丝瓜 草莓 秋葵 榴莲
99精产国品一二三产品区别
宝贝错一题c一次漫画
皇上撞着太子妃的沈音
剧烈摇床运动视频
最近的2019中文字幕国语5
无限在线观看完整版免费直播
男生女生一起差差打扑克
深度开发1V3二月天2YT
大尺寸的小黄说字多肉
他给我放了三根卫生棉条
亚洲AV精品无码国产一区
14MAY13_XXXXXL民族
国产精华最好的产品人V中文
无颜之月怎么看不到了
快猫记录世界记录你
5g天天奭5g多人运在线观看免费最新app
和儿媳发生不该发生
乱码欧美一卡2卡3卡4
梁医生不可以(限)季亭亭
VODAFONEWIFI与黑人
遥控器跳DAN放在里面坐公交
年轻的保姆5线观高清
张铁泉在美国死亡
禁天漫堂网站进入
炎炎消防队生肉1080P
儿媳妇夸我比他老公大
88369游戏
羞羞首页登录无限阅币免费
黑人的很粗很大的蘑菇头
三十种交口图片表
儿子今天晚上只让你
一区二区视频传媒有限公司
淑芬两腿中间痒的厉害
解放的潘多拉 bt
肚子里面满满的都是JY日记
杨思敏1一5集国语版下载地址
国产2021在线传媒麻豆
课堂上时间暂停为所欲为在线阅读
车内剧烈运动描写片段
迈开腿吃尝尝你的小草莓感觉
麻花豆传媒剧在线MV免费牛牛
将军们的共妻H
甜蜜惩罚未增删带翻译樱花翻译
仍想结婚的女人
椅子上放一根很光滑的木棍
パンストエロ中文
Zoom人与Zoom大吗
男人激烈吃奶动态
最近最好的2019中文日本字幕
老师你感受到它变大了么
ZLJZLJZLJ日本妈妈
舌头一路往下探
你是我的荣耀全集泄露
四个人换着玩的过程叫什么
冲动的惩罚动漫HD在线播放
俄罗斯牧场VIDEOSK9
我的小兔兔被男生咬着的感觉
言教授要撞坏了中催奶
海角精产国品一二三区别在哪
一体验区试看120秒
一支笔c哭自己从自w到高c视频
今晚咱们试试阳台
差差差很疼无限在线观看
野花日本HD免费完整版高清版6
声声奶酥1V办公室
菊内留香 TXL金银花露
十大B站不收费
妈妈的朋友10在哪可以去看
不小心缩小掉进女生的午饭里
重生之超级肉禽系统
无人区码和一码的区别
娇妻玩4P被三个男人伺候小说
一前一后三个人轮换躁B
一口一口把奶油从胸口吃掉
麻花传MD0174苏蜜清歌
偷偷藏不住40集完整版
三级电线在2019
为什么一加速女孩子就会哭
好看大但人文艺术
BGMBGMBGM日本XX
没有罩子的瑜伽老师
女儿初长成爸爸来尝鲜食品的文案
没做过的能放进几个手指节
坐在木马的木棒上公主
御宝天师无弹窗
对象吃我的奶奶会变大吗
午夜dj在线观看免费完整高清观看
人成乱码一卡二卡三四卡无卡六卡
泷泽萝拉第三部ed2k
性情中人 bt
花蝴蝶日本大全免费观看3高清版
放里面睡觉是种什么样的感受
红玫瑰直播免费版视频
公么天天吃我奶躁我
掀开衣服左边吸完吸右边
revenge第三季
健身私教弄了好几次
一下又一下撞到最里面文章
激荡瑜伽1V2
多肉的糙汉1H
双人游戏BY春雨惊蛰
羞羞漫画登录页面免费漫画在线入口页面
放里面睡觉是一种怎样的感觉
帮妈妈通下水道
小泽玛丽娅电影
啦啦啦韩国动漫在线观看
上课带着跳D是什么体验
为什么女的做过以后满面红光
GOGOGO大但人文艺术包
我的兔子好软水好多双指探洞
女篮坎贝奇惊艳三部曲叫什么
一边C一边说粗话小说
善良的嫂子1字巴巴鱼汤饭惹人中字
仙踪林老狼信息贰佰信息网
10岁小学生幼儿
狗狗的东西又大又烫
蜜桃成熟时钟真
高岭家の二轮花动画
日本一本到道免费
秘密教学第75你可以帮我吗SVIP
B站大但人文艺术图
老师穿白丝JK把我夹的好爽AV
蜜桃文化传媒有限公司
国精产品一区一区三区有限公司
随时随地都能干的学校教师的特点
中国bgmbgmbgm老头和老妇
jing液灌溉系统2号唐小米
刚开笣没多久的大一新生
老阿姨儿子一二三区
搞机TIME恶心直接打开的不用下载嘉兴圈
国产又黄又硬又粗
女士不遮阴内搭图片高清图
2021高清VPSWINDOWS
我坐上去自己动好不好宝宝
最近中文字幕高清MV免费
得到超级肉禽系统的小说
塞住不要掉出来等我回来检查
得到超级肉禽系统的
大尺寸的小黄说字多肉
张柏芝下面毛又长又黑
扒开大腿就可以吃到扇贝吗
青梅竹马是消防员 无马
精品卡一卡二新区仙踪林
高铁上要了她很多次
rh男男车车的车车视频真人
两个人一前一后攻击我内容
成长人雏鸟pro19幼儿版特色
WRITEAS宋亚轩
好爽好多水C死你视频
萌白酱17分钟视频
生物繁殖课老师拿自己做例子
吃瓜网-免费吃瓜黑料泄密爆料
xrk1_3_0ark入口
XL樱花动漫未增删带翻译
狼群社区WWW中文版
性一乱一搞一交一伦一性
小SB是不是欠C了
贝茜我们开始做吧1982
macbookpro免费网站
前夫的东西真的很大
亚1州区2区3区域4产品乱码
旅游途中夫妻换着玩的说说搞笑
带闺蜜出来玩被她老公骂怎么处理
日产2021乱码
WRITEAS自己玩
非诚勿扰张丹丹素颜
男生淦男生的部位
老师把腿抬高我要添你下面
你男朋友是怎么上你的
肚子里全是JY鼓起来了怎么办
开车越往下越疼视频
天海翼家庭教师qvod
初中女生喊疼男生越往里寨游戏
小鲜肉吃小鲜肉的大LOGO
医生的手指在里面转圈
女人能接受开三门吗
班长哭着喊不能再C了视频作文
妈妈的朋友4在观完整有限中字
公主恋人ova下卷
朋友的母亲3有限中字木瓜
成品源码1688网站免费版
黄可46分钟完整版种子
墨燃给楚晚宁用道具
日本YOKOGAWA横河
传媒天美果冻AAAAA
3分25秒痞幼视频是什么东西
宝贝感受到它变大了吗免费视频
班长没带罩子让他玩儿了一天
叶渺渺上体育课课被捅了一节作文
r头怎么玩教程
迈开腿吃你的水蜜桃是什么
这几天没C你了是不是皮痒了
无遮挡很爽很污很黄的网站
美国macbookpro日本
男孩子听到女孩子喘气会有感觉吗
吃警察爸爸的擎天柱视频
柳箐箐人体艺术
新堕落东京之奴隶
亲亲抱抱蹭蹭的刺激原声哔哩哔
我的妻子的姐姐2观整有限中字
嘴巴含胸的图片
中文精品一卡2卡3卡4卡国色
妈妈的朋友1线在完整视频中字版
寂寞夜晚视频观看
公交车一动就撞一下撞到最深处
大尺寸的小黄说字多肉健身房
在落地玻璃窗前插
日本一线产区和韩国二线产区区别
MINUS8法老猫
五行书院在线观看完整版
八角笼中被下架
牧场videos skool
动漫男男车车好快的车车有
被夹在中间当磨心最后会怎样
日本2021免费一二三四区
我的XL司第三季免费观看翻译
蜜桃成熟时5D
欧洲一本到卡二卡三卡乱码
MAYA要继续浏览确认您已年满
last day on earth
日产无人区一线二线三线
女生坐男生大腿男生有什么反应
精品无人区卡一卡二卡三
英语课代表下课让我诵30分钟
日本漫画工番口番全彩免费
父亲缓慢而有力挺拔的句子
刻晴被盗宝团注射药物
无人区码一码二码三MBA智库
啊公交车坐最后一排被C
子不语在线漫画
老师你的好软水好多的时候图片
精品一卡二卡三卡四卡兔在线
女儿国3在线观看免费版高清
金麟岂是池中物侯龙涛
让我尿你在里边好不好h
星空传媒XK8004的未来发展
大炕上装睡配合弄
csgo高清大片
家里没人叫大声点干湿你
精品无人区一码卡二卡三
红豆视频在线观看免费播放
朋友的母亲4在完整有限中字第5
王者公孙离爽到流泪流口水照片
日本rapper潮水RaPPe
久别的草原高清视频HD
他舌头一路向下探索找到花朵
亚洲一线产区和二线产区的
没有擦黑板被老师C了一顿
大龟慢慢挺进张娟征的休
云缨拿枪奖励自己视频
公交车轮C系列
3秒后坐在联谊会角落的他是个肉食系
最新的ZOOM动物马
公交车轮换C程雪
林妙妙被体育老师
离婚后干前妻什么感觉
被闺蜜老公从阳台C到卧室小说
两个人一前一后的动了起来
王者女英雄去掉所有服装不遮挡没有烟雾
14MAY18_XXXXXL56ENDIAN中国
43417大但人文艺术主演列表
刻晴被盗宝团注射药物
国产无人区一卡二卡3卡4卡在线
黑龙江教室视频完整版
放在里面睡觉是一种什么样的感受
回娘家父亲求我给他一次
肉大尺寸小黄说说
WRITEAS分腿
仙女棒坐着使用示意图
免费剧烈运动扑克网站
美女裸全身无档图片视频教程
男朋友c的时候都说什么
北京掌汇天下科技有限公司 版权所有
公司地址:北京市西城区西绒线胡同51号南门
京公网安备11010502026839号| 京ICP证:120337号| 京网文 [2018] 5934-459 号| 京ICP备17065190号-1