本文作者:819848

降价,不是大模型落地的唯一抓手

819848 06-02 23
降价,不是大模型落地的唯一抓手摘要: 今年5月以来,国内云厂商打响了大模型推理算力的价格战。火山引擎、阿里云、百度智能云、腾讯云等多家云厂商接连宣布降低模型推理token价格(大语言模型@中,token指文本单位。一个t...
今年5月以来,国内云厂商打响了大模型推理算力的价格战。
火山引擎、阿里云、百度智能云、腾讯云等多家云厂商接连宣布降低模型推理token价格(大语言模型中,token指文本单位。一个token可以是单词、标点、数字、符号等),部分■模型推理价格降幅超过90%。
近期,多位云厂商高管表示,降价的目的是降低企业客户的试错成本。让各行各业加速用大模型开发AI应用。他们预计,2024年下半√年以后,AI应用会迎来一轮爆发。一种乐观的看法是,目前AI应用的发展阶段类似2012年-2014年移动互联网爆ξ 发早期。
目前,营销、客服、知识库、数据报表等领域是大模型第一轮落地的场景,但这并非企业的核心业务场景。多︻个行业头部企业的IT部△门负责人表示,大模型的实际表现暂时未超出预期。
供给方的云厂商正热火朝天地试图推动大★模型落地,它们希望大♀模型尽快产业落地,这并让人不意外。云厂商为算力建设、模型研发投入了巨ω额成本,它们希望靠大模型带动营收增长。
需求方的大型企业在谨慎观望。多个行业头部企业的IT部ξ门负责人表示,云厂商大幅降低推理token价格是好事,但价格不是第一位的因素,关键是要对业务①产生价值。落地︼大模型,首先要算清投入产出比。他们通常会从营销、客服、数据报表等有成熟案例的业务开始试点,再考虑是否将大模型扩散到更多业务。
在供需双方之外,一些创业企业、个人开发者也扮演了重要角色。这轮降价对他们影响相对较大》,他们希望借助大模型开发AI应用服◆务市场,他们的试错成本很低,一般是用大模型开发轻量级的AI应用。这些应用普遍和文本生成、PPT生成、思维导々图相关,一些团队已经取得了一Ψ定的收入和利润。
大模型产业落地并不简单。一些云厂商已经意识到了需求方的顾虑。5月28日,百度集↑团执行副总裁、百度智能云事业群总裁沈抖在一场公开活动上提到,企业把大模型技术用起来并不容易,厂商要为企业提供专业的技术和服务。只有技术,没有服务,就落↘不了地;只有服务,没有技术,就不可能有创新。
价格并非核心,企业在意回报
大模型的推理算力成本主要受云厂商的客户规模、技术能力的影响。客户规模越大『,推理成本一般会越低。技术方面,提升算力集群利用率、优化模型算法结构,这两种方式也可卐以降低推理成本。
这一轮』推理算力价格战,百度智能云表现很激进。文心大模型除了部分主力模型降价,旗下共七款模型还宣布免费。能快速跟进价格战,主要原因是百度智能云一年多来在用技术手段降低算力成︼本。
算力集群由成百上千甚至上万←张AI芯片连通组成,一张卡出现故障甚至会影响整个集群的运作。商业客户需要稳定、安全的算力供给。这对算力集群中AI芯片相互间的通信优化、运维管理提出了∮很高的要求。百度在用自研的百舸异构计算平台管理万卡集群,降低AI芯片性能损失,提升算力集群工作√的有效时长。目前百度把ζAI芯片的有效训练时长从去〓年的95%提升到了超过98.8%。
此外,针对〗客户对多种AI芯片进行模型训练、推理的需求,百舸提供“一云多芯”的调度能力。英伟◢达的高性能GPU被视为更适合模型训练和推理的AI芯片,但其被禁止进入中国市场。去年很长一段时间,国内处于AI芯片荒。为了帮助商业客户摆脱对单一♀芯片的依赖,百舸实现了∏对昆仑芯XPU、昇腾NPU、海光DCU、英伟达GPU、英特尔CPU等国内外主流AI芯片的兼容。在不同╳芯片的混合训练中,百舸的百卡集群性能损失低于3%,千卡集群性能损失低于5%,处于业内领先水平。
百度还在优化』模型算法、结构,进而帮客户节省算力成本。目前,百度智能云采用模型路由(在不同任务下切换不同模型)的方式为客户组合各种尺ぷ寸的AI模型,实现不同业务场景下的按需调用。这可以大幅降低模型部署成本,提升模型推理性♂能。
其他云※厂商降低推理成本的做法与之大同小异。这带来的直接好处是,减轻了企业投入大模型的负担。降价可以吸引企业【客户开始探索大模型,大量的探索也将激发创新,找到大模型落地的实践方案。
一位云厂商高管算了一笔账,过去企业做一次大模型应用创新可能要花200万元,这笔预算会很难申请。但推理价格降低99%以后,可能∏只需要花2万元。这种试错成本是可以说清楚的。
多位企业的数字化负责人也认为,云厂商打价格战,对企业落地大◤模型是好事。但他们同时表示,价格并不是企业落地大模型的第一位因素。因为,推理算力降价暂时并没解决企业核心问题——大模型如何带↘来经济价值。在核心问题被解决前,降价对企业来说,只是隔靴搔痒。
企业IT支出有自己的内在逻辑,任何投入都要算清投入产出比。一位医疗科技企业CEO直言,企业数智化转型的创新动力有两个,一是∑竞争压力,二是明确的降本增效回报。
目前,阻碍企业落地大模型的因素至少包括这些:
其一,行业模型偏少,但企业客户普遍△需要行业模型。过去一年多,国内云厂商主要在提升通用大模型的能力,对场景的钻研普遍还不够深入。通用︻大模型缺少具体场景的训练数据,并不能解决企业的实↑际问题。
其二,一些行业场景还没跑出好的实践方案。目前←各行各业仍处于大模型落地的探索阶段,很多企业〓都在观望。只有看到行业内好的实践方案,它们才能下定决心跟进大模型投入。
其三,企业缺少AI人才,对大模型认知□ 不足。即使推理算力免费,企业也要为新技术匹配新人才,这要付出成本。而且,目前AI人才集中在能够提供高薪的△科技公司。一ζ 位头部饮品企业的数字化负责人提到,他从2024年1月开始招聘AI人才,至今也没有遇到合适的人。
事实上,这些【问题云厂商也有所意识。一家国内头部云厂商调研了泛科技、传媒、能源电力、制造、化工等行业企业关心的问题。其中一些问题非常基础,包括“行业大模型除了知●识问答,还能干什么”“哪些应用场景能用到大模型能力”等。
针对客户使用大模型的种种难题,百度智能云近期推出了千帆行业增∴强版——即在千帆大模型平台的标准版上,增强行业属性的能力。这可以更好满足不同客户、伙伴的大模¤型应用开发需求。
与市场上其他行业大模型不同,千帆行业增强版不是单一的模型,而是整合☆了应用服务、模型服务、资源服务的大@模型应用开发平台。资源服务层面,千帆行业增强版可以将客户资源利用率提升50%以上。大模型服务层,千帆行业增强版可以让大√模型深入企业核心业务,解决痛点问题。应用服务层,千帆行业增强版降低客户、伙伴的开发门槛,高效实现应用开发。
大企业※谨慎落地
算力价格战目※前对大企业的影响不大。
企业的IT团队或数字化团队是引入大模型的主要单位。价格并不是他们做决策时的第一考量因素。他们首先会梳理各个业务线的痛▓点,寻找大模型落地的场景,接着对市面上开源、闭源的模型进行性能测试。
在选择具▅体大模型厂商时↘,他们普遍关注这几个问题——大模型创造的业务价值,是否有行业成功案例,训练部署大模■型的算力及数据准备要求,全套落地方Ψ案及对应的总包价格。
大企业内丰富的业务场景,海量的业务数据,是发展大模型应用≡的温床。因此各行各业中不乏希望借助大模型技术提升竞争力的企业。一些行业头部的民营企业将年度Ψ 创新预算重点投入大模型①。一些国央企也对落地大模型等新兴技术有硬性要求。只是,大企业落地大模型,普遍会采取比较㊣谨慎的策略。
从大模〖型投入预算看,目前国央企的预算更充足,落地业务的体★量也更大。2024年1月-4月大模型中标项目的ω 综合数据显示,百度中标了7个项目,覆盖6个行业,中标金额总数超过5600万元。每个项目平均预算约800万元。百度的这几个数据在主流大模型】厂商中均位居前列。
民营企业在创新应用的预算上更加精打细算。一家白酒企№业的数字化负责人表示,在快消、零售领域,超过15万元就是大项目⌒ 。他们的数字化团队找到大模型落地场景后,要先做无成本的前期测试,只有成果显〓著才能说服老板申请预算。类似情况在民营企业内很普遍,他们一般会从单个场景试点开始落地大模型,只有在单点看到价值转化后,才会进╳一步推动其他场景的落地。
大模型落地通过预算环节后,部署环节更复杂。数字化基础薄弱、工程ξ化能力不强,这是摆在很多企业面前的直接问题。
其一,大模型工程落地的重要前提是,企业要完成业务数据梳理。只有将各种格式的业〗务数据整理成大模型能够读懂的形式,企业才能做契合业务场景的大模型应用。这种改造本身就门槛很高,甚至需要引入专业的咨询『公司,或者是数据治理公司。
其二,打造端到端的大模型应用,也需要大量工程化工作。但很多々企业的数字化基础薄弱,暂时没有能力应付这类复杂工程。以营销领域常见的视频制作为例,不同的模型可以辅助脚本生成、视频生成、配音、配乐,视频制作完成后还要做多平台分发,这套流程背后是多个模型的联动和多个应用的连通。企业需要端到端的大模型▓应用,如果只做其中一步价值█不大。
这些问题正是沈抖所说的“只有技术,没有服务,就落不了地”。在当下■大模型落地探索的阶段,厂商要和企业一起共创好的实践方案。有行业大模型和能快速响应企业需求的厂商,才能获得客户的青睐。
目前百度智能云「千帆平台服务的企业客户数量已达到10.5万家,覆盖金融、医疗、教育、政务、文娱、消费、交通、能源、化工等多个行业的客户,在产业落地上处于行业领先地位。
一家出版公司的管理者ㄨ表示,出版行业还没有大模型好的实践方案,大模型技术也还在继续发展。她在选择模型厂商时看重基础模型的迭代∑能力和厂商的服务能力,现在她正在和百度洽谈大模型落地项目。
经过近一年的产业落地探索,千帆行业增强版发布。它可▅以让政务、交通、工业、金融等行业客户的大模型工程化落地更便捷。在服务方面,百度智能云还组建了解决方案团队,面向行业客户提供〇大模型的咨询服务和定制化」的落地方案。
小企业激进探索
这轮价格战对小企业、开发╲者影响相对更大,它们是主要的受◤益者。
云厂商降低大模型调用价格,对小①企业的价值更大。小企业资→金有限,现在它们可以基于原有预算做更多大模型应用的试错和探索。一种观点●是,云厂商将主力模型调用费用降低或免费后,一些小企业会从█开源模型转向优质的闭源模型。因为现在小企业部署开源→的模型,价格↓可能比直接使用闭源模型还要贵。
小企业在探索大模型时一直比大企业更激进、更创新。因为初创企业、开发者▲团队没有大企业数字化转型的历史包袱。大企业主要在已有业务场景中尝试添加大模型应用,小企业则一开始就直〒接开发AI原生应用。
目前,小企业偏好研发能够发挥大模型生成式能力的AI应用。如内容生成、PPT生成、思♀维导图等。这些产品更注重自然语义的交互方式,区别于过往层级制菜单的体验。
这些AI应用的特点是,它比传ξ 统的企业SaaS(一种□ 通过互联网提供的软件服务)应用更轻量级、碎片化、原子化。一位云厂商生态销售负责人直言,大模型会让大量中小型独◥立应用开发商诞生。三人-五人的小团队,也能短时间开发出爆款应用。AI应用、SaaS应用的生态将交错融合,部分场景AI应用更易♀用、更便捷,会逐渐替代SaaS应用。部分场景AI应用长在SaaS软件上,它是SaaS应用的组件,这∏就像微信、支付宝等App上还有小程序。
一位云厂商高管●今年5月表示,AI应用的生态繁荣趋势已在硅谷初现端倪。今年3月他在硅¤谷和创业者、开发者∮交流,感受到了类似2012年-2014年中国移动互联网初期热火朝天的气氛。“基座模型很强,两三个人的创业团队很快就能获得营收、获得融资。希望中国市场未来一段时间也能有这种趋势。”
另一位云厂商的创业生态负责人提到,国内已经出现AI App工厂。它们一ㄨ个月能发布20多款AI App,通过订阅付费的商业模式,月净利润达到数百万元。
百度智能云∮一位产品运营介绍,很多AI应用已产√生了经济效益,其中包括教育领域的口语陪练、习题辅导、教案制作;电商领域的AI导购、智能客服;健康领域的智△能问诊、智能分诊。百度希望让♀这个生态更繁荣。她看好能解决痛点问题的AI原生应用,“如果只是痒点,用◥户用过一次就走了。”
这些中小企业和开发者对大模型的探索也会给大企业带来灵感。上述百度智能云产品运营还提到,小企业在AI应用的更新迭代快,产品更新的▓思路能够沉淀为方法论,被厂商吸收提供给其他企业。
AI应用的爆发速度取决于↓三个因素:算力价格、模型质量、开发难度。为促进AI应用生态繁荣⊙,百度智能云千帆平台的两大AI开发工具,它们都可以降低应用开发门槛。其中,AI原生应用(APP Builder),面向完全不懂代码的人,可以一句话开发应用╱;面向非专业开发者,也可以通过低代码的方式填写应用功能、插入工具组件生成AI应用。模型定制工具≡(Model Builder),面向专业开发者和企业,根据不同需求定制相应尺寸的模型,并针对细分场景对模型精调。
这些做法都』在让AI应用的开发、使用生态变得更繁荣——目前,百度千ζ 帆上开发的AI原生应用达32万个,帮助客户及开发者精调模型1.75万个,生态伙伴超过1万家。
生态繁荣要@ 有很多人能低门槛试错才可能出现。它需要云厂商提供好的平台工具,也需要大企业、中小企业、开发者不断相互∏影响促进。
在这种良性生】态循环中,大模型的产业落地才会加速。{内容随机加粗}{/内容随机加粗}
文章版权及转载声明

作者:819848本文地址:/x39mrq/post/27071.html发布于 06-02
文章转⊙载或复制请以超链接形式并注明出◥处政信网