本文作者:819848

降价,不是大模型落地的唯一抓手

819848 06-01 27
降价,不是大模型落地的唯一抓手摘要: 今年5月以来,国内云厂商打响了大模型推理算力的价格战。火山引擎、阿里云、百度智能云、腾讯云等多家云厂商接连宣布降低模型推理token价格(大语言模型→中,token指文本单位。一个t...
今年5月以来,国内云厂商打响了大模型推理算力的价格战。
火山引擎、阿里云、百度智能云、腾讯云等多家云厂商接连宣布降低模型推理token价格(大々语言模型中,token指文本单位。一个token可以是单词、标点、数字、符号等),部分模型推理价格降幅超过90%。
近期,多位云厂商高管表示,降价的目的是降低企业客户的试错成本。让各♀行各业加速用大模型开发AI应用。他们预计,2024年下半年以后,AI应〗用会迎来一轮爆发。一种乐观的看法是,目前AI应用的发展阶段类似2012年-2014年移动互联网爆发早期。
目前,营销、客服、知识库、数据报表等领域是大模型第一轮落地的场景,但这并非企业的核心业务场景。多个行业头部企□业的IT部门负责人∮表示,大模型的实际表现暂时未々超出预期。
供给方的云厂商正热火朝天地试图推︼动大模型落地,它们希望大模型尽快产@ 业落地,这并让人不意外。云厂商为算力建设、模型研发投入了巨额成本,它们希望靠大模型带动营收增长。
需求方的大型企业在谨慎观望。多个行业头部企业的IT部门负责人表示,云厂商大幅降◣低推理token价格是好事,但价格不是第一位的因素,关键是要对业务产生价值。落地大模型,首先要算清投入产出比。他们通常会从营销、客服、数据报表等有№成熟案例的业务开始试点,再考虑是否ㄨ将大模型扩散到更多业务。
在供需双方之外,一些创业◢企业、个人开发者也扮演了重要角色。这轮降价对≡他们影响相对较大,他们希望借助大模型开发AI应用服务市场,他们的试错成本很低,一般是用大模型开发轻量级的AI应用。这些应用普遍和文本生成、PPT生成、思维╱导图相关,一些团队已经取得了一定的收入和利润。
大〇模型产业落地并不简单。一些云厂商已经意识到了需求方的顾虑。5月28日,百度集团执行副总裁、百度智能云事业群总裁沈抖在一场公开活动上提到,企业把大模型技术用起来并不容易,厂商要为企业提供专业的技术和』服务。只有技术,没有服务,就落不了地;只有服务,没有技术,就不可能有创→新。
价格并非核心,企业在意回报
大模型的推理算力成本主要受云厂▃商的客户规模、技术能力的影响≡。客户规模越大,推理成本一般会越低。技术方面,提升算力集群利用率、优化模型算法结构,这两种方式也可以降低推理成∏本。
这一轮推理算力▲价格战,百度智能云表现很激进。文心大模型除了部分主力模型降价,旗下共七款模型还宣布免费。能快速跟进价格战,主要原因是百度智能云一年多来在用技术手段降低算力成本。
算力集群由成百上▽千甚至上万张AI芯片连通♀组成,一张卡出现故障甚至会影响整个集群的运作。商业客户需↘要稳定、安全的算力供给。这对算力集ξ 群中AI芯片相互间的通信优化、运维管理提出了很高的要求。百度在用自研的百舸异构计算平台管理万卡集群,降低AI芯片性能损失,提升算力集群工〓作的有效时长。目前百度把AI芯片的有♀效训练时长从去年的95%提升到了超过98.8%。
此外,针对客户对多种AI芯片进行模型训练、推理的需求,百舸提供“一云多芯”的调度能力。英伟▲达的高性能GPU被视为更适合模型训练和推理的AI芯片,但其被禁止进入中国市∮场。去年很长一段时间,国内处于AI芯片荒。为了帮助◣商业客户摆脱对单一芯片的依赖,百舸实︼现了对昆仑芯XPU、昇腾NPU、海光DCU、英伟达GPU、英特尔CPU等国内外主流AI芯片的兼容。在不同芯片的混合训练中,百舸的百卡集群性能损失低于3%,千卡集群性能损失低于5%,处于业内领先水平。
百度还在优化模型算↑法、结构,进而帮客户节省算力成〓本。目前,百度智能云采用模型路由(在不同任务下切换不同模型)的方式为客户组合各种尺寸的AI模型,实现不同业务场景下的按需调用。这可以大幅降低模型部署成本,提升模型推理性能。
其他云厂商降低推理成本的々做法与之大同№小异。这带来的直接好处是,减轻了企业投入大模型的∞负担。降价可以吸引企业客户开始探索大模型,大量的探索也将激发◢创新,找到大模型落地的实践方案。
一位云厂商高管算了一笔账,过去企业做一次大模型应用创新可能要花200万元,这笔预算会很难申请。但推理价格降▓低99%以后,可能只☆需要花2万元。这种试错成本是可以说清楚的。
多位企业的数字╱化负责人也认为,云厂〇商打价格战,对企业落地大模型是好事。但他们同时表示,价格并不是企业落地大模型的第一位因素。因为,推理算力降价暂时并没解决企业核心问题——大模型如何◆带来经济价值。在核心问题被解决前,降价』对企业来说,只是隔靴搔痒。
企业IT支出有自己↙的内在逻辑,任何投→入都要算清投入产出比。一位医疗科技企业CEO直言,企业数智化转型的创新动力有两个,一是竞争压力,二是明确的降本增效回报。
目前,阻碍企业落地大模型的因素至少包括这些:
其一,行业模型偏少,但企⌒业客户普遍需要行业模型。过∏去一年多,国内云厂商主要在提升通用大模型的能力,对场景的钻研普遍还不够深入。通用大模型缺少具体场景的训练数据,并不能解决企业的实际问题。
其二,一些行业场景还没跑出好的实践方案。目前各行各业仍处于大模型落地的探索阶段,很多企业都在√观望。只有看到行业内好的实◆践方案,它们才能下定决心跟进大模型投入。
其三,企业缺少AI人才,对大㊣ 模型认知不足。即使推理算力免费,企业也要为新技术匹配新↙人才,这要付出成本。而且,目前AI人才集中在能够提供高薪的科技公司。一位头部饮品企业的数字化负责人提到,他从2024年1月开始招聘AI人才,至今也没有遇到合适的人。
事实上,这些问题云厂商也有★所意识。一家国内头部云厂商调研了泛科技、传媒、能源电力、制造、化工等行业企业关心∏的问题。其中一些问题非常基础,包括“行业大模型除了知识问答,还能干什么”“哪些应用场景能用到大模型能力”等。
针对客户使用大模型的种种难题,百度智能云近∞期推出了千帆行业增强版——即在千帆大模型平台的标准版上,增强行业▲属性的能力。这可以更好满足不同客户、伙伴的大模型应用开〓发需求。
与市场上其他◣行业大模型不同,千帆行业增强版不是单一的模型,而是整合了应用服务、模型服务、资源服务的大模型应用开发平台。资源服务层面,千帆行业增强︽版可以将客户资源利用率提升50%以上。大模型服务层,千帆行业增强☉版可以让大模型深入企↓业核心业务,解决痛点问题。应用服务层,千帆行业增强版降低客户、伙伴的开发门槛,高效实「现应用开发。
大企业谨慎落地
算力价格战目前对大企业的影响不ΨΨ大。
企业的IT团队或数字化团队是引入大模型々的主要单位。价格并不是他们做决策时的第一考量因素。他们∴首先会梳理各个业务线的痛点,寻找大模型落地的场景,接∞着对市面上开源、闭源的模型进行性能测试。
在选择具体大模型厂商时,他们普遍关注这几个问题——大模型创造的业务价值,是否有行业成功案例,训练部署大模型的算力及数据准▓备要求,全套落地方案及对应的总包价格。
大企业内丰富的业☉务场景,海量的业务数据,是发展大模型应用的温床。因此各行各业中不乏希望借助大模型技术提升竞争力的企业。一些行业头部的民营企业将年度创新预算重点投「入大模型。一些国央企也对落地大模型等新兴技术有硬◇性要求。只是,大企业落地大模型,普遍会采取比较谨※慎的策略。
从大模型投入预算看,目前国央企的预算更充足,落地业务的体量也更大。2024年1月-4月大模型中标项目的综合数据显示,百度中标了7个项目,覆盖6个行业,中标金额总数超过5600万元。每个项目平均预算约800万元。百度的这几个数据在☆主流大模型厂商中均⌒位居前列。
民营企业在创新应用的预算上更加精打细算。一家白酒企业的数字化负责人表示,在快消、零售领域,超过15万元就是大项目。他们的数字化团队找到大模型落地场景后,要先做无成本的前期测试,只有成果ζ显著才能说服老板申请预算。类似情况在民营企业内很普遍,他们一般会从单个场景试点开始∩落地大模型,只有在单点看到价值转化后,才会进一步〖推动其他场景的落地。
大模型落地通过预算环节后,部署环节更复杂。数字化基础薄弱、工程化能力不强,这是摆在很多企业面前的直接问题。
其一,大模型工程落地的重要前提是,企业要完成业务数据梳理。只有将各种格式的业务数据整理ω 成大模型能够读懂的形式,企业才能做契合业务场景的大模★型应用。这种改造本身就门槛很高,甚至需要引入专业的咨询公司,或者是数据治理公司。
其二,打造端到端的大模型应用,也需要大量工程化工作。但很多企业的数字化基础』薄弱,暂时没有能力应付这类复杂工程。以营销领域常见的ζ视频制作为例,不同的模型可以辅助脚本生成、视频生成、配音、配乐,视频制作完成后还要做多平台分○发,这套流程背后是多个模型的联动和多个应用的连通。企业需要端到端的大模型应用,如果只做其中一步价值不大。
这些问题正是沈抖所说的“只有技术,没有服务,就落不了地”。在当下大模型落地探索的阶段,厂商要和企业一起共︾创好的实践方案。有行业大模型和能♀快速响应企业需求的厂商,才能获得客户的青睐。
目前百度↓智能云千帆平台服务的企业客户数量已达到10.5万家,覆盖金融、医疗、教育、政务、文娱、消费、交通、能源、化工等多个行业的客户,在产业落地上处于行业领先地位。
一家出版公司」的管理者表示,出版行业还没有大模型好的实践方案,大模型Ψ技术也还在继续发展。她在选择模型厂商时看重基础模型的迭代能力和厂商的服务能力,现在她正在和百度洽谈大模型落地项目。
经过近一年的产业落地探索,千帆行业增强版发布。它可以让政务、交通、工业、金融等行业客户的大模型工程化落地更便捷。在服务方面,百度智能云还组建了解决方案团队,面向行▆业客户提供大模型的咨询服务和定制化的落地方案。
小企【业激进探索
这轮价格战对小企业、开发者影响相对更大,它们是主要的受益者。
云厂商降低大模型调用价格,对小企业的价值更大。小企业资金有△限,现在它们可以基于原有预算做更多大模型应用的试错和「探索。一种观」点是,云厂商将主力模型调用费用降低或免费后,一些小企业会从开源模型转向优质的闭源模型。因为现在小企业部署开源的模型,价格可能比直接使用闭源模型还要贵。
小企业在探索大模型时一直比大企业更激进、更创新。因为初创企业、开发者团队没有大企业数字化转型的历史包№袱。大企业主要在已有业务场▆景中尝试添加大模型应用,小企业则一开始就直接开发AI原生应用。
目前,小企业偏好研发能够发挥大模型生成式能力的AI应用。如内容生成、PPT生成、思维导【图等。这些产品更注重自然语义的交互方式,区别于过往层ω级制菜单的体验。
这些AI应用的特点是,它比传统的企业SaaS(一种通过互联网提供的软件服务)应用更轻量级、碎片化、原子化。一位云厂商生态销售负责人直言,大模型会让大量中小型独立应用开发商诞生。三人-五人的小团队,也能短时间开发出爆款应用。AI应用、SaaS应用的生态将交错融合,部分场景AI应用更¤易用、更便捷,会逐渐替代SaaS应用。部分场景AI应用长在SaaS软件上,它是SaaS应ω 用的组件,这☆就像微信、支付宝等App上还有小程序。
一位云厂商高管今年5月表示,AI应用的生态繁荣趋势已在硅谷初现端倪。今年3月他在硅谷和创业者、开卐发者交流,感受到了类似◆2012年-2014年中国移动互联网初期热火朝天的气氛。“基座模型很ζ强,两三个人的创业团队很快就能获得营收、获得融资。希望中国市场未来一段时间也能有这种趋势。”
另一位云厂商的创业生态负责人提到,国内已经出现AI App工厂。它们一个月能发布20多款AI App,通过订阅付费的※商业模式,月净利润达到数百万元。
百◥度智能云一位产品运营介绍,很多AI应用已产生了经济效益,其中包括教育领域的︾口语陪练、习题辅导、教案制作;电商领域的AI导购、智能客服;健康领域的智能问诊、智能分诊。百度希望让这个生态更繁荣。她看好能解决痛点问题的AI原生应用,“如果只是痒点,用户用过一次⊙就走了。”
这些中小企业和开发者对大模型的探索也会给大企业」带来灵感。上述百度智能云产品运营还提到,小企业在AI应用的更新迭代快,产品更新的思路能够沉淀为方法论,被厂商吸收提供给其他企业。
AI应用的爆发速度取决于三个因素:算力价格、模型质量、开发难度。为促进AI应用生态繁荣,百度智能云千帆平台的两大AI开发工具,它们都可∑ 以降低应用开发门槛。其中,AI原生应用(APP Builder),面向完全不懂代码的人↙,可以一句话开ㄨ发应用;面向非专业开发者,也可以通过低█代码的方式填写应用功能、插入工具组件生成AI应用。模型定制工具(Model Builder),面向专业开发者和企业,根据不同需求定制相应尺寸的模型,并针对细分场景对模型精调。
这些做】法都在让AI应用的开发△△、使用生态变得更繁荣——目前,百度千帆上开发的AI原生应用达32万个,帮助客户及开发者精调模型1.75万个,生态伙伴超过1万家。
生态繁荣要有很多人能低门槛试错才可能出现。它需要云厂商提供好的平台〖工具,也需要大企业、中小企业、开发者不断相互影响促进↓。
在这种良性生态循环中,大模型的产业落地才会加←速。
文章版权及转载声明

作者:819848本文地址:/x39mrq/post/27001.html发布于 06-01
文章转载或复制请以超链接形式并注明出处政信网