岚图汽车携手硅基流动:构建统一大模型调度管理平台
当 AI 进入企业部门成为日常助手,企业“选模型、用模型、管模型”的挑战开始变得复杂。
在岚图汽车,这个问题随着 AI 应用的深入,变得越来越具体。车主咨询用车问题、寻求售后帮助时,智能客服承担着解答与工单分类的工作;研发人员写代码、补全程序、生成测试用例和构建仿真场景时,大模型也已进入工作流;营销团队用它撰写商品文案、策划活动、生成个性化传播内容,开展用户口碑与数据分析;财务、法务、HR 等部门,也陆续用上了会议纪要生成、合同智能审阅和知识库问答等能力。
随着使用频率和调用规模增长,业务对大模型的依赖也在加深。同时,不同任务对模型在长上下文、延迟、创造力、多模态、工具调用等维度上的能力要求也各有侧重。为此,岚图汽车先后接入了多家供应商的外部大模型 API,各业务线根据需求、预算和实际效果灵活选型,逐渐形成了“多供应商、多模型并存”的格局。

一、从模型接入到治理挑战
初期,这种方式很直接:业务需要什么,就接入什么,不必让所有团队等同一套方案。可当模型调用越来越多地嵌入各个系统,原本方便各自推进的做法,也开始给整体管理出难题。
最先感受到变化的是接入工作。不同供应商的接口、参数和返回格式各有差异,业务系统需要分别适配。接入一个新模型,往往意味着再做一遍开发、联调和适配;想把已有模型换成更合适的,也难免牵动业务代码。模型选择多了,本该更灵活,却可能变成“选择越多,适配越忙”。更重要的是,各业务系统直连外部服务,调用链路分散,统一治理缺少一个可以落脚的地方。
接着浮现的是安全与稳定性问题。外部 API Key 分散在不同系统中,缺乏统一鉴权和权限隔离,密钥泄露与合规风险也随之增加。不同场景对性能和成本的要求并不相同,但没有统一调度,就难以在服务商和模型版本之间灵活切换。某个供应商响应变慢或发生故障,业务端只能受制于这条调用链路;缺少负载均衡、故障降级和差异化限流,服务承诺(SLA)也就难以保障。
而当企业想回头看一看“用得怎么样、花得值不值”,又会遇到另一层困难。调用量分散在各个系统,成本难以归集,预算不便管控;缺少统一日志、异常监控和性能分析,问题定位也变得费力。AI 已经在帮业务提高效率,围绕 AI 的管理,却仍有不少工作需要人工拼凑。
二、构建网关层,统一的模型服务治理中枢
岚图汽车与硅基流动的合作,正是从这里切入。没有要求各业务放弃已有的模型选择,而是在业务系统与外部模型之间,搭建了一层统一的服务网关。通过硅基流动私有化大模型服务网关,全公司的模型调用被纳入统一的大模型调度管理平台:模型可以多样,接入与管理不必各做一套。
这层网关首先把接口差异接了过来。面向外部,它统一接入各类大语言模型服务;面向内部,它提供统一的 API 标准协议,吸收供应商在参数、限流和返回格式上的差异。业务系统不必逐一处理这些不同,新增模型时,也只需在网关侧完成配置,无需修改业务代码。选择模型的自由被保留下来,重复适配的负担则减轻了。
入口统一之后,权限也有了清晰的边界。平台基于 API Key 进行统一鉴权,配合多租户和精细化权限控制,让不同业务只能访问被授权的模型与额度。密钥的发放、回收、续期集中在网关完成,不再散落于各个系统。限流也不再“一把尺子量到底”,而是按业务分别配置 RPM(每分钟请求数)与 TPM(每分钟 Token 数)配额,让访问权限、使用额度和流量边界都有据可查。
在此基础上,流量开始有了更灵活的安排。平台通过权重分流与负载均衡,在不同服务商之间分配请求;某个供应商出现波动或故障时,由 Fallback 自动降级兜底,保持业务连续性。新模型、新版本上线,则先通过灰度发布逐步验证,再切换到全量服务。对使用者来说,理想的升级不是收到一条“请稍后再试”,而是在工作不被打断的情况下,用上更新的能力。
这些调用是否顺畅,也不再只靠使用者的感受来判断。平台统一观测 TTFT(首字延迟)、TPS(每秒输出 Token 数)等指标,汇集调用日志与异常告警,让响应快慢、输出效率和异常情况都有迹可循。审计日志完整记录每一次调用,计量则细化到组织和业务:消耗了多少 Token、调用了多少次模型,都能对应到具体使用方。技术团队有依据排查和优化,财务团队也不必对着分散的用量记录反复“拼图”。

平台落地后的变化,体现在一些很具体的时间差里。过去,接入一个新模型,要经过研发适配、平台联调和安全评审,一周起步;现在,通过网关后台配置,一天就能跑起来。对业务团队而言,这意味着发现合适的模型之后,不必再为接入等待那么久。
模型升级也有了类似的变化。过去,从接口调试到短暂停服、完成升级,前后约需一周;现在,通过灰度发布,一天即可完成切换,服务全程不中断。终端用户甚至不必知道模型已经更换,手上的工作照常进行。技术迭代的成果,不一定要通过一次明显的变化来证明,也可以体现为少一次等待、少一次打断。
与此同时,原本分散的权限管理被收拢到统一入口,密钥生命周期、业务权限隔离和 RPM、TPM 限流都能集中管理,安全审计也有据可查。权重分流、负载均衡、服务降级与灰度发布从缺失变为可用的调度能力,业务不再因为某一家供应商慢了一点,就只能原地等候。
三、多模型时代,企业需要一个“总闸”
岚图汽车的实践回应了多模型应用中的一个现实问题:企业不必在“业务灵活选型”与“平台统一管理”之间二选一。统一接入,让业务面对一套协议;集中权限,让访问和额度有明确边界;智能调度,让流量分配更合理;观测计量,则让每一次调用都能核算、审计,并成为持续优化的依据。网关不替业务决定如何使用 AI,而是让这些选择更容易执行,也更容易管理。
随着车企走向 Agent 时代,大模型能力将进一步贯穿研发、生产、供应、营销和服务的全链路。届时,需要协调的不只是更多模型,还有更多智能体之间的调用与协作:哪些任务交给哪个模型,哪些请求优先保障,成本如何核算到业务单元,都需要统一的管理能力。网关也将从模型入口,进一步演进为多智能体的调度中枢。
通过统一接入、智能路由、精细治理、精确成本核算、全链路观测与企业级数据安全防护,硅基流动帮助岚图汽车建立起驾驭多模型的工程与治理能力。模型可以持续增加,业务可以继续探索,而接入、安全、稳定性和成本不必随之变得难以掌握。让模型“用得好”且“管得住”,最终是为了让业务团队少花时间处理调用背后的复杂,多把精力留给研发、服务和每一项具体工作。
发表回复