招行AI实践揭示大模型真实成本
一是大型软件架构至关重要,但当前大模型在架构设计上能力不足,成为显著短板;
二是即便大模型生成的代码功能无误、准确率较高,仍会累积不同程度的‘技术债’。技术债是软件工程术语,涵盖结构混乱、性能瓶颈、安全漏洞等问题,目前尚未被彻底解决。
招行的Token消耗主要来自业务部门。截至5月底,日均Token消耗已达330亿,源于各业务单元在经营管理中对大模型的使用。
关于Token预算管控。去年招行提出‘AI优先’战略,推动全行范围的大模型落地。
但作为超十万人的大型机构,全面推广易导致投入繁杂而业务成果有限。因此,亟需构建科学的Token成本与收益核算机制。
3. 成本与收益评估体系
成本主要来自两方面:一是研发人力投入,涵盖科技团队与总行业务部门;二是Token使用成本。
收益方面,招行构建了六维评估体系,其中银行端四项、客户端两项,形成较完整的评估框架。目前大模型项目的成本收益比约为1:5,即每投入20元可创造约100元价值。
成本端已实现精细化计量,数据基础扎实。
但收益评估更复杂,因银行价值链本身高度多元。今年以来,招行持续优化收益测算模型与数据逻辑。