招商银行大模型落地的成本效益与实践挑战

首先，企业级应用的架构设计至关重要，然而大模型在软件架构层面的能力存在明显短板，这是一项需要重点关注的不足；

其次，即便大模型编写的代码功能正常、准确率较高，仍然会形成各种形式的“技术负债”。技术负债是软件开发领域的专业概念，涵盖了代码可读性差、系统性能下降、安全隐患等多方面问题，这些挑战尚未被大模型编程完全攻克。

招行的Token消耗主要来自业务部门。截至5月底的最新统计数据显示，日均Token消耗量已攀升至330亿，这些均来自业务单位在日常经营管理与服务中实际运用大模型所产生的消耗。

关于Token使用的预算管理。去年招行确立了AI优先发展战略，全面推进大模型在各业务领域的应用落地。

然而，作为一家超过十万员工的巨型金融机构，全面推广过程中容易出现投入大量资源却业务成效不理想的困境。因此，构建完善的Token成本效益核算体系势在必行。

3. 关于成本效益评估机制

成本投入主要涵盖两大方面：一是研发人员投入，涵盖科技条线及总行业务部门；二是Token使用成本。

在收益维度，招行构建了六个维度的评估体系，其中银行视角占据四个维度，客户视角涵盖两个维度，形成了相对完善的评估框架。目前招行大模型领域的成本收入比约为20%，即投入20元可产生100元收益。

成本核算能够做到较为精确，已建立精细化的评估体系，数据质量也相对较好。

但收益评估更为复杂，因为银行价值链条本身错综复杂，今年以来招行进一步深化对收益评估方法、数据来源等方面的审视