AI驱动下的大数据平台进化之路
导读随着人工智能技术的迅猛发展，数据规模与处理复杂度持续攀升，传统数据仓库正遭遇前所未有的挑战。如何构建一个能统一管理多模态数据、高效支持AI全流程开发的计算平台，已成为行业焦点。本次分享中，阿里云智能集团产品专家刘洋深入剖析了MaxCompute在Data+AI方向的核心演进与产品能力，涵盖多模态数据存储、基于Python的分布式计算框架MaxFrame、SQL AI函数，以及在模型训练、自动驾驶、具身智能等典型场景的落地实践，全面展现MaxCompute作为云原生数据仓库，如何通过技术与产品深度融合，加速AI数据资产的构建与应用落地。
1.MaxCompute Data + AI重点能力
2.MaxCompute 存储管理 For AI
3.MaxCompute 计算引擎 For AI
4.MaxCompute Data + AI 重点场景及案例
分享嘉宾｜刘洋 阿里云智能集团产品专家
出品社区｜DataFun
🚀AI Agent 时代来了，你的数据平台准备好了吗？
💥大数据平台到底怎么了？ — 传统架构在AI时代面临的真正困境
💥Agentic AI为何是破局关键？ ——从被动分析到主动决策的范式转变
💥实例场景 · 真实落地—阿里云、Grab、小红书、Vertica的一线实践
💥市场格局与平台选型——湖仓一体、算存分离、数据+AI方案横向对比
📥扫码免费获取电子书：
01
MaxCompute作为阿里云核心的大数据计算平台，在AI时代正围绕计算与存储两大方向深度演进。其技术架构自底向上分为数据层、模型层、计算层与引擎层。
在数据层，MaxCompute不仅管理自身存储的结构化与非结构化数据，还通过BLOB字段支持音频、视频等多模态数据的统一存储，并借助Object Table与外部存储访问能力，打通OSS、Hologres等存储引擎。
在模型层，MaxCompute托管XGBoost、LightGBM等传统模型，以及千问、DeepSeek等开源大模型，并支持调用百炼平台的商业模型，实现统一模型服务管理。
在计算层，MaxCompute提供CPU与GPU混合算力调度，用户可通过声明式方式灵活指定资源，满足多模态数据对异构算力的高要求。
在引擎层，MaxCompute提供两类核心接口：一是SQL引擎，通过SQL AI函数直接调用大模型进行离线推理；二是MaxFrame，原生Python分布式计算框架，满足数据科学家与AI工程师对灵活性与复杂度的需求。
MaxCompute在存储方面经历了从数据联邦、湖仓一体到AI导向的多模态管理演进，当前核心聚焦于多模态数据的统一存储与管理。
MaxCompute构建了完整的“湖仓多模态统一管理”架构，支持在内表（BLOB类型）与外部存储（如OSS）中统一存放图片、视频、音频等数据。通过统一元数据服务（Max Meta）与Storage API，用户无需移动数据即可跨引擎访问与管理元数据。
MaxCompute支持单表内多模态数据混存。例如，可将音视频图文及其元数据、Prompt统一存于同一张表，数据类型涵盖BLOB、JSON等，显著降低AI推理与多模态AIGC应用的数据组织复杂度。
🚀AI Agent 时代来了，你的数据平台准备好了吗？
💥大数据平台到底怎么了？ — 传统架构在AI时代面临的真正困境
💥Agentic AI为何是破局关键？ ——从被动分析到主动决策的范式转变
💥实例场景 · 真实落地—阿里云、Grab、小红书、Vertica的一线实践
💥市场格局与平台选型——湖仓一体、算存分离、数据+AI方案横向对比
📥扫码免费获取电子书：
MaxCompute的计算引擎围绕模型管理、AI函数与异构计算展开。
用户可通过模型管理功能统一查看、上传与管理平台上的各类模型。
MaxFrame具备三大核心优势：
异构算力混合调度：支持同一作业中灵活组合CPU（CU）与GPU（GU）资源。
分布式数据处理算子：兼容Pandas、XGBoost、LightGBM等开源库，作业自动分布式执行，突破本地资源限制。
稳定便捷的开发体验：深度集成DataWorks，提供交互式开发与调度；支持自定义镜像、OSS挂载与AI助手，提升开发效率。
MaxFrame主要应用于多模态数据处理（如自动驾驶中的视频切帧、图像标注）和大模型离线推理（如文本翻译、数据打标、Embedding）。
本地开发：支持通过pip install maxframe在VS Code、Jupyter Notebook中直接使用。
DataWorks Notebook：深度集成，支持Magic Command快速启停MaxFrame Session。
DataWorks数据开发：通过PyODPS3节点开发MaxFrame作业。
MaxCompute Notebook：内置MaxFrame SDK，支持交互式开发。
🚀AI Agent 时代来了，你的数据平台准备好了吗？
💥大数据平台到底怎么了？ — 传统架构在AI时代面临的真正困境
💥Agentic AI为何是破局关键？ ——从被动分析到主动决策的范式转变
💥实例场景 · 真实落地—阿里云、Grab、小红书、Vertica的一线实践
💥市场格局与平台选型——湖仓一体、算存分离、数据+AI方案横向对比
📥扫码免费获取电子书：
MaxCompute Data + AI能力已在多个行业落地，覆盖大模型、自动驾驶、金融科技等领域。
某头部大模型企业，在构建企业级数据处理流程时，面临PB级数据存储、超10万核弹性资源、数据安全与权限管控、Pipeline编排等挑战。基于MaxFrame，其构建了完整数据预处理Pipeline，MinHash算子性能提升超50%，单任务稳定运行300万核时，弹性资源达16万核，远超预期，大幅缩短PB级数据处理周期。
整体架构基于MaxCompute + DataWorks构建：任务开发在DataWorks Notebook完成，经Pipeline编排后自动调度至MaxCompute，由其提供弹性调度与分布式处理能力，处理结果统一存入内表，下游通过DataWorks数据地图查询分发。
在汽车具身智能场景中，车端持续生成海量多模态数据（图像、音视频、雷达、GPS等），通常以ROS bag格式存储。某客户面临开发环境复杂、资源调度僵化、数据处理压力大、管理成本高等难题。
基于MaxFrame，客户构建了端到端的具身智能数据处理流程。其弹性算力有效应对业务波动，分布式处理相较传统单机方案效率提升超40%。
MaxCompute通过Object Table实现多模态数据统一管理，支持直接查询文件路径、大小、更新时间等元信息。MaxFrame内置MinHash等常用算子，支持用户通过自定义镜像（如yolo11n）管理模型与依赖，并灵活设置并发度，显著提升作业效率。
某头部大模型公司：面对海量文本预处理挑战，初期采用自建方案，存在资源管理难、开发效率低、性能瓶颈等问题。借助MaxCompute与MaxFrame，实现FastText分类、MinHash去重等操作，全流程在DataWorks中调度并构建CI/CD体系，无缝对接云下代码仓库。
汽车自动驾驶与具身智能：数据采集不固定，