AI 要落地,先得有干净、可查、可治理的数据。近一个月,AWS、Databricks、Oracle 不约而同把"湖仓一体 + 向量 + Agent"打包成"AI-Ready"数据平台。这正是 AI 大数据工程师认证要回应的产业现实。

过去谈大数据,重点是"算得快、存得多";现在企业更关心"数据能不能直接喂给模型、能不能追溯、能不能治理"。

这个月三家公司的动作,正好串起数据工程的新基线——我们可以顺着一条线看:先是谁把"存和算"做得更便宜、更开放,再是数据怎么直接喂给模型去查,最后看有人如何把整条链路收进一个平台。

先看第一步:底座要更便宜、更开放。

这一环上,动作最大的是 AWS。

AWS Glue 6.0:降价三成,全面拥抱 Iceberg v3

2026 年 8 月 24 日,AWS 正式发布 Glue 6.0——一套无服务器数据集成服务,底层升级到 Apache Spark 4.1、Python 3.13,并完整支持 Apache Iceberg v3(湖仓开放表格式,支持时间旅行与模式演化)。

值得注意的是,新版本价格较上代下调约 30%,直接回应企业"既要性能又要成本可控"的诉求。

文章配图(来源:Pexels)图片来源:Pexels

便宜和开放只是地基。

企业紧接着要问的是:这些数据怎么直接喂给大模型?

这就引出第二步——让数据"可被模型查询"。

在这一环上,Databricks 走在了前面。

Databricks:AI Search 让数据直接支撑 RAG

Databricks 在 2026 年把 AI Search 推向可用,允许把向量嵌入存进 Unity Catalog,直接支撑检索增强生成(RAG)与企业 Agent。

对数据工程师来说,意味着"建好湖仓"之后,下一步就是"让模型能查得到、查得准"。

文章配图(来源:Pexels)图片来源:Pexels

如果说前两步是"把数据准备好、让模型查得到",那 Oracle 想再往前走一步:把"查数据—建模型—管模型"整条链路收进一个平台,而且不强加技术锁定。

这是这条主线的第三站。

Oracle AI Data Platform:从数据到 Agent 一体

Oracle 推出 AI Data Platform,强调以开放格式(Iceberg / Delta Lake)直存对象存储,打通 Spark、Flink 与任意兼容引擎,并提供从数据准备、特征工程到模型发布的完整 MLOps 与"数据科学 Agent"。

其卖点是"不锁定、不改写"。

三家的动作指向同一结论:未来的大数据工程师,不仅要会 SQL / Hive / Flink,还要懂得把数据治理成"模型可用"的状态。

IAIA 的 AI 大数据工程师认证,正是按这条主线设计课程。

来源:AWS Glue 6.0 发布信息有 AWS 官方博客与新闻室