Google BigQuery推出ObjectRef数据类型,实现结构化与非结构化数据的统一处理

🎯 情报来源:Cloud Blog

Google Cloud宣布在BigQuery中推出预览版ObjectRef数据类型,旨在解决企业在处理结构化与非结构化数据时面临的数据孤岛问题。ObjectRef通过引用Cloud Storage中的对象(如音频、图像、文档等),实现了在单一SQL查询中同时处理多种数据类型的能力。

核心要点:

  • ObjectRef数据类型允许在BigQuery表中直接引用Cloud Storage中的非结构化数据对象,支持音频、图像、文档等多种格式。
  • 新功能支持通过SQL或Python脚本直接处理非结构化数据,无需额外构建数据管道。
  • Object Tables现在支持每小时100万次的对象变更,单表可处理超过3亿个对象。
  • BigQuery ML生成式AI功能现支持ObjectRef,可直接用于Gemini模型的多模态推理和嵌入生成。
  • Python UDF集成允许用户在BigQuery中使用开源Python库处理非结构化数据。

📌 情报分析

技术价值:极高

ObjectRef通过统一的数据访问控制和处理框架,显著简化了多模态数据处理流程,技术实现上具有创新性。

商业价值:高

该功能直接针对企业数据处理的痛点,预计将显著降低数据工程复杂度,提升AI项目实施效率。

趋势预测:

未来3-6个月内,预计更多企业将采用该技术构建统一的数据分析平台,推动多模态AI应用的快速发展。

原文连接

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
有新私信 私信列表
搜索