Databricks 数据智能平台
summary
由 Apache Spark 的学术创始团队创立，Databricks 提出了 "Lakehouse" 概念——将数据湖的灵活性和数据仓库的可靠性合二为一，正与 Snowflake 展开百亿美元级别的数据平台之战。
read_when
- 研究现代数据架构：Lakehouse vs Data Warehouse vs Data Lake
- 分析 Spark 生态系统和大规模数据处理技术
- 评估 Databricks vs Snowflake 的竞争策略差异
- 了解 MLOps 和统一分析平台的实现方式
- 研究开源商业化的成功案例
历史时间线
- 2009-2013: Matei Zaharia 在 UC Berkeley AMPLab 创建 Apache Spark 项目
- 2013: Databricks 正式成立，创始团队包括 Spark 的 6 位核心贡献者
- 2016: 推出 Databricks Unified Analytics Platform，基于 Spark 的托管服务
- 2019: 发布 Delta Lake——为数据湖带来 ACID 事务和 Schema 管理
- 2021: 提出 "Lakehouse" 架构概念，发布 Delta Lake 2.0
- 2022: 收购 MLOps 公司 MosaicML（$13 亿），强化 AI 训练能力
- 2023: DBRX 开源大模型发布，性能媲美 Llama 2
- 2024: IPO 传闻不断，估值约 $430 亿，成为最大未上市科技公司之一
- 2025: Unity Catalog 成为行业事实标准，统一数据和 AI 治理
商业模式
基于消费量的 DBU（Databricks Unit）计费模式。平台按计算资源消耗收费，存储与计算解耦（客户自行选择 AWS S3/ADLS/GCS）。核心产品层：数据工程（Spark）、数据分析（SQL Warehouse）、AI/ML（MLflow + MosaicML）、数据治理（Unity Catalog）。客户从小型团队按量使用到企业级年度合同。
护城河分析
- Apache Spark 源头优势: 创始团队就是 Spark 的发明者，对底层代码的理解无人能及
- 开源战略: Delta Lake、MLflow 等核心组件开源，建立开发者生态和社区粘性
- Lakehouse 先发: 最早将 "湖仓一体" 概念产品化，定义了这个新品类
- AI 原生集成: 从数据处理到模型训练的一体化平台，无需切换工具
- 多云平台: 原生支持 AWS、Azure、GCP，客户无云锁定风险
关键数据
- 最新年度 ARR: ~$20 亿+（估算，未上市）
- 最新融资轮估值: ~$430 亿
- 客户: 10,000+ 企业客户（含 60%+ 的 Fortune 500）
- 日处理数据量: EB 级别（全球最大数据处理平台之一）
- 员工: ~7,000 人
有趣事实
- Databricks 这个名字融合了 "Data"（数据）和 "Innsbruck"（因斯布鲁克，奥地利城市）——因为创始人团队中有几位来自这个城市，而 Spark 项目正是在这里的一次开发者聚会上被讨论命名的。
- Matei Zaharia 在 25 岁时就发明了 Apache Spark——这个项目后来成为大数据处理的事实标准，全球超过百万开发者使用。