存算分离为何成为云原生架构的标配
传统存算一体架构下,计算和存储紧密耦合,存在三大痛点:资源利用率低——计算和存储必须固定配比,一方空闲时另一方也无法释放;扩缩容笨重——扩容往往伴随数据重平衡,耗时以小时计;成本居高不下——多副本存储导致磁盘空间利用率通常不足50%。
存算分离将计算与存储解耦,各自独立扩展,正是解决上述问题的根本方案。阿里云作为国内最早规模化实践存算分离的云厂商,已将这一架构贯穿到从底层存储到上层计算引擎的每一条产品线。
阿里云OSS:存算分离的统一存储底座
阿里云OSS对象存储是所有存算分离产品的核心底座。OSS提供99.9999999999%(12个9)的数据可靠性,支持与平台无关的RESTful API,天然适合作为共享存储层。
OSS在存算分离架构中的关键能力包括:
- EC纠删码:替代三副本机制,磁盘利用率从33%提升至90%以上
- 冷热分层:自动将冷数据迁移至低成本存储介质,进一步优化存储支出
- 无限容量:存储容量无上限,计算集群可直读OSS,无需关心存储水位
基于OSS,阿里云推出了OSS-HDFS服务(JindoFS),兼容HDFS协议和语义,让Hadoop生态应用无缝迁移到存算分离架构。
AnalyticDB MySQL:Serverless 存储层的存算分离实践
云原生数据仓库 AnalyticDB MySQL 版采用计算存储分离架构,通过云原生技术实现了存储资源池化。其核心设计亮点在于分层存算分离:
- 在线分析层(EIU):存算一体模式,满足毫秒级交互式查询
- 离线分析层:彻底存算分离,数据持久化到OSS,计算资源按需弹性
- 统一多级缓存:本地内存 + 本地SSD + 远程全局分布式缓存三级加速
这种设计让企业一份数据同时满足在线高并发和离线大批量分析需求。存储与计算可独立弹性伸缩,扩缩容无需数据搬迁,仅通过元数据操作即可分钟级完成。
EMR StarRocks:从存算一体到存算分离的演进
StarRocks 从 3.0 版本开始支持存算分离架构。在阿里云 EMR Serverless StarRocks 中,BE 节点升级为无状态的 CN(计算节点),数据持久化存储迁移至 OSS,本地磁盘仅作为热数据缓存。
核心收益:
- 秒级扩缩容:计算节点可动态增删,无需数据重平衡
- 缓存命中即一体性能:开启本地缓存后,查询性能与存算一体几乎持平
- 存储成本直降:利用 OSS 的低成本存储,无需维护多副本
实际测试表明,存算分离+本地缓存方案的查询性能仅比存算一体低约27%,但存储成本降低60%以上。对于OLAP多维分析和数据仓库场景,这是极具性价比的选择。
Flink 2.0 状态存算分离:解决大状态作业的痛点
流计算中状态管理一直是难点。Flink 2.0 提出了彻底的存算分离方案——以远端存储(DFS)为主存储,本地磁盘为可选缓存。
阿里云内部的状态存储引擎 Gemini 在此基础上实现了多项突破:
- 状态懒加载:作业恢复时无需加载全部数据,仅加载元数据即可半速运行
- 异步剪裁:文件合并剪裁异步执行,恢复时间从200秒降至20秒
- 混合式Cache:内存+本地磁盘组成统一LRU缓存,冷数据自动刷到磁盘
测试数据显示,批量异步I/O设计使大状态场景下TPS提升显著。这套方案已通过阿里内部双十一大促验证,覆盖从几百MB到上百TB的状态规模。
AI Stack FlowKV:大模型推理的存算分离创新
阿里云 AI Stack 一体机提出了 P/D 分离式推理架构 FlowKV,将预填充和解码两阶段解耦:
- KV Cache高速传输:通过改进缓存结构和分段内存管理,传输延迟降低96%
- 负载感知调度:全局控制器实时监控节点负载,动态调整任务分配
- 异构设备支持:解码任务分配至高内存带宽设备,端到端延迟降低48.9%
这一创新解决了大模型推理中预填充与解码阶段资源争抢的问题,让 GPU 利用率大幅提升。FlowKV 已适配 NVIDIA H20 等主流加速卡,在多机异构环境下验证了12.6倍的传输加速效果。
存算分离的最佳实践:以波司登为例
波司登集团采用阿里云 SelectDB 存算分离架构升级大数据平台后,查询性能提升2-5倍,总体成本降低30%以上。其核心做法是:将冷数据存放在OSS、计算资源按业务峰谷弹性伸缩,在销售旺季自动扩容、淡季缩容,实现资源与成本的最优匹配。
总结与选型建议
阿里云存算分离技术架构已经覆盖了从数据湖、数据仓库、流计算到AI推理的全场景。选择存算分离架构时,企业应关注以下维度:
- 存储底座:OSS 作为统一存储,确保数据不锁定
- 缓存机制:本地缓存决定了存算分离的性能上限
- 弹性能力:计算节点能否秒级扩缩容,直接影响运维效率
- 网络开销:存算分离后网络成为瓶颈,RDMA等加速技术至关重要
- 生态兼容:是否支持 HDFS、Spark、Presto 等开源生态
存算分离已不是"要不要做"的问题,而是"怎么做"的问题。阿里云从基础设施到上层引擎的全栈实践,为企业的云原生架构演进提供了可复用的参考路径。