HCS 版本差异与大数据能力分析

核心结论

HCS的演进重点由混合云资源与服务统一管理，逐步扩展到实时数据湖、数据治理、可信流通及Data+AI协同。8.3是本地大模型与数据流通的重要发布节点，8.5强化平台升级、安全和行业落地，8.6进一步强调数据工程、模型工程及运维自动化。371114

大数据项目选型必须落实到“平台版本＋服务版本＋组件版本＋补丁＋部署形态”。仅凭HCS 8.3或8.5不能判断Spark、Flink、DWS内核、湖格式、跨AZ或OceanProtect备份是否可用。

对已有数据平台，升级收益应通过业务完成时间、数据新鲜度、查询尾延迟和故障恢复验证。平台升级成功只是基础；作业语义、流状态、元数据权限和恢复链路仍需单独验收。

阅读顺序

第1至3章解释编号、版本目录和平台差异；第4至8章深入比较大数据能力；第9章分析数据保护与OP；第10章给出升级方法和验收要求；附录提供证据边界、现场采集表及来源。

证据标记：A为HCS正式使用文档；B为官方发布或版本彩页；C为官方目录、相关产品或社区技术参考；“分析”表示基于事实形成的工程判断。公有云资料均单独标注，不能直接作为HCS配套承诺。

1.1 HCS 与其他产品的关系

HCS是部署在客户数据中心的云平台方案。华为公有云是另一交付环境；两者可能采用同源服务，但功能、发布时间、运维权限和备份接入方式不能直接互推。RDS是数据库服务，MRS是大数据集群服务，DWS是分析型数据仓库；ManageOne承担云管理，OceanProtect是独立的数据保护产品。11234

1.2 怎样判定一项特性是否可用

需要同时满足目标版本配套、部署前提、硬件及操作系统兼容、授权与资源齐备、业务使用限制可接受。服务出现在彩页中，仅说明该方案提供相应能力；现场是否安装、是否启用、是否处于受限商用阶段需逐项确认。

例如，官方MRS组件表中Manager采用8.x编号，但集群采用3.x编号；不能把“Manager 8.6.0”直接等同于“HCS 8.6.0”。19

1.3 本报告的比较边界

覆盖可交叉核实的6.5.x及8.0至8.6主线；不将全部SPC、热补丁、定制分支视为已穷尽。时间以明确发布信息为依据，不把地区发布日当作全球首次商用日，也不将文档修订日期当作软件发布日期。

2.1 已核实的版本编号

以下15个三段式版本在华为云历史接口索引中有明确列项。索引属于目录级证据，后续版本另有正式文档交叉印证；它不能单独证明每个版本的全部功能和发布日。2

未把8.4补入主线：上述公开索引和本次核查的正式发布材料未形成其证据链。个别服务API中出现25.0.0，也不足以证明HCS平台已统一改用该编号。232

2.2 发布节奏与能力重点

“能力重点”反映当时官方发布方向，不表示所有相关能力在该版本首次出现。3456781014

3.1 从 6.5、8.0 到 8.1

6.5.0和6.5.1属于需持续考虑互联与迁移的历史版本。ENS正式资料将6.5.x区域与8.3.x及以后区域互联列为应用场景，说明现实项目可能长期存在混合版本区域；这不代表旧区域可直接获得新区域的全部服务。39

8.0在华为2019年年报中强调混合云的管理、服务生态和资源统一。8.1发布信息明确加入AI推理、大数据治理和云桌面等服务，云服务目录进一步扩展。34

分析这一阶段的比较应关注“业务是否已被服务化管理”。在虚拟机里自行安装Hadoop，与通过MRS服务创建并管理集群，对租户隔离、监控、扩容、升级和责任分工的要求不同。不能仅凭都运行在HCS上就视为同一架构。

小版本边界：已确认8.0.1、8.0.2、8.0.3及8.1.0、8.1.1编号；对于具体小版本首次引入哪一项大数据特性，应以对应版本说明为准，不能按编号推断。

3.2 从 8.1 到 8.2

8.2的公开发布重点为可信云原生底座和行业深度用云，涉及同城双活、跨区域高可用、多样算力和安全能力；同期技术文章介绍“1+7”安全体系。数据层明确把GaussDB、MRS和DWS作为不同定位的产品：交易处理、实时数据湖和企业级数仓。56

分析对大数据项目，8.2的意义不应简化为“开始支持大数据”。更应检查数据接入、实时加工、数仓分析和统一治理能否形成闭环，资源管理是否能覆盖实际的大数据部署形态。

官方知识地图列有8.2.0的MRS技术白皮书、DWS技术建议书及DataArts设计安装资料，能够证明这些能力在该基线已有专门资料体系；目录不能代替内容级特性证明。16

3.3 旧版本环境的实际评估重点

先采集集群、组件和应用版本，再判断升级方式。对于稳定的离线批处理环境，重点测量批窗口、数据一致性和运维支持期限；对于流处理环境，必须额外核对连接器、状态恢复、历史回放及消费位点。停止销售和停止支持应查相应交付产品的生命周期，不能套用公有云公告。

3.4 8.3 系列

8.3在2023年发布时重点增强本地大模型全流程、工业互联网、可信数据流通及CodeArts。数据流通方向涉及数据与AI融合、区块链、隐私计算和交换数据空间。2024年地区发布进一步强调数据库、融合数据湖及大模型等能力。78

8.3.1彩页将MRS、DWS、DataArts Studio、DataArts Insight、GES和LakeSearch纳入数据服务组合，并展示数据湖与ModelArts协同。官方知识地图另列8.3.1 LakeFormation专用资料。因此LakeFormation不能简单说成8.5以后才有。916

8.3.0与8.3.1可核实的一项平台差异是SFS API：前者增加共享网络、AZ、数据保护和标签相关接口，后者增加批量共享访问规则操作。该变化会影响自动化接入，但不能当作MRS或DWS引擎变更证据。30

分析8.3系列的数据平台开始需要更完整的数据消费与流通设计。除了表和作业，还应管理文档、业务术语、共享权限和模型使用的数据集。对已有8.2平台，是否升级应落实到实际需要的服务组合及兼容性，不宜仅为彩页中的服务数量。

3.5 8.5 系列

8.5公开材料强调云操作系统原地平滑升级、防勒索、核心系统上云及大模型混合云，数据侧提及GaussDB的HTAP、压缩和兼容性增强。这里的GaussDB不应自动解释成DWS。1011

8.5.1中文彩页将数据算力和AI算力列为不同场景，包含MRS、DWS、DataArts Studio、LakeFormation、TICS及数据可视化能力；英文彩页另列Doris。中英文、地区和交付包的目录可能不同，必须按项目清单确认。1213

8.5.1的具体行为变化包括ECS热迁移限速默认关闭，此前默认开启；容灾API新增继续执行服务实例接口。对大数据虚拟化部署，应在批处理或流作业高峰评估迁移对性能、暂停时间及超时的影响。3132

分析8.5的工程重点是把数据与AI能力运行稳、维护好。云OS平滑升级不能直接解释为所有MRS组件、数据库和业务程序均可无中断升级；不同层仍有不同的变更与恢复要求。

3.6 8.6 系列

8.6发布材料把升级归纳为云底座、Data+AI、应用现代化和运维。具体涉及CloudMatrix 384适配、更大的容器部署规模、同城双AZ高可用、数据工程、模型工程以及故障自愈和一键容灾。发布稿给出的单区域5万Pod及秒级RPO、分钟级RTO，均需结合其方案条件理解。14

分析这些变化对大数据的主要影响是共享算力、数据供给和运行保障。容器规模不是MRS集群节点上限；平台高可用指标也不能直接承诺给某条Kafka至Flink至DWS业务链路。端到端指标取决于每一段的复制、状态和切换机制。

3.7 8.6.0 和 8.6.1的服务级证据

以上是文档所证明的配套实例，不是完整且排他的配套矩阵。不能据此推断所有8.6.1环境必须使用相同MRS版本。1720212223

3.8 大数据之外还应比较什么

4.1 各服务承担什么任务

服务定位依据HCS服务文档与方案资料。91720212223

4.2 跨版本的大数据重点矩阵

此表概括发布重点和评估方向，不能将左侧解释成“不支持”右侧能力。对小版本新增与删除，应逐项补充正式特性清单。4567891011121314

4.3 架构层面的实质差异

分析离线数仓主要关注批量吞吐和口径一致；实时湖仓还要处理更新、删除、乱序、重放和消费位点；面向AI的数据平台进一步需要管理非结构化内容、数据集版本及使用权限。三者对存储、元数据和恢复的要求逐步增加，因此不能以单项SQL跑得更快代替整体能力比较。

5.1 已知配套和参考组件演进

HCS 8.5.1的GES文档引用MRS 3.5.1-LTS；HCS 8.6.0的MRS文档为3.6.0-LTS。这提供服务升级的具体证据，但组件明细仍应按对应交付包核对。1720

下表来自华为公有云MRS组件表，仅用于识别组件变化及迁移风险。它不是HCS配套表；尤其不能把表中的MRS 3.5.0替代现场3.5.1。19

列标题均指对应LTS.x系列；Hudi为集成组件。“未列”仅反映所引表格，不代表所有交付形态都不可用。相同上游版本也可能包含不同厂商增强和补丁。

5.2 变化意味着什么

分析Spark、Flink、Hudi和交互查询引擎并非同步跨代。一次MRS升级可能同时触及SQL执行、长运行流状态、表格式和连接器。Hive版本看似不变，也不能免除客户端、元数据和权限回归。

因此应分别管理四类兼容性：程序能否加载、输入输出语义是否一致、旧状态和旧表能否继续使用、旧版本是否能读回新写数据。只有第一项通过，不能认定业务升级完成。

5.3 Spark与离线加工

Spark官方迁移指南列出跨小版本SQL行为变化。例如3.5.2对MySQL JDBC的TINYINT UNSIGNED映射作出修正；3.5.4对部分访问权限和缺块异常的处理发生变化。升级可能使原来“能跑”的作业出现不同类型或更早失败，必须检查实际厂商增强包行为。35

分析回归应覆盖金额精度、日期时区、空值、异常数据、去重及分区写入。对于JDBC抽取，比较字段类型及边界值；对于文件加工，比较记录数、分区数、重复主键和错误日志。不能只比较运行时间。

5.4 Flink与实时计算

Flink的版本迁移通常依赖Savepoint；状态格式兼容与整个SQL作业兼容不是同一回事。算子UID、状态序列化和可访问的状态文件是关键。官方1.20文档说明，不恰当地跳过未恢复状态可能破坏结果正确性。3637

分析验收至少包含从旧状态启动、新增字段、乱序和迟到事件、维表变化、故障后重放及下游重复写。应明确迁移期间的源位点、暂停时刻和下游幂等策略。若结果只在历史回放时错误，日常健康检查可能无法发现。

5.5 湖格式和多引擎读写

分析Hudi版本变化应按“写入器、读取器、表属性、提交历史、索引、清理与压缩任务”联合验证。一个引擎能读取新表，不代表其他旧引擎、备份恢复工具和增量消费程序都能识别相同时间线。

对HetuEngine、DWS外表和BI同时访问的数据集，应选择同一个业务时间窗口，核对总量、更新后的主键结果和删除可见性。要区分元数据同步延迟与实际数据缺失，避免盲目重复全量导数。

5.6 资源与接入自动化

MRS 3.6.0-LTS API修订记录新增对创建失败集群执行放弃和重试操作，并更新AK/SK认证说明。自动化部署工具需识别新增流程和鉴权要求；不能把API变化误判为Spark或Flink新特性。18

5.7 存算分离的收益与代价

分析HDFS存算一体更依赖数据节点本地性；OBS存算分离允许更独立地规划数据保留与计算扩展，但需要评估对象访问、缓存、网络和权限。是否降低成本取决于数据冷热、峰值扫描量和重复读取，而非架构名称。

5.8 多AZ不是所有组件统一支持

MRS 3.6.0-LTS正式文档的单集群跨AZ方案要求网络时延在2ms以内，Yarn仅支持Superior调度器；部署Doris或MemArtsStore的集群不支持该跨AZ高可用配置。文档还注明组件配置存算分离后不支持该主备集群容灾方案。17

分析选型必须同时确定引擎组合、存储形态和灾备方式。若既要求某组件又要求该跨AZ方案，应先验证二者是否可组合，不能分别看到“支持”后拼成一个未经支持的方案。

5.9 规模数字与滚动升级

同一份MRS产品文档给出的系统最大节点数为30000；较新的8.6.1方案彩页宣传6万节点规模。两者不能直接视为同一配置基线。1715

分析项目容量应以目标版本、部署形态、硬件及正式规格为准。滚动升级还要逐组件判断重试和中断窗口：能够滚动维护，并不保证每个客户端请求都无失败。对流处理应验证积压恢复，对离线批处理应验证批窗口未被延迟，对交互查询应验证尾延迟和重连行为。

6.1 先把DWS内核与HCS分开

DWS使用四段式集群版本号，例如9.1.0.215；官方解释前三段描述版本层次，末段为补丁。它与HCS 8.5.1属于不同编号体系。DWS 8.3.0也不等于HCS 8.3.0。24

下表比较DWS服务自身的演进，用于理解能力差异。除非获得HCS配套表，不能将这些版本逐行绑定到某个HCS平台版本。

事实依据为DWS正式版本说明；这些是公有云DWS文档，HCS落地需核实交付范围。25262728

6.2 为什么数仓版本会改变架构

分析从固定的数仓节点扩展到存算分离和计算组，容量、并发及隔离可以分别规划，但存储、缓存和计算组之间也产生新的依赖。原有只按节点数估算成本和性能的方法不足以描述新架构。

选型应先确定工作负载：每日集中ETL、持续CDC更新、报表查询、多团队自助分析，还是湖上跨源查询。不同负载需要不同的隔离、表类型、索引和刷新策略，不能只采用一个综合性能指标。

6.3 湖仓访问和实时分析

DWS 9.0.x正式说明记录了通过External Schema对接Hive MetaStore，以及Parquet和ORC读写等能力。其OBS存算分离表的备份恢复有专门限制，不能用普通表经验直接覆盖。26

分析外表减少一部分复制，但也会把查询时的数据源网络、元数据和权限变成运行依赖。高峰时全量跨源扫描可能冲击生产源，应核对谓词下推、统计信息、缓存、并发限制和故障隔离。

DWS 9.1.1.100的行列混存基于Hstore_opt；9.1.1.300进一步增强物化视图的全量、增量及基于Binlog的流式自动刷新，并增强统一存储引擎。是否可用于现场HCS需另行确认。28

分析实时指标平台应测试持续更新期间的报表时效与一致性，而非仅比较静态数据查询。物化视图能否按期刷新、依赖变更是否触发重建、故障后能否追平，都会影响实际使用体验。

6.4 迁移时最容易遗漏的行为变化

DWS 9.1.0版本说明列有关键字和维护操作变化，并注明OBS存算分离表不支持容灾、只支持全量备份恢复；“status”作为别名的使用等也有兼容性说明。适用范围须按照具体表类型和版本检查。27

分析迁移验收应纳入DDL、权限、用户函数、调度脚本、导入导出工具和运维SQL。执行成功但行为改变的脚本，比显式报错更容易被遗漏。数据校验应包括总账式汇总、关键业务主键和边界时间。

6.5 GaussDB映射不能用于证明DWS配套

官方GaussDB映射列出HCS 8.5.0对应24.7.30.10、HCS 8.6.0对应25.860.0、HCS 8.6.1对应26.861.0。它证明平台与数据库有独立版本，但这些编号不能转写成DWS版本。29

分析采购和实施文件应分别列出交易数据库、RDS和DWS，写明产品全称、内核、补丁及部署形态。只写“GaussDB”会让应用适配、数据复制及备份工具的支持范围产生歧义。

7.1 从作业工具到治理运营

官方知识地图在8.2.0下列出DataArts设计安装资料，在8.3.1下列出技术白皮书、建议书及产品介绍，能够确认该服务并非8.5以后才进入HCS体系。16

分析版本评估应沿着数据生命周期进行：数据能否接入、任务能否开发、标准能否执行、质量能否监控、资产能否查找、服务能否授权。只有调度任务可以运行，尚不能证明形成完整治理能力。

7.2 8.6.0 上下文中的具体约束

HCS DataArts Studio 3.0.0文档描述集成、开发、架构、质量、目录、服务和安全等能力；同时明确其依赖数据底座，本身不承担底层存储计算。该文档还包含无OBS受限功能清单。21

文档指出：多个Kerberos MRS集群共用同一个CDM Agent可能导致作业失败，建议规划多个CDM集群；单Agent活动线程上限为200。权限、接入和Agent容量应随平台规模同步评估。21

7.3 应如何比较不同版本

分析迁移DataArts不仅是导出作业。还要迁移连接、凭据引用、空间成员、调度参数、资源文件、质量规则和业务资产，并确认环境差异不会改变脚本解析结果。权限回归需同时覆盖平台角色和数据源侧角色。

7.4 服务版本演进的可核实部分

8.3.1已有LakeFormation专用资料目录。到8.6.0上下文，正式API文档为1.5.0；8.6.1产品介绍为1.6.0。这证明服务有独立演进，不能将彩页是否出现其名称当作首次支持的唯一证据。162223

LakeFormation 1.5.0 API修订记录明确增加任务元数据删除策略delete_strategy，并增加运行及历史任务mode参数以支持比对任务。对迁移而言，这影响删除如何同步、如何验证一致性和如何审计执行结果。23

LakeFormation 1.6.0产品介绍包含Hive元数据及Ranger兼容接口、统一元数据、细粒度授权、元数据与OBS路径联动，以及外部元数据和权限迁移比对。模型与非结构化数据集也在其统一管理描述中；这些是该版本文档能力，未据此认定全部为1.6首次新增。22

7.5 与DataArts和存储的边界

分析LakeFormation侧重运行所需的元数据与访问控制，DataArts侧重开发治理和业务资产运营，OBS或HDFS保存实际数据。三个层面相关但不能相互替代。元数据一致并不代表文件完整，文件完整也不代表权限正确。

7.6 不能只验证管理员能查到表

分析迁移前后应选择至少三类真实角色测试：数据工程师、受限业务用户、无权限用户。分别验证表列可见性、文件直读、跨引擎访问和撤权生效；同时保留元数据与权限快照。使用管理员账号通过测试不能证明最小授权正确。

8.1 数据消费能力的差异

8.3.1方案彩页已列DataArts Insight、GES和LakeSearch，说明该阶段的数据平台不局限于批处理和数仓。8.5.1服务目录继续覆盖相关能力。91213

分析BI关注指标口径、数据刷新、权限和并发；搜索关注索引建立、更新可见性及召回；图计算关注关系建模、图版本和算法结果。三者的恢复对象不同，不能仅用“表数据已经备份”概括。

GES正式文档在HCS 8.5.1上下文列出ECS/BMS配合OBS或MRS两种部署方式，且元数据相关操作在不同模式下存在支持差异。20

分析同一服务名称下的部署形态差异，可能比平台小版本差异更大。评估图服务迁移前应记录图模式、导入任务、算法参数、权限和存储依赖。

8.2 数据为AI供给的变化

8.3强调本地大模型生产链路；8.5加强大模型混合云和行业落地；8.6进一步明确数据工程与模型工程，涉及统一可见的数据、工具链、数据空间和训练评估部署流程。71114

华为2024年数智融合说明提到DataArts面向非结构化管理及LakeFormation统一元数据与访问控制的方向。这可作为产品演进背景，不能直接断定每个HCS版本都包含相同功能。38

8.3 选择AI数据平台应增加的检查

分析若需求只是现有批报表，新增AI服务不必成为升级理由；若要建设知识检索或模型训练，应把数据清洗、授权传播、数据集版本及恢复纳入平台方案，并明确哪些是产品功能、哪些需要实施开发。

9.1 保护对象应分层列出

此表为工程分析，用于设计保护范围，不代表OP对所有对象均有内置支持。

9.2 支持HCS不等于支持其全部服务

OceanProtect产品资料表明其面向数据中心和多云的数据保护；HDLS湖仓资源池方案的典型配置列出HCS 8.5.1、MRS/DWS和可选OceanProtect X6000/X8000。它证明存在组合方案，但不等于每一种RDS、引擎版本和保护模式均受支持。3334

分析备份兼容性应把OP版本、插件或代理、HCS、数据库服务、内核、操作系统、CPU和部署形态逐一对齐。存储目标可接入、任务可启动和数据库可恢复，是三个不同的验收层次。

9.3 对RDS问题的适用判断

先区分华为公有云RDS、HCS中的RDS服务，以及ECS或BMS自建数据库。它们可能有不同的运维权限和备份接入方式。此前“托管RDS无法安装代理所以不能备份”的说法，不能直接作为HCS现场的最终结论。

分析若无法发现资源，检查支持矩阵、资源类型与授权；若能发现但备份失败，检查接入、代理、数据库权限和日志；若能备份但无法恢复，重点核对副本格式、恢复目标和跨版本限制。必须记录原始报错后才能确定根因。

9.4 新架构可能改变备份方式

MRS的某些跨AZ和主备容灾组合存在组件及存储形态限制；DWS的OBS存算分离表也有独立的备份恢复约束。因此不能简单用“更高版本”推断“保护能力覆盖更广”。1727

分析一旦从本地数据文件变为对象存储＋共享元数据，恢复顺序就要同时考虑对象、目录、权限与使用它们的引擎。保护旧集群的方案必须重新验证是否能保护新架构。

9.5 建议使用业务链路恢复演练

以“业务数据库→数据接入→Kafka→Flink→湖或DWS→报表”为例，先记录统一校验时刻，再分别记录数据库恢复点、消息保留范围、Flink状态、下游落地进度和报表刷新状态。恢复时必须解释这些时间点之间的差距。

分析若仅恢复Flink状态但Kafka消息已过期，会缺少可重放输入；若重放成功但下游不具备幂等处理，可能产生重复。恢复成功应以业务校验为依据，而非所有机器均能开机。

9.6 需要向实施或厂商确认的项目

分析备份与容灾分别解决历史回退和持续运行等需求；在线副本可能同步误删，历史备份则未必满足短时间恢复。应根据业务需要组合，而不是把平台上的一个“高可用”开关视为所有风险的解决办法。

10.1 按业务决定候选版本

分析8.5或8.6可作为新项目候选，但“版本较新”不能代替兼容性、支持期限和现场运维能力判断。已有8.3平台也不必因服务目录数量变化直接升级。

10.2 三种升级方式的比较

分析所有箭头式版本序列都只能表示时间顺序，不能自动作为升级路径。应取得源版本、目标版本和必需中间版本的正式路径，以及变更前检查和失败回退步骤。

10.3 建议的实施顺序

先采集现场清单并固定资料基线，再确定目标服务组合及保护方案；随后在隔离环境验证业务、故障和恢复，按任务依赖分批迁移。正式切换前设定停止条件，并保留旧环境、旧状态和数据校验记录，直到观察期结束。

10.4 大数据升级验收矩阵

建议阈值由业务负责人确认：关键金额与业务主键不应出现未解释差异；时效、批窗口和延迟应满足业务SLA。未达到阈值时应暂停切换并解释原因，不用产品宣传提升比例代替现场指标。

10.5 需要从现场导出的版本信息

资料包应包含对应版本说明、服务配套表、组件表、兼容性清单、已知问题、生命周期及升级指南。以上采集与验收项目为工程建议，可用于形成正式实施计划。

哪些结论可以直接使用

主版本发布方向、明确的小版本API变化、已被HCS正式文档引用的服务版本上下文，以及服务文档载明的限制，可作为技术调研依据。它们分别以A或B级资料支持，引用位置已在正文标记。

哪些结论不能直接用于采购或升级承诺

官方资料出现不同口径时怎样处理

MRS正式产品介绍与较新方案彩页的节点规模表述不同，应先确认发布时间、版本、部署形态及统计对象，不能取更大的数字作为现场上限。1715

GaussDB不同语言和更新批次的映射中，8.5.1可出现不同服务与内核组合。本报告采用所列中文映射作示例，但现场仍应以交付版本为准；这也说明平台版本不足以唯一确定数据库构建。29

网页和无版本路径的PDF可能更新。复核时应同时保存标题、日期、服务版本、适用平台与关键页码，避免日后仅凭同一URL假定内容不变。

最终决策所需的最小资料包

目标环境的正式版本说明与配套矩阵；现网完整版本及架构；核心作业和数据规模；故障恢复目标；OP兼容性条目与实测恢复结果。齐备后即可把本报告的通用分析转为逐项“支持、受限支持、不支持”的现场结论。