专题介绍 · —
高质量数据集
概念与质量 · 政策与标准 · 平台功能范围 · 行业示例：科研专病库
概念与质量 · 政策与标准 · 平台功能范围 · 行业示例：科研专病库
定义、质量内涵与三类分类——它到底是什么、凭什么"高质量"
先国家（部署脉络 · 四项标准），再江苏省（地标 · 政策 · 底座），最后看省级与国家的差异
以医疗领域为例，完整拆解一个行业数据集的样貌
总体架构 + 六大功能域 · 24 项核心功能，以及一条数据从产生到应用的完整旅程——各行业通用
经过采集、加工等数据处理，可直接用于开发和训练人工智能模型，并能有效提升模型、智能体等应用效能的数据集合。
—— 国家数据局，2025 数博会新闻发布会 | 深度解读：《加快高质量数据集建设 推动人工智能产业健康发展》
不是原始数据的堆砌，而是经过采集、清洗、标注、整合后的"成品"。加工深度决定数据集价值——这也是成本和壁垒所在
以"模型用后效果"为验收标准：能显著提升模型表现的才算高质量，质量可评测、可验证、可对比
是有组织的资产而非散落数据：可登记、可定价、可流通、可交易——这是数据要素化的前提
五个维度缺一不可：缺了字段是残次品，对不上术语是方言，过期数据是负资产，格式不规范则无法进入流通环节。
每一环都有实实在在的加工成本——低质量数据集的训练价值趋近于零，差距全部藏在看不见的加工环节。
通用语料、图文音视频。供给充分、竞争激烈，巨头林立，新入局者没有优势
行业通用数据，需行业知识加工。门槛中等，随"人工智能+"铺开快速放量，窗口正在关闭
特定行业深耕数据（如专病数据集）。字段密度高、标注壁垒深、最稀缺——先发者可形成数据资产护城河
持续推进文本、图像、音频、视频等多模态高质量数据集建设；面向具身智能加快真机交互数据集建设；引导有条件地区建设数据标注创新试验区
商业模式从基础数据包销售向 API 调用、模型化解决方案及全栈服务跃升；探索词元交易等新型数据集交易模式，构建可量化、可定价的价值体系
面向智能体等新型应用形态，加强知识库、知识图谱、本体等数据集建设；积极布局世界模型等前沿方向数据集
国家四项文件解决"通用口径"，落到省内还需要可执行的本省规则。江苏省数据标准化技术委员会（设在省数据局）已发布 35 项数据类省级地方标准（DB32），其中与数据集建设直接相关的是两块：
覆盖公共数据全生命周期，是省内数据治理的主干标准：
分类分级决定哪些数据能用于训练、以什么方式用；治理与共享交换决定数据出库时的质量与通道；异议处理提供纠错闭环——这四件事正是数据集建设的上游前提
统一数据元定义、名称与取值口径，解决"同一指标各部门叫法不同、口径对不上"的老问题。数据元统一是多源数据能拼成一张表的前提条件，也是数据集质量中"一致性"维度的落地依据
另配套数据安全、脱敏、共享交换等技术类标准，共同构成省内技术底座
各省都把高质量数据集当作 AI 产业的基础设施来投入，但抓手不同——三种有代表性的做法：
把语料当准公共品供给：《国家数字经济创新发展试验区（上海）实施方案》聚焦医疗健康、高端制造等重点行业打造高质量数据集，探索建设高质量数据集开源社区；"模塑申城"语料普惠计划 2.0 提出到 2027 年底打造 300 个稀缺数据集、语料规模超 10PB，以语料券补贴使用方
用"真实需求、真实数据、真实应用、真实流通、真实推广"五真原则办赛，把省级数据集大赛做成"湾区数超"；同时在医疗、航空、低空等重点领域推动建成运营不少于 20 个行业可信数据空间，接入产业链上下游企业
按行业摊任务、按规模设门槛：16 个重点行业各建 2 个左右专业化数据集，到 2027 年底全省累计建成 50 个，单个行业领域数据规模不小于 1PB
市一级走得更细：深圳把标准下沉到单一场景——地方标准《专病数据库建设规范》（送审稿）直接规定数据范围、14 个核心功能模块与验收抽检比例，是国内目前颗粒度最细的医疗数据标准之一。
| 维度 | 国家标准文件（统一口径） | 江苏省级（本省细则与目标值） |
|---|---|---|
| 分类 | 通识 / 行业通识 / 行业专识三级分类，全国统一归类方式 | 沿用三级分类；公共数据再按 DB32/T 4608.1 分类分级，确定可训练范围与开放边界 |
| 质量 | 完整性、准确性、一致性、时效性、规范性等统一评测标尺 | 在国标维度之上，把标注准确性单独纳入质量评价，并配套质控与抽检要求 |
| 流程 | 建设指南给全流程框架：需求定义 → 采集加工 → 发布应用 | 以"发布建设清单 + 应用指引 + 先行先试项目申报"落地，按年度项目管理推进 |
| 目标 | 2028 年底：建成一批验证过的行业数据集、一批典型场景、一批标准与工具 | 2027 年：医疗领域 50+ 行业数据集、20+ 专病大模型；全省 2000 个高质量数据集 |
| 颗粒度 | 跨行业通用、偏粗颗粒，避免绑死单一行业 | 细到具体场景：专病数据集、单病种指标集、标注基地与建设清单 |
高质量数据集要落地，必须选定具体行业场景。下面以医疗健康领域的科研专病库为例，完整拆解一个行业高质量数据集长什么样——能源、交通、金融等领域逻辑相通，仅数据类型与术语不同。选择它作为参照，原因如下：
用于存储、管理和分析特定疾病患者数据的系统化数据库及相应管理系统，支持临床研究、患者管理、随访及相关科研项目。
—— 深圳市地方标准《专病数据库建设规范》第 3.1 条
十条数据范围覆盖患者全病程（标准第 6.1 节）。建设四目标：支持临床研究 · 促进成果转化 · 辅助临床决策 · 推动共享协作；六原则：规范性 · 系统性 · 安全可信 · 保证质量 · 易用高效 · 可扩展。
接口 + 库表 + 手工相结合，来源覆盖 HIS、EMR、LIS、PACS、医疗物联网、问卷量表；支持 HL7 / FHIR / DICOM 标准接口与 CDC 数据变更捕获；按 CDISC、SNOMED CT、ICD-10 / ICD-9-CM 标准做标准化、清洗、结构化、归一化
自动质控 + 人工质控结合、实时 + 定期执行并生成质控报告；人工抽检不少于 1% 病例或不少于 20 例（以病例数较多者为准），持续多轮迭代改进
相关性——数据是否覆盖临床研究四要素：研究对象（P）、干预/暴露（I）、对照（C）、结局（O），并满足监管与质控要求
可及性——授权用户能否便捷获取所需信息：通用语义框架、时间序列资料、按关键终点设定的结局指标、跨库补充获取
稳健性——数据与真实场景的符合程度：对象代表性、采集标准化、同行评议、可校验
可靠性——制度保障：人员培训、术语字典、自动抓取、防偏倚策略
数据质量——完整性、准确性、一致性、时效性、规范性 + 风险监控与安全审计
2020 年发布我国首个疾病标准数据规范（全球首个系统性专科疾病标准化数据中文规范），60 多位院士专家联合审评；建成肝癌、胆管癌、肝包虫病三个专病库，汇聚 5000+ 例全息标准数据
15 类数据元模块、317 个字段；支撑中国乳腺癌标准数据库——签约医院 34 家、覆盖 15 省、纳入病例 6 万+，并建立六维数据质量评价体系
国家层面已建成中国肿瘤登记平台、中国脑血管病大数据平台、全国慢阻肺综合管理平台等重大慢病防治平台，并持续推进专病数据集标准制定
一个高质量数据集平台需要哪些功能？归纳为六大功能域 · 24 项核心功能。功能细则对标医疗领域的现行地方标准（14 个模块）；六大域的划分是通用的——换一个行业，只是数据类型与术语不同。
多源采集（接口/库表/手工/CDC）· HL7 FHIR DICOM 标准接口 · 结构化+非结构化分层存储 · 分片副本容灾 4 项核心功能
标准化·清洗·结构化·归一化 · CDISC/SNOMED CT/ICD 术语映射 · 自动+人工双轨质控 · 数据字典与专病指标集 4 项核心功能
文本/影像/基因/病理多模态整合 · 多维度关联展示 · 标注任务管理 · 数据集版本管理与脱敏发布 4 项核心功能
多维检索与研究对象集 · 统计分析与多格式导出 · 随访计划与管理 · 疾病知识图谱 4 项核心功能
跨机构在线授权共享 · 多中心研究服务组件 · 区块链存证与验证 · 智能合约与节点管理 4 项核心功能
国密加密与去标识化 · RBAC+MFA 访问控制 · 分类分级与日志审计 · 项目管理与运维监控 4 项核心功能
采集方式——接口对接、库表同步、手工录入相结合；支持数据变更捕获（CDC）技术，实时监控源数据变化，保证更新一致性
数据来源——以医疗行业为例：HIS 医院信息系统、EMR 电子病历、LIS 检验、PACS 影像、医疗物联网设备、外部问卷量表；其他行业对应业务系统、传感器、日志与外部数据供给
标准协议——医疗行业采用 HL7、FHIR、DICOM；各行业均有对应的交换标准，原则是"用标准接口，不用私有格式"
入库前标准化——各类数据进入数据底座前先做标准化处理，实现多源异构数据整合，保证数据在模块间流转无误
结构化数据（记录、指标）——关系型数据库
非结构化数据（影像、文本、音视频）——分布式文件系统 / 对象存储
分层策略——按访问频率分热数据、冷数据、归档数据三层，兼顾性能与成本
数据分片——大规模数据切分存储，支撑横向扩展
副本复制——多副本机制保证高可用性与容灾能力
设计意义——高质量数据集是重资产投入，加工成本高，存储层可靠性直接决定平台可信度
标准化 · 清洗 · 结构化 · 归一化——对采集数据逐级加工，保证一致性、完整性和可用性；脏数据不治理，后面所有环节都是"垃圾进、垃圾出"
以医疗为例：术语符合 CDISC、SNOMED CT、ICD-10、ICD-9-CM 等标准，保证跨系统、跨机构互操作——任何行业都需要自己的"术语字典"（主数据/编码体系），没有统一术语，跨机构协作无从谈起
自动化质控——规则引擎实时校验（范围、逻辑、完整性）
人工质控——定期抽样复核，处理机器无法判断的专业问题
质控报告——每次质控自动生成报告，质量可追溯、可对比
四件套——术语标准化体系 · 元数据管理 · 数据字典 · 专病指标集
统一数据模型——数据模型与结构统一规划，支持未来新增与调整数据元素
支持文本、影像、基因、病理等不同类型数据的管理与整合，保证多维度数据的关联、展示和分析——同一对象的多模态数据可按主体关联查询
标注任务管理（分配、进度、质核）——将非结构化病历文本、影像数据加工为可训练的结构化数据；这是高质量数据集"加工深度"的关键工序，也是成本最高的环节
按专病指标集从底座数据中抽取构建数据集；数据集版本化管理——每次修订留痕、可回溯、可对比，保证科研成果可复现
导出前自动脱敏（去标识化处理）；形成可直接用于模型训练与登记流通的成品数据集——对应国家数据局"可登记、可定价、可流通"的数据要素要求
支持多维度检索：按诊断、用药、检验指标、时间窗等条件快速筛选病例和指标，一键生成研究对象集——把科研人员从"翻病历"中解放出来
初步转换——重分组、范围筛选
统计分析——统计描述与基础统计推断，帮助研究者了解数据特征与质量
多格式导出——CSV、Excel、SPSS、R，或直接对接云计算平台
支持患者长期随访数据的采集与管理：随访计划制定、自动提醒、数据更新——保证专病数据最宝贵的连续性和时效性（专病库区别于普通病历库的核心）
以疾病、症状、药物、检查项为核心概念构建语义网络；优先对齐标准医学术语体系，支持实体映射、对齐与补充——服务智能检索、临床决策支持与知识发现
在隐私保护前提下实现跨机构共享：在线授权审批、跨系统数据下载——"数据不出域"的合规前提下，授权范围内按需获取
提供多中心研究服务组件：统一方案、统一入组标准、分中心数据汇聚与质控——促进多中心研究开展，扩大样本量与结论外推性
关键数据上链存证：支持存证数据的查询与验证，使用者可快速验证数据真实性和完整性；存证策略灵活配置——为科研数据可信度背书
区块链网络搭建、智能合约开发部署、共识机制选择优化；节点管理、监控与维护；支持与外部系统集成——为跨机构协作提供可信基础设施
国密标准——SM2 / SM3 / SM4 加密存储与传输
去标识化——敏感信息自动脱敏，隐私保护符合《数据安全法》《个人信息保护法》要求
RBAC——基于角色的访问控制（管理员 / 业务方 / 研究方分权）
MFA——多因素认证
分类分级——数据按敏感程度分级管理，差异化授权
系统日志——全量操作留痕，谁在什么时间访问了什么数据可查可溯
完整性保护——防篡改机制，保证科研数据未被恶意变更
传输存储安全——全链路加密
项目管理——计划、任务分配、权限、进度跟踪、风险管理、文档管理、报告
运维监控——平台运行状态、采集链路、质控任务的可视化监控
五层架构是"结构"，这条流水线是它在时间上的展开——每一道工序对应一个功能域，走完全程才算"高质量"。
统计分析（描述统计 / 多因素回归 / 生存分析）· 机器学习与 AI（疾病预测、疗效分析）· 自然语言处理 NLP（病历文本、影像报告结构化）· 数据可视化（多维度图表呈现）
通过联邦学习等技术，在不共享原始数据的前提下完成模型训练与协同分析——合规与协作可以兼得，这是跨机构科研的标准解法
以上内容整理自公开政策与标准文件。