公安人口信息数据的维护机制
摘 要 公安部部级人口信息管理系统(一期)项目自2005年投入使用,实现了全国户籍管理基本信息的集中存储和管理。为最大限度发挥人口信息的应用成果,需保证公安人口信息数据“完整、准确、鲜活”。这就要求对人口信息数据维护机制进行深入研究。文章从公安人口数据维护面临的问题入手,提出了数据维护机制需完善的内容,就公安人口信息数据维护机制的设计进行了详细论述。
【关键词】数据库 数据维护 公安信息化 公安人口信息
多年以来,全国公安系统认真贯彻落实“科技强警”战略方针,大力推进公安信息化建设,在公安信息网络和基础设施建设以及公安人口管理等业务应用系统建设方面取得了丰硕的成果。公安部部级人口信息管理系统/全国户籍管理基本信息资源库一期项目(以下简称部库一期系统)是“金盾工程”重点建设项目,2005年投入使用,实现了全国户籍管理基本信息的集中存储和管理,初步建立了规范、有序的数据存储和更新维护机制,面向全国公安机关开展了户籍管理基本信息查询服务,为全国银行机构和其他社会行业单位开展公民身份信息核查提供了支持。
受管理和技术等多方面因素的制约,部库一期系统在支撑环境、维护机制、数据质量、信息应用和运行管理等方面还存在较多问题。为此,在“金盾工程”二期建设方案中,针对部库一期系统项目现存问题,进行了深入分析,提出建设公安部部级人口信息管理系统二期(以下简称部库二期系统)项目,以进一步完善数据维护和数据管理机制,加强人口信息数据质量和人口管理业务监管,完善考核机制,实现接口服务、统计分析、数据挖掘等高端应用。
1 部库一期系统数据维护机制概述
从上世纪80年代中期开始,为适应动态社会环境下加强人口管理工作的需要,全国公安机关开展了人口信息管理系统建设。20多年来,人口信息管理系统从无到有,从小到大,逐步成熟,日趋完善。部库一期系统作为“金盾工程”的“龙头”项目,全国公安机关已经建成了以部、省、市为信息汇集点的人口信息管理系统三级架构,建立了覆盖13亿人口的全国人口基本信息资源库。
公安户籍人口信息数据包括户籍管理基本信息和户籍管理业务信息两部分,户籍管理基本信息包括姓名、公民身份号码、户籍地址省市县区、户籍地址详细地址及其他户籍相关基本信息数据,户籍管理业务信息包括办理出生登记、死亡注销、迁(划)入、迁(划)出等涉及户籍变动相关业务时生成的信息。
部库一期系统的维护数据来自分布在各地市的人口业务数据库中,各地根据公安部下发的维护数据标准,以公安部标准XML文件为载体,按照人口管理业务变动的方式,采取自下而上、逐级维护的机制,全国363个数据报送单位每日向部库一期系统报送人口变动数据。报送单位定期从本地数据库中导出相关变动数据,经过数据质量检测、数据打包,再上传到公安部。由于各地人口数据库建设存在一定差异,目前维护数据打包工作由各地自行完成,数据检测软件由公安部统一下发。各报送单位将每日变动的本地户籍人口管理业务信息数据按照统一标准生成数据交换文件,通过接口方式上报。部库一期系统对于户籍管理业务信息数据包解析后,转化成户籍管理基本信息数据,进入部级人口库。
2 目前人口数据管理主要面临的问题
2.1 数据不一致
在数据维护报送过程中,涉及业务信息到基本信息的转换过程,存在解析错误造成数据错误无法正常入库的风险。而且由于地方上报的是业务信息,而部库生成的是基本信息,缺乏有效的对账机制,会导致部级库数据和地市库数据不一致,无法做到数据“完整、准确、鲜活”。
2.2 维护过程自动化程度较低
由于地市系统上报部级库的程序需手工操作,自动化程度较低,由于每天人口变动业务量较大,导致上报工作需报送单位投入大量人力成本。
2.3 数据质量监管机制不健全
上报的数据质量参差不齐,并且缺乏数据质量监管机制,导致数据质量不高,数据应用效果不好。同时,现有数据维护机制日志审计机制不健全,不能全面反映、实时跟踪,有效监管基层户口登记管理业务流程。
3 建设目标
基于上述存在的诸多问题,公安部自2013年开展部庫二期系统建设,本次项目在部库一期系统的基础上,主要在以下方面改进:
3.1 提高数据维护时效性
完善数据维护机制,户籍管理基本信息维护实现“当日变动、当日维护”,户籍管理业务信息实现一小时内备案到部库。
3.2 实现数据维护方式全程自动化
实现自下而上的人口信息维护数据获取、传输、入库的全程自动化,地方在本地系统构建基本信息视图,在地方前置机部署数据抽取探针程序,传输平台通过探针程序每日将户籍管理基本信息变动抽取到部库,实现“无人值守”。
3.4 加强数据质量管理
数据质量管理由入库前控制转化为入库后监督,确保人口信息数据“上下一致”,达到“完整、准确、鲜活”的目标。
3.5 扩充完善人口信息资源
在数据的完整性方面,扩展户籍管理基本信息数据项结构,增加户、户成员、亲缘关系信息,充实完善人口管理业务信息,建立部级人口管理管理业务信息数据库。
4 数据维护流程
4.1 数据维护信息流程
数据维护流程包括数据首次加载子流程、日常数据维护子流程。日常数据维护子流程完成户籍管理基本信息、户信息全量重载,户籍管理基本信息增量维护、户籍人口相片增量维护、户籍人口户信息增量维护、户籍人口户成员变动增量维护、户籍人口变动业务信息备案及紧急个案数据维护过程,维护过程可通过视图或中间库提取数据、基于文件上报或归档日志同步的方式实现。
数据维护总体流程如图1所示。
数据维护首次加载是在部级一期系统数据迁移完成后开始的,加载内容包括户籍管理基本信息、户籍人口户信息、户籍人口相片信息。户籍人口相片信息从部库一期系统数据库中读取户籍人口相片数据,加载到核心数据库。
户籍管理基本信息首次加载采用全量重载的方式,即由各报送单位组织当前最新的户籍管理基本信息末态数据,开放户籍管理基本信息共享视图,由部署在报送单位节点的数据维护客户端程序检查视图的数据表结构,即字段类型、字段名称、字段长度,检查通过后客户端程序(传输平台前端)将全量数据打包为XML文件并同步中央端数据处理区。中央端传输平台接收文件后入临时库,在临时库完成初步的数据格式检查,通过检查的数据加载到核心库。户籍管理基本信息和户信息加载前,清空该报送单位对应的已有数据,清空完成后入库。
日常数据维护采用任务触发、自动抓取的方式,由中央端制定数据维护计划与任务,通过任务调度触发传输平台的中央端,由中央端触发传输平台前端,并调用前端数据提取程序,完成全量重载和增量更新数据维护操作。报送单位也可以提出数据维护申请,经公安部系统管理员审批通过后生成指定的维护任务。
日常数据维护包括全量重载、增量更新数据维护和变动业务数据备案、紧急个案维护。全量重载信息包括户籍管理基本信息、人口户信息,维护方式分两种,一种是全量报送方式,维护流程与户籍管理基本信息首次加载相同,加载入库中如果发现中央端存在的数据而报送数据包中不存在,则差异数据迁移至户籍管理基本信息历史;一种是采用视图增量修补的方式,即经过对账发现的不一致数据,制定数据维护任务,通过传输平台前端抓取指定条件的数据记录,打包为XML文件同步到中央端,完成检验、入库。增量更新数据维护信息包括户籍管理基本信息、户成员信息、人口相片信息和公民身份号码变动业务增量维护数据。由报送单位按部颁标准开放视图或建立中间库,并负责更新数据同步到中间库。传输平台根据设置的维护任务周期,每天根据视图日志或中间库的归档日志,同步更新数据中央端,在中央端写数据入周转库。周转库为数据缓冲文件或内存形式,传输平台中央端接收数据后缓存在临时文件或内存中,并调用加载程序写数据到核心数据库。增量维护数据加载入库,人口相片数据为追加方式,在数据库中为增加记录操作;其他数据需首先判断该人口是否存在,存在則进行覆盖记录操作,不存在则进行增加记录操作。增量维护数据同时追加到人口信息历史库。加载过程同时检验数据加载周期等指标是否符合部库管理要求,不符项则记录到数据质量检查反馈结果中。
紧急个案维护由报送单位或公安部人口库管理单位触发,维护流程与全量重载增量修补方式相同。
变动业务备案信息包括户籍变动业务和身份证管理等备案数据,各报送单位人口业务系统在办理完成对应的变动业务后,调用中央端数据备案接口,接口服务接收备案请求并检查备案数据格式,通过后加载入库并返回给请求方处理结果信息。
维护数据加载入库后,形成核心基础数据,包括户籍管理基本信息、人口户信息、人口相片信息、户籍管理基本信息历史、人口变动业务信息、人口户信息历史、户成员信息变动历史、公民身份号码变动历史。
4.2 业务管理信息流程
业务管理流程完成对报送单位的数据维护计划与任务分配、数据质量检查与业务监管等,总体流程如图2所示。
业务管理过程包括数据维护任务申请信息、数据对账、重复记录核实清理、数据质量检查及业务监管、综合业务考核对应的信息处理子流程。
报送单位提出维护数据请求,管理员定时读取申请信息并审核,审批后更新数据维护计划与任务,并通过任务调度触发传输平台消息发送,完成全量或增量维护数据报送。
数据对账是检验部库数据质量的手段之一,在中央端设置指定的数据维护任务,从指定的报送单位视图或中间库抓取人口编码、公民身份号码、姓名三项数据,同步到中央端,由数据对账服务与人口基信息库进行双向比对确定中央端与报送单位的差异数据并分析原因,作为是否全量重载的依据。
5 项目实施效果
经过开发和运行,项目达到了预期的效果。
5.1 “自下而上”的全自动数据维护机制基本建立
“自下而上”的全自动数据维护机制基本建立并稳定运行,实现了户籍管理基本信息变动数据“当日变动、当日维护”,户籍管理业务办理后,一小时内业务信息备案到部库;通过基本信息对账机制,每天对账,保证数据上下一致;为群众户籍业务办理提供实时信息支撑,基本实现人口数据“完整、准确、鲜活”的目标。
5.2 数据质量大幅度提升
建立事后监管的数据质量检查机制,定期发布数据质量通报,实现了数据质量的提升。
5.3 各类成本大幅度降低
通过视图方式的数据维护,无需专人负责数据报送,由部库自动抓取,降低了报送单位的人力投入;视图方式无需报送单位再投入软件开发费用和购买新的服务器,减少了软件开发和硬件设备投入。
6 未来发展
公安人口信息数据维护是保证人口信息“完整、准确、鲜活”的关键,研究人口信息数据维护机制的技术难点和关键指标,在实践中总结经验,完善数据维护流程,能够用于公安居民身份证信息、居住证信息的数据汇集和数据维护,必将为公安人口信息应用做出更大的贡献,各级公安机关人口信息管理部门将得到更多的社会效益和经济效益。
(通讯作者:范英)
参考文献
[1]方鹏人口信息管理系统数据维护升级改造[D]北京大学,2011.
[2]霍宏涛王任华三级信息资源库数据维护机制的研究[J].中国人民公安大学学报(自然科学版),2005,11(02):57-58.
作者简介
范英(1977-),大学本科学历,公安部户政管理研究中心副研究员。主要研究方向为人口信息软件应用技术、生物特征识别技术在户籍管理业务中的应用。
康凯(1981-),硕士学位,公安部户政管理研究中心助理研究员。主要研究方向为人口信息管理、安全技术。
施一琳(1990-),硕士学位,公安部户政管理研究中心研究实习员。主要研究方向为人口信息管理、项目管理。
作者单位
公安部户政管理研究中心 北京市 100070