▏摘要
联通智网基于移动网络实时信令数据，建设海量网络数据实时加工平台，实现全量实时数据能力服务和流式数据资产服务。对内服务企业数字化转型，支持无线网数字化运营/市场营销/客服支撑等场景，对外履行社会责任，支持灾害预警/应急救援/金融反诈等重点应用。
▏问题
当前灾害预警、重保监控、金融反诈、客服和营销等方面对于实时数据的需求日益增长，日常网络建设/优化/客服/营销等分析也对核心网DPI数据资产模型提出了尽量低时延的要求，中国联通尚无一套全国统一高效的实时/流式数据加工和服务平台，无法快速满足各类实时应用需求。
▏行动
• 中国联通新建一套海量网络数据实时加工平台，实现全网主要核心网信令的实时加工处理以及DPI主要信令的流式资产加工，对接全网2/3/4/5G实时信令，日处理信令约1.5万亿条，每分钟处理信令超10亿条，实现高吞吐、低时延的海量多源数据实时加工处理整体流程，从采集、传输、处理、输出的时延控制在45s以内，统一支撑移动网基站记录/行为/业务/终端等专项模型分析，以及支撑外部灾害预警、重保监控、反诈提醒等实时需求；
▏结果
• 实时信息查询/实时变动推送/流式数据资产，面向全联通开放，目前已支撑联通全国31省分公司、7子公司以及集团7个以上部门。API接口调用超500万/天，kafka日推送实时消息超5亿，支持对外数据变现收入超6000w，数据资产支撑上层应用租户超200个。
分享专家：蒋少东，联通智网创新中心移动网大数据产品经理
作者：沙丘社区分析师团队
01
案例企业
中国联通于2009年1月6日由原中国网通和原中国联通合并重组而成，公司在国内31个省（自治区、直辖市）和境外多个国家和地区设有分支机构，以及130多个境外业务接入点，拥有覆盖全国、通达世界的现代通信网络和全球客户服务体系。
中国联通智网创新中心承载中国联通网络线“创新”使命应运而生，作为中国联通网络线总部研发部门，深入实践数字化转型，着力提升网络产品创新研发能力，打造智能网络中台，建立网络创新平台和产品运营支撑体系，强化网络产品创新，构建网络智慧运营架构，创造差异化运营优势、产品创新优势、服务体验优势。
02
项目背景
中国联通全网移动、传输、IP、家宽的告警、配置、性能、感知、业务等网络域相关数据均由中国联通智网创新中心负责集中采集处理，智网创新中心先天具备联通网络O域数据加工处理的优势和责任。具体到大数据加工分析方面，大数据离线分析加工方面相对完善和丰富，实时和流式加工分析方面相对较为缺乏，尤其是当前灾害预警、重保监控、金融反诈、客服和营销等方面对于实时数据的需求日益增长，日常网络建设/优化/客服/营销等分析也对核心网DPI数据资产模型提出了尽量低时延的要求。
在本成果实施以前，中国联通尚无一套全国统一高效的实时/流式数据加工和服务平台，无法快速满足各类实时应用需求。为此，中国联通新建一套海量网络数据实时加工平台，实现全网主要核心网信令的实时加工处理以及DPI主要信令的流式资产加工，对接全网2/3/4/5G实时信令，日处理信令约1.5万亿条，每分钟处理信令超10亿条，实现高吞吐、低时延的海量多源数据实时加工处理整体流程，从采集、传输、处理、输出的时延控制在45s以内，统一支撑移动网基站记录/行为/业务/终端等专项模型分析，以及支撑外部灾害预警、重保监控、反诈提醒等实时需求，典型的需求包括：
• 疫情漫入实时提醒：对于进入到XX省的用户，实时推送用户进入信息，省端按照管局要求的频率和信息发生疫情提醒信息；
• 灾害预警：台风、暴雨泄洪等，气象/水利部门根据影响范围实时获取区域内的用户以及进入区域的用户，根据用户清单实时发送灾害提醒信息；
• 重保监控：对于重大体育活动/展会/重大会议等需要重点保障的场景，需要实时统计各场馆的实时用户数/漫入用户数/人员实时流动统计/热力统计/感知统计等信息；
• 金融反诈：根据号卡实时终端变化消息、所在地域信息等，利用大数据模型分析可能涉诈号码和终端，另外可以利用实时状态辅助验证号码情况。
联通智网创新中心数据采集及数据产品架构如下：在数据汇聚方面，完成全网移动、IP、家宽、传输网五类数据（告警、配置、性能、信令、业务感知）的全量数据采集，关键数据实现低时延采集，包括告警数据实时采集、性能数据15分钟频率采集、移动网4种关键信令端到端时延小于45秒。
本项目利用移动网DPI实时消息和实时信令数据，完成移动网实时数据加工建设，对外提供统一的全量实时数据能力服务和流式数据资产服务。
03
解决方案
基于移动网实时消息和移动网XDR消息数据源，以及智网创新网络数据室现有的大数据底座/联通云计算资源和组件，按照能力分层架构设计整体实时加工流程，打造极简高效的核心处理，实现了全网2/3/4/5G各类实时消息的统一高效处理，以最少的判断和处理，记录用户当前状态，并将关键信息变动消息实时输出，根据实时关键信息和实时变动消息打造全面灵活的分层原子能力，灵活快速支撑各类上层应用产品需求，同时利用流式加工实现移动网流式数据资产和专项数据模型支持上层数字化运营需求。
数据源主要涉及中国联通移动网络运行中通过DPI采集的移动核心网信令数据，主要包括S1MME/N1N2/S11/N11/N4等关键接口实时信令以及语音实时信令，实时信令部分消息日数据量超过1.5万亿条，其他流式加工移动核心网信令每日约9万亿条。
在实时数据服务方面，VOLTE语音消息、5G语音消息、2/3/4G实时消息、5G实时消息、S1-MME、N1N2等关键实时信令传输时延45秒内，平均约30秒，语音部分控制在5秒以内；HTTP、N10、N12、DNS等流式加工信令传输时延2min内。
基础平台以联通智网创新中心现有的大数据统一底座和联通云为基础存储和计算设施（计算设施均为联通利用开源软件自行研发/搭建/维护/运营，大数据统一底座部分还应用了大量基于国产算力构建的信创底座，软硬协同，自主可控）。大数据统一底座主要提供基础的加工和存储资源，利用联通云的容器化环境部署实现前端API接口、页面、应用支撑。
实时数据服务的研发架构不再进行分散式、独立实时需求的开发，统一建模，统一设计，统一服务，按照能力分层架构设计整体实时加工流程，打造极简高效的核心处理，实现了全网2/3/4/5G各类实时消息的统一高效处理，以最少的判断和处理，记录用户当前关键信息状态，并将关键信息变动消息实时输出，根据实时关键信息和实时变动消息打造全面灵活的分层原子能力，灵活快速支撑各类上层应用产品需求。
海量消息流式数据资产加工部分对接海量信令数据，利用流式加工生成5分钟感知统计，支持重保监控、网络质量保证、用户量、业务量、卡顿、时延、流量等，并生成小时级ODS详单表，利用详单表格，逐层汇聚上层专用模型，利用各类数据资产模型支撑集团和省分租户的各类上层应用。
实时数据能力服务方面主要创新方向包括：
创新性一：研发思路创新，不再进行分散式独立实时需求的开发，统一建模，统一设计，统一服务；
创新性二：技术原理创新，对接全部实时信令消息，将实时信令消息转化为变动消息，将2000万每秒的输入转化为400万每秒的变动消息，利用变动消息支撑上层应用，极大减少上层应用计算的数据量；
创新性三：技术方法创新，首次实现中国联通全网实时状态完整记录、并开创探索利用支持复杂SQL的内存数据库实现组合查询；
创新性四：技术方法创新，利用位图技术标注小区的围栏归属，利用位图技术记录基站下的号码，实现了高效存储和高效运算。
主要创新亮点包括：
（1）在多个应用领域实现首次重大突破，极大提升诸多产品竞争力
①首次实现全国统一的全量实时产品。提供全量实时信息组合查询和信息变动消息推送；②首次支持 全国性/跨省大范围电子围栏，电子围栏时效性从数十分钟提升到45s以内；③首次支持行政区级用户快速打捞和条件查询，含全国/各省实时用户统计；④首次实现全量用户实时状态记录；⑤首次实现全量用户IP查询功能；⑥首次实现全量基站实时号码历史号码记录；⑦完整、准确、低时延等实时加工新特性为中心和联通众多产品注入了实时因素，助力中心及联通其他重要产品竞争力升级。
（2）利用实时加工系统快速响应支撑集团/分公司/政府公共紧急需求
完备的实时加工功能体系可对分公司需求快速响应。例如其中电子围栏漫入支持多省防疫短信，实时打捞支持四川地震救灾，电子围栏、用户打捞等支撑多省疫情防控短信、疫情密接用户打捞等，保障了分公司圆满完成防疫任务（2022年底已停止）。电子围栏相对于以前局部围栏应用，提升了支持范围（支持任意跨省/全国性围栏）、时效性（触发时延从几十分钟提升到45s内）、准确性（多信令面消息综合应用避免用户面消息省ID错误问题等）。另外，电子围栏与实时IP能力结合可支持切片业务灵活加速限流。实时打捞实现全国任意区域实时号卡/漫游号卡分类统计。
流式数据资产加工服务方面主要创新方向包括：
创新性一：自主研发,敏捷实践，打造分层化、模块化、工程化加工程序，快速完成公共基础数据底层资产流式加工和上层资产模型建设，总计112张公共资产表和5分钟级实时统计交付上层应用，实现全国任意重保区域实时业务量/累积用户数/用户感知等实时统计，支持大运会、亚运会等重大活动监控。
创新性二：Flink采用“预加载维表关联”优化方法，内存占用降低90%，查询连接数减少90%；
创新性三：自主研发批量文件数据源接入方法，文件类数据接入时延减少50%；
创新性四：完善实时数据质量控制方法，保障技术方案灵活性和扩展性，减少数据质量控制拒绝链中流转总字段数，简化数据质量问题记录收集操作。
主要创新亮点包括：
（1）打造了分层化、模块化、工程化加工架构实现DPI数据加工完全自主化，掌握了最核心的海量大数据加工技术，提升公司核心竞争力；
（2）降低公司研发成本，自研相比委外投资每年节约2000万以上；
（3）资源消耗降低四成，整体加工时延缩短一半以上；
（4）完成DPI数据质量控制体系，提高数据质量、完善数据治理；
（5）完善的实时业务/感知数据统计，以及分层公共数据资产体系，可快速响应公司网络线和政府公共数据分析需求，需求响应和交付周期从数周提升到一周内；
（6）完成网络数据分析1300多个核心指标算法设计，梳理和建设完成移动核心网关键数据计算加工流图。
实时数据服务的输出方式：提供全国统一的实时数据查询和配置API、全国统一的实时触发推送kafka，全国统一的专项实时应用如电子围栏、应急救援、司法矫正等实时产品。
主要应用方有两类：一方面，由联通数字科技有限公司主要负责利用上述能力开展实时数据对外支撑应用，以及支撑部分省公司基于实时数据的外部需求，另一方面，各省分子公司利用实时数据能力支撑内部营销、客服等专项业务，以及支持各类内部上层平台实时数据需求。
流式数据资产加工服务的输出方式是数据资产表共享和流式统计指标输出（kafka），主要应用方为各省分子公司网络线、优化线、创新线，支撑应用方对于重保监控、网络数据统计分析的上层需求。
实时数据服务的主要输出能力为：
• 全量实时数据数据查询能力：实时查询API，在获得授权的情况下，查询用户实时基站小区、IP、终端、状态等，实时基站下的用户统计查询、IP取号查询，同时支持历史基站小区、历史终端等实时回溯查询；
• 全量实时触发推送能力：根据定制规则，实时推关键信息变动消息，如定制变动提醒，定制语音推送，电子围栏实时触发推送，终端换机实时推送等；
• 专项行业应用能力：基于各项实时原子能力，面向专业行业应用，推出实时能力产品，如司法矫正、热力统计、灾害应急，企业名片等专项行业应用。
流式数据资产加工服务的主要输出能力为：
• 流式实时统计及数据资产输出：对接海量信令数据，流式加工生成5分钟基站/用户感知统计，支持各类重保监控业务实时监控和保障网络指令，并生成小时级ODS详单表，利用详单表格，逐层汇聚上层专用模型，利用各类数据资产模型支撑集团和省分租户的各类上层应用；
• 专项网络和业务指标统计输出：输出用户感知（时延、卡顿、失败次数、感知评分等数据）、业务量（话务量、流量）、专项指标等统计（高铁感知统计、双卡槽统计、VoLTE统计、VoNR统计、退网专题分析统计等）等，支持内网络建设/规划/优化/营销等各类数据分析需求。
由于实时数据不能侵犯个人隐私，因此在数据采集严格依照中国联通信令采集技术规范以及上级管理机关对于信令采集的要求，只采集网络运行中必不可少的信令信息，不采集分析号码上网浏览的用户数据隐私内容，不存储和分析任何与自然人有关的敏感身份信息，任何数据均不关联自然人。整体数据平台无任何自然人身份信息。数据获取方面主要的依据的规范有：《中国联通移动网络DPI（5G-SA）采集软件技术规范》、《中国联通移动网络DPI信令采集设备技术规范》。
数据加工和数据供应严格依照数据安全法和中国联通数据共享管理办法要求，按需和授权加工和提供数据，涉及到具体基站小区信息的数据内容仅限授权用户和公共安全应急使用。数据加工和共享方面主要遵循的法规规范有：《中华人民共和国数据安全法》、《中国联通数据治理管理办法》、《中国联通数据共享管理办法》、《中国联通数据安全管理办法》。
数据存储、数据传输过程严格身份验证和数据加密，避免和防止数据泄漏，接口调用使用非对称加密保障数据仅限授权使用，并建立完善的数据使用审计制度，每日开展数据使用审计，避免需求范围之外的数据滥用，确保数据加工和使用合理合规。
04
价值与效果
实时信息查询/实时变动推送/流式数据资产，面向全联通开放，目前已支撑联通全国31省分公司、7子公司以及集团7个以上部门。API接口调用超500万/天，kafka日推送实时消息超5亿，支持对外数据变现收入超6000w，数据资产支撑上层应用租户超200个。典型的应用举例如下：
①依托电子围栏技术的灾害预警提醒：全国通用的电子围栏，触发时延在45s以内，支持全国任意区域随时配置随时可得的进入/离开/存量触发数据，广泛应用于疫情防控、灾害预警提醒场景和司法矫正等触发场景，为保障人民群众生命财产安全做出了较大贡献。
②紧急定位应用：根据110/119/120等紧急电话实时语音消息，在1-2秒内确定拨打紧急电话的号码所在基站小区，为公安机关/医疗机构等辅助判断位置，保障人民群众安全
③金融反诈分析应用：根据实时终端更换消息（时延45s内），实时用户状态信息（开机/关机/忙/闲/呼转,其中忙闲状态时延5s内，其余45s内），分析判断具体号码可能的涉诈情况，为金融机构验证号码是否正确是否可疑等提供帮助。同时提供实时的终端-用户互相查询能力，以及终端历史用户查询能力，对公安机关确定的涉诈终端快速确定历史嫌疑号码。
④实时打捞分析应用：根据区域或具体基站小区信息，实时统计和打捞对应区域和基站小区下的用户，广泛用于重保监控、灾害跟踪等场景，尤其是对于地震等灾害发生后，可实时打捞灾害发生前，发生时刻，以及当前时刻的用户，并对比寻找失联用户和失联区域，辅助救灾。
⑤流式数据资产加工：主要用于企业内部网络建设/优化/客服支撑/市场营销/决策分析等场景，目前主要为网络优化、客服支撑提供移动核心网信令流程分析、感知分析、根因诊断、语音分析等数据模型，为网络建设/市场营销提供业务量分析、终端分析、语音分析、双卡分析等数据模型，为决策分析提供终端分析、退网分析等专项数据模型。为重保监控提供流式实时人流感知统计。
本项目经济价值实现如下：
海量数据实时加工体系建立完成后，实现了对全国全量实时消息的处理，可按需方便快捷的对接支持各类应用需求，应用于优化/客服/营销等场景，可节约数据分析时间30%以上，应用于政府/公共安全/应急等需求支撑，交付时效性可提升90%以上。由于全量数据统一接口，实时大数据变现业务收益增长了1000%以上（已实现从几百万级提升到超过6千万/年）。另外全量统一的实时数据服务替代了分散的少量烟囱应用，实现了实时数据高可靠、高可用、随时按需可得。
流式数据资产自研加工实现后，网络数据各专项分析耗时降低50%以上，用于支持建设/优化/客服/营销等场景数据分析，预计年节约成本6000万元，预计每年创造经济效益8000万元。例如分散式每个省的终端分析/退网分析等，若各省单独建设，每个专题分析需要专项投入100-200万元，利用统一高效的数据资产统一服务，可节约成本数千万元，另外用于网络优化等专题分析，相比传统手段可节约40%以上的分析时间，用于市场营销，可提升营销精准度，助力营销效率提升10%以上，用于客服支撑，可提升客服支撑效率以及用户挽留准确度。整体创造经济效益每年不少于数千万元。
本项目社会价值实现如下：
系统建设以来，承接和支持政府和人民群众各类紧急实时数据需求，切实落实企业社会责任，保障人民群众生命和财产安全。系统建设以来，在灾害预警、疫情防控、重大活动保障、金融反诈等多方面实现了显著的社会价值；
气象/水利灾害预警，支撑多省市气象/应急管理局的台风、洪水、泄洪、撤离等实时提醒推送和人员监控。119/110/120紧急定位，支持多省消防/公安/120等部门对紧急电话实时基站小区查询，支持四川、新疆、甘肃等地实时受灾人员打捞/热力统计。2022年支持十余省疫情防控漫入提醒。截至目前已推送各类实时提醒类消息超过60亿。流式重保指标统计/实时打捞等能力支持大运会/亚运会/进博会/一带一路峰会等活动重要区域网络质量实时监控统计，终端换机能力支持识别高风险号码，实时状态能力服务企业智能客服以及司法矫正应用等。
以上数据能力应用均能在极端的时间内迅速响应提供实时数据能力支持，充分履行企业社会责任，让数据持续创造社会价值。
05
实践总结
第一，避免烟囱建设，统一建模，统一服务，建设和打造公共数据原子能力和公共数据资产，上层应用按需选用原子能力组合实现灵活多变的上层需求；
第二，保障数据一致性，实时数据加工过程中需保持多种数据口径的一致性，如用户所在基站和基站当前用户数据能力应保持一致，实时数据累积统计与实时数据资产结果一致性等；
第三，不断提升数据时效性，实时数据必须强调时效性，需要压缩数据传输的时间，以及数据处理的时间，数据处理设计应保证主要处理过程毫秒级。从端到端保障实时业务系统的时效性；
第四，持续完善数据质量，包括源数据数据质量稽核以及输出能力数据质量稽核；
第五，应特别注重数据安全，确保数据安全使用，数据共享合规；
第六，及时关注网络割接/升级/变更，及时消除数据源变化可能带来的负面影响；
第七，资源、组件、监控、运维等需要有充足的容灾备份余量，保障实时系统随时可用不中断，保障系统的服务等级。
