政务信息平台建设-数据库及影响力分析平台项目

太极计算机股份有限公司1

2018年 4月1 总体功能架构设计

图：总体功能架构设计在中国日报现有的大数据基础应用平台上，根据政务信息平台建设-数据库

及影响力分析平台项目业务需求描述，构建如上图所示业务功能设计。根据系统架构层级，构建的业务功能系统分为数据资源层、数据采集层、大数据平台层、数据存储层、数据处理及模型层、数据服务层、应用系统层。下面将逐层介绍各层级内所涵盖的功能。数据资源层：项目平台需要实时监测并采集国内外各级政府网站的时政板块，官方社交

媒体账号、移动客户端等信息传播渠道，全面搜集政务相关信息、社交媒体博2

文、评论、图片等素材，优化本项目基础平台数据资源库，补充支撑本项目所需的政务数据资源。实现对各级政府部门资源的整合和利用，建立起强大的政务信息资源库体系。数据采集层：本项目数据源以外部数据为主，需要使用分布式大数据抓取系统采集国内

外政务数据。数据采集系统包括但不限于对网站、社交平台和新闻客户端的采集账号分级策略、采集策略。并提供抓取系统相关调度策略，去重策略，采集IP及代理资源使用策略管理，输出管理，采集数量统计等功能。通过数据爬虫对各级政府部门的政务信息资源进行汇聚，实现跨部门的政府资源整合和利用。大数据平台层：大数据平台层主要用于接收、存储由采集系统、数据推送接口接收的全部

数据，并且平台可以通过后台配置界面配置数据接入方式。平台包括所有上层应用所需要的基础环境组件，并具备离线、流式、批量的数据处理能力。同时，平台可通过可视化界面配置各个流程，其具备调度数据处理程序的能力，并且对流程任务和平台组件情况进行监控、统计。在安全层面，平台可通过多元化的权限管理形式，对操作用户进行便捷的管理。受众属性、行为信息库主要是用来记录对外政务信息服务平台来访受众属性信息和行为信息，后续为对受众进行画像，构建政务用户信息推荐模型，对政务信息进行分众推荐。数据存储层：数据存储层主要用来存储相关政务数据，包括政务信息库、百科垂直知识

3

库、系统业务数据库、受众属性行为信息库等。政务信息库主要来源抓取系统采集国内外政务数据，作为本项目数据资源的扩容，优化本项目大数据基础平台数据资源库，补充支撑本项目所需的政务数据资源。政务百科知识库则主要提供各类垂直政务领域（如：政府采购类、法律法规类、招商信息类）的政策法规、名词解释、案例背景等。系统业务数据库主要记录业务系统的操作日志，为后续优化系统功能、提升系统使用效率提供支撑。数据处理及模型服务层：数据处理部分是整个平台功能建设的核心部分，该部分将底层采集到的外

部数据进行清洗加工处理，使数据产生应有价值，以达到系统建设的最终目的。该部分包括三大部分处理，即文本模型处理、业务模型处理、数据管理。数据管理：数据管理需要对接入的政务数据进行加工处理，包括数据的初

步汇集、清洗、整合。同时需要对政务资源数据进行一致性检查和审核，保证数据的质量。除了爬取的政务数据之外，还需要手动录入、接口引入等多种方式相结合，多方位多渠道补充数据，实现跨部门的政府资源整合和利用。文本模型处理：基于日报社已建设的文本分析服务，对收集到的数据进行

标签化处理。通过热点识别分析、命名实体识别、文本自动摘要、情感分析、文本相似度、情感分析、聚类分析等已有服务接口，对接入的数据政务信息进行多层级、多维度半自动标注，构建起多层次分类标签体系。业务模型处理：在业务模型算法部分，需要对政务信息数据进行深层次挖

掘分析，实现政务信息热点的自动发现、实现政务信息传播影响力评估，实现

4

政务信息传播影响力评估、实现政务信息的引载、溯源以及跨平台传播进行分析等内容。从而构建起政务信息相关应用模型并实现，帮助系统自动、高效地运作。服务管理层：服务管理层对服务进行高度解耦，构建细粒度、扁平化的服务资源池，统

一为上层应用提供功能和数据支撑。通过服务管理平台作为服务注册和服务治理的管控中枢，向上层应用提供的服务必须通过服务管理平台进行统一管控。主要包括服务编排、服务注册、服务审计、服务扩容等功能，通过这些能力，保证整个系统功能和规模能够持续扩展，控制系统的复杂度，降低系统部署依赖、运维难度、集成测试难度。应用系统层：应用系统层：最终呈现在用户面前的是该层建设内容。该层包括包括政务

信息监测、政务大数据分析、政务传播追踪分析、政务信息服务、政务影响力分析及绩效考核、百科垂直知识库等六大子系统。几大系统功能相对独立但均需要底层服务及数据的支持。政务信息监测：主要是对全球时政热点、全球涉华时政热点、网民热议时

政热点进行监测，并对时政报道进行汇总监控，并运用可视化的图表，对分析结果、热点、趋势等内容进行多维度的展示。政务大数据分析：利用定向抓取、数据整合、自然语言处理、文本分析、

知识图谱等技术实现对政策相关信息（包括全球范围内主流媒体、智库和社交5

平台相关时政信息）的定向采集、汇聚及深度分析，通过构建人物、组织关系图谱实现国际政要、时政意见领袖和组织之间关联关系的分析，利用热点话题发现技术获取主流媒体报道观点，分析特定政策网民的关切内容，并借助可视化技术实现对相关分析内容的展示。政务传播追踪分析：融合本项目采集的国内外网站、社交媒体、客户端等

政务开源数据，利用数据信息提取、聚类等数据挖掘技术建立不同来源的政务信息的关联关系，实现全国各地政府对国务院政策的响应和落实情况的跟踪和分析。通过建立原创、转引算法模型，分析政务信息的来源及转发情况，实现政务信息引载、溯源以及跨平台传播进行分析。政务信息服务（跨平台用户服务体系）：利用大数据平台的智能检索引擎

技术、推荐算法、信息标注技术、关键词提取技术、摘要提取技术、信息聚类等技术，将数据平台采集到的政务数据进行综合统计与分析，实现政务信息的多维度交互式浏览、政务信息一站式智能检索、政务信息分众推荐、分类别最受欢迎政务信息排行、政务信息在线评论、政务信息分享等功能。政务影响力及绩效考核系统：基于中国日报媒体大数据平台已有的媒体传

播影响力和绩效评价体系，构建政务信息影响力指数模型，以政务信息影响力指数为核心、实现多类型单篇政务信息传播影响力评估、对内政务专题评估、对外政务专题评估、新媒体政务信息影响力评估和辅助决策体系，同时利用大数据处理平台对基础数据进行分析挖掘，提供影响力分析考核依据和决策依据。并依据传播效果，引入各级政府绩效考评体系，辅助政府管理层与决策者督导

6

与考评。百科垂直知识库：知识库包含丰富的政务条目，提供各类垂直政务领域

（如：政府采购类、法律法规类、招商信息类）的政策法规、名词解释、案例背景等信息，为用户提供更加全面、及时、便捷和良好互动的政务信息。本项目通过上述功能设计，可满足业务需求，且各模块之间相对独立性较

强，相互依赖的服务采用接口或微服务调用的方式相互依托，以达到最终业务目的。2 总体系统架构设计

总体架构设计如上图所示，整体系统可划分为八层，分别是云服务层、数

7

据源层、数据采集层、数据存储层、数据处理层、模型服务层、服务管理层、前方业务应用系统层。此外权限管理和系统应用监控为渗透至多个基础层级的功能层。下面将逐层介绍每层内部涵盖的功能。

云服务层：本项目构建在云服务器上，通过云服务器获取简单高效、安全可靠、处理能力可弹性伸缩的计算服务。项目将根据具有要求部署在日报社的私有云平台或者公有云平台上，以满足客户的不同要求。数据源层：本项目数据源可以总结为五大类，中文政务数据、英文政务数

据、海外社交账号政务数据、微博、微信政务数据、新闻客户端政务数据等； 通过实时监测并采集国内外各渠道政务数据，实现对各级政府部门资源的整合和利用，建立起强大的政务信息资源库体系。数据采集层：数据通过分布式大数据抓取平台和数据接口接入至平台中。

数据抓取平台本身自带一定的数据过滤和去重功能，在数据接入后需要对数据内容做一系列的内容加工处理后存入不同业务需求的存储组件中。在读入数据过程中，对接入的数据量进行监控和统计用于上游应用展示。数据存储层：按照数据的属性及需求实现分区存储，数据存储层使用了

HDFS、Hive、HBase、MySQL、Elasticsearch、Codis等存储组件，分别存放用于支撑不同功能的数据。根据上层业务需要，可把数据存储用途分为政务数据库、百科垂直知识库、受众属性行为库等。Hive主要用于存储行为数据、政务数据等；MYSQL用于存放各应用系统的元数据、分析数据、结果数据等；GlusterFS

主要用来存储抓取的图片、音视频等多媒体数据；ES则主要存储标引过后的政

8

务数据等，实现对内容的快速检索功能。数据处理层：数据管理层主要用于管理数据生命周期，将采集到的大量数

据使其产生价值用于应用系统使用的重要环节，在该层需要对数据进行大量加工处理。在处理模式上可分为批量处理、流处理与离线处理。实时处理接收到的政务信息数据，为这些数据添加特征标引等工作。同时每天定时调用业务模型对数据进行分析，进行业务模型预测。在数预处理层包含了数据挖掘、机器学习、模型计算、自然语言处理、数据统计与分析、工作流调度等功能。服务管理层：该层对于符合微服务设计理念的功能，采用微服务架构设计，

此层级多为接口，作为上层应用和底层数据的通信桥梁。即根据数据资源的分类及产品的功能，对服务进行分类，分级拆分，封装为细粒度的服务，形成汇聚各种服务的资源池。服务资源由服务管理平台进行统一调度，包括服务管理（注册、认证、监控、审计、授权）、任务调度、服务发现等功能。模型服务层：基于日报社已建设的文本分析服务，对收集到的数据进行标

签化处理。通过热点识别分析、命名实体识别、文本自动摘要、情感分析、文本相似度、情感分析、聚类分析等已有服务接口，对接入的数据政务信息进行多层级、多维度半自动标注，构建起构多层次分类标签体系。同时根据业务模型算法，需要对政务信息数据进行深层次挖掘分析，实现

政务信息热点的自动发现、实现政务信息传播影响力评估，实现政务信息传播影响力评估、实现政务信息的引载、溯源以及跨平台传播进行分析等内容。从而构建起政务信息相关应用模型并实现，帮助系统自动、高效地运作。

9

应用系统层：该层包括三个子系统功能：政务信息门户，政务影响力及绩效考核系统、百科垂直知识库。三个系统间功能相对独立但均需要底层服务及数据的支持。

系统管理及日志监控层：该层主要是用于监控和操作所有基础层级的配置等信息。在项目实时与后期维护中，管理员和运维人员主要通过与此层级功能交互，以达到维护和控制系统的目的。3 总体技术架构设计

本系统构建于 JAVA EE平台，采用了相关大数据技术，通过分层提供服务支持的设计思想，将系统划分为数据存储，数据采集和，数据处理，模型分析服

10

务，微服务体系，容器体系，前端服务，应用监控及日志监控等几部分。系统对每一层定义明确的功能接口，同时在层次内实现组件化的接口实现。层次化、模块组件化的实现，使系统具备了最大程度的灵活度，从而能对业务需求的变化做出快速的反应，使系统具有很好的扩展性。系统从最底部的数据源层开始，一层一层的向上提供接口服务，最终实现

用户按业务要求的可见操作界面和其他系统接口。各层次专著于自身功能的接口实现，整个层次保持相对的稳定。系统通过不改变接口，各个层次、各个组件进行优化的策略，能在不影响整个业务的前提下，不断的完善和改进。系统支持多源异构数据根据数据自身和业务特点进行存储，充分发挥出这

些分布式存储组件的优势来。在数据采集方面，系统支持多种数据接入方式，例如网络爬虫，HTTP，db，mq，ftp等方式，以满足不同的数据来源接入需求。数据入库后，相关处理服务会分布式处理这些数据，提供离线处理，实时处理，微批次处理等多种处理方式。模型分析模块则对数据处理过程提供相关服务支撑，对数据进行标引，摘要，情感分析，以及模型预测等处理。上层接口服务以微服务+容器方式进行部署。微服务采用 Spring Cloud 技术栈，系统将选用技术栈中的一些常用的组件，搭建起整个服务体系。同时这些服务都将容器化部署，系统使用 Docker官方三剑客建立起整个体系，同时提供容器集群管理页面和镜像私有仓库等功能。前端我们将采用当前主流的Web 开发技术,保持界面简洁 、 框 架 清 晰 、 美 观 大 方 。 对 后 台 服 务 ， 我 们 引 入Telegraf、InfluxDB、Grafana、Supervisor等组件，对后台服务进行应用监控和定时调度。同时对服务生成的日志，我们将使用 ELK搭建起日志分析平台，对日

11

志进行相关分析处理。技术架构自下而上分为八层，下边依次进行说明。数据采集层：数据采集层主要由分布式爬虫组成，通过 Quzrtz 定时组件，

Netty 网络通信组件，MQ 消息等组件进行抓取系统的构建，同时支持Http、Socket等多种通信协议，数据汇总后存储大数据平台存储组件中。数据处理层：数据接入后需要对数据进行处理，对脏数据、非法数据的过

滤和清洗，数据格式的统一标准化，对某些数据提取有效数据部分以节省存储空间，多渠道数据的汇总整合功能均在数据初步整理时完成。除此之外，政务信息数据的文本特征、标引等信息通过调用文本及模型服务，进行对应标签的添加或做相关模型预测。数据处理部分包括离线处理、流式实时处理。离线处理主要使用、Hive、MR等组件进行计算、中间数据存储等操作。实时处理部分则使用 Storm、Spark Streaming和定制化实时处理程序持续地实时地进行计算和存储。数据存储层：经过数据初 步处理的过滤、筛选、加 工后数据存入

HDFS、ES、GlusterFS等存储组件，供上层业务应用使用。模 型 服 务 层 ： 基 于 开 源 商 用 机 器 学 习 模 型 算 法 cikit-

learn、SparkMLlib、TensorFlow等组件，建立起文本相关分析服务，以及相关模型预测服务。对数据进行深层次的挖掘和分析，提取相关标签信息。

微服务层：微服务采用 Spring Cloud 技术栈，实现服务发现注册、配置中心、消息总线、负载均衡、断路器、数据监控等功能，简化分布式系统基础设施的

12

开发。容器层：容器服务提供高性能可伸缩的容器应用管理服务，支持用 Docker

和 Swarm进行容器化应用的生命周期管理，提供多种应用发布方式和持续交付能力并支持微服务架构。容器服务简化了容器管理集群的搭建工作，整合了云虚拟化、存储、网络和安全能力，打造云端最佳容器运行环境。

前端服务层：前端页面我们将采用当前主流的 React.js、AngularJs、Vue.js

等Web 开发技术进行开发 ,保持界面简洁、框架清晰、美观大方。同时使用 Keepalived+Keepalived 创建高性能的服务器高可用或热备解决方案，防止服务器单点故障的发生，实现 web 前端服务的高可用。监控层：监控层我们从应用、系统、日志等不同维度对整个平台进行监控。

我们通过 Supervisor，Cesi对分散在各服务器上服务进程进行管理和监控；通过Telegraf、InfluxDB、Grafana对服务器自身指标和组件性能进行监控，可以让用户实时了解服务器和相关组件性能状态，做针对性优化。同时我们通过 ELK对相关业务系统日志进行分析，监控业务异常日志，优化相关功能模块。4 微服务架构设计方案

微服务架构风格是一种使用一套小服务来开发单个应用的方式途径，每个服务运行在自己的进程中，并使用轻量级机制通信，通常是 HTTP API，这些服务基于业务能力构建，并能够通过自动化部署机制来独立部署，这些服务使用不同的编程语言实现，以及不同数据存储技术，并保持最低限度的集中式管理。项目系统建设整体将采用微服务架构进行设计与开发，服务以微服务+容器

13

方式进行部署。同时针对服务运行过程中的日志，安全，路由，缓存等问题，项目将引入服务管理平台进行统一配置和管理。4.1 功能架构设计

服务管理平台主要有 API 网关、熔断器、负载均衡和服务注册与发现这几部分组成，同时包括权限管理，日志审计等功能。平台实现了对各类数据服务和分析服务的统一管理与监控。主要提供服务注册、认证、授权、审计、监控等管理功能： 服务的注册管理

14

注册管理包括服务的注册、服务的查找及路由。服务注册用于发布服务，提供给服务请求方使用，服务请求方需要首先在系统中注册并提供相关应用的基本信息如 ID号、名称、请求接口、权限申请范围等。服务查找是服务的请求方在服务注册信息中查找到相应的服务，并根据查找到的服务绑定信息，调用该服务，需要部署服务检索系统并提供服务分级列表。服务路由是将服务请求方的请求按照一定的路由规则发送到相应的服务提供方。

服务的认证管理服务的认证管理包括服务的认证鉴权，用于鉴别服务请求方是否具有服务

调用权限，服务请求方在提交服务注册和申请后，授权管理服务会对申请方进行认证，确定是否符合要求后批准或拒绝开放授权，并提供进一步的说明。

服务授权管理服务的授权管理用于确定服务请求方可调用的服务权限并进行关联，需要

建立用户列表和服务交互接口权限列表，并设立权限分级制度，包括服务的认证鉴权、权限管理。服务认证鉴权是用于鉴别服务请求方是否具有服务调用权限，权限管理是用于确定服务请求方可以调用的服务，并进行关联。

服务审计管理服务审计管理通过对请求方与数据服务的交互记录及日志记录等进行分析，

提示可能存在危险行为的服务调用并保存审计结果。 服务的监控管理

15

包含服务的监控管理和服务的访问频度管理。服务监控管理主要是用于管理服务调用过程中产生的日志信息，包括服务注册信息、服务访问信息和服务运行信息等的监控。访问频度管理是对外部应用接入访问的频度管理，有效避免恶意攻击，确保数据访问性能与安全。4.2 技术架构设计

本项目微服务采用 Spring Cloud 技术栈，系统将选用技术栈中的一些常用的组件，搭建起整个服务体系。同时这些服务都将容器化部署，系统使用 Docker

容器建立起整个体系，同时提供容器集群管理页面和镜像私有仓库等功能；从整体来看一下 Spring Cloud主要的组件，以及它的访问流程：1、外部或者内部的非 Spring Cloud项目都统一通过 API网关（Zuul）来访问

16

内部服务.

2、网关接收到请求后，从注册中心（Eureka）获取可用服务3、由 Ribbon进行均衡负载后，分发到后端的具体实例4、微服务之间通过 Feign进行通信处理业务5、Hystrix负责处理服务超时熔断6、Turbine监控服务间的调用和熔断相关指标

4.3 API体系设计API 网关是一个服务器，也可以说是进入系统的唯一节点。API 网关封装内

部系统的架构，并且提供 API 给各个客户端。它还可能还具备授权、监控、负载均衡、缓存、请求分片和管理、静态响应处理等功能。

17

API 网关负责服务请求路由、组合及协议转换。客户端的所有请求都首先经过 API 网关，然后由它将请求路由到合适的微服务。API 网关经常会通过调用多个微服务并合并结 果来处理一个请求。它可以在 web 协议（如 HTTP 与 WebSocket）与内部使用的非 web 友好协议之间转换。

API 网关还能为每个客户端提供一个定制的 API。通常，它会向移动客户端暴露一个粗粒度的 API。API 网关通过调用各个服务并合并结果来处理请求。对于大多数应用程序而言，API 网关的性能和可扩展性都非常重要。因此，

将 API 网关构建在一个支持异步、I/O 非阻塞的平台上是合理的。有多种不同的技术可以实现一个可扩展的 API 网关。在 JVM 上，可以使用一种基于 NIO 的框架进行开发或选型。本项目采用 Zuul作为服务网关，它是一个网关组件。提供动态路由,监控,弹

性,安全等边缘服务的框架。通过加载动态过滤机制，从而实现以下各项功能： 验证与安全保障: 识别面向各类资源的验证要求并拒绝那些与要求不符的请求。

审查与监控: 在边缘位置追踪有意义数据及统计结果，从而为我们带来准确的生产状态结论。

动态路由: 以动态方式根据需要将请求路由至不同后端集群处。 压力测试: 逐渐增加指向集群的负载流量，从而计算性能水平。 负载分配: 为每一种负载类型分配对应容量，并弃用超出限定值的请求。

18

静态响应处理: 在边缘位置直接建立部分响应，从而避免其流入内部集群。

多区域弹性: 跨越区域进行请求路由，旨在实现使用多样化并保证边缘位置与使用者尽可能接近。

19