网络流量监测分析及可视化 -- 中国科技网全网网络流量分析系统培训

43
中中中中中中中中 中中中中 [email protected] 中中中 [email protected]

description

网络流量监测分析及可视化 -- 中国科技网全网网络流量分析系统培训. 中国科技网研发部 联系邮箱 [email protected] 韩春静 [email protected]. 报告提纲. 全网流量分析系统简介与目前使用情况 流量分析技术介绍 可视化技术介绍 全网流量分析系统系统使用培训. 全网流量分析系统简介与目前使用情况. 用户网络流量 带宽饱和状态. 全网流量分析系统项目背景介绍. 网络带宽持续增长的原因对管理者未知 科研应用信息化程度对管理者非常重要 利用网络进行科研数据交互的国外科研机构是研究所的重要资源. 各种国际科研研究机构和网络机构. - PowerPoint PPT Presentation

Transcript of 网络流量监测分析及可视化 -- 中国科技网全网网络流量分析系统培训

Page 1: 网络流量监测分析及可视化 -- 中国科技网全网网络流量分析系统培训

中国科技网研发部 联系邮箱 [email protected] 韩春静 [email protected]

Page 2: 网络流量监测分析及可视化 -- 中国科技网全网网络流量分析系统培训

全网流量分析系统简介与目前使用情况 流量分析技术介绍 可视化技术介绍 全网流量分析系统系统使用培训

Page 3: 网络流量监测分析及可视化 -- 中国科技网全网网络流量分析系统培训
Page 4: 网络流量监测分析及可视化 -- 中国科技网全网网络流量分析系统培训

各种国际科研研究机构和网络机构

网络带宽持续增长的原因对管理者未知

科研应用信息化程度对管理者非常重要 利用网络进行科研数据交互的国外科研机构是研究

所的重要资源

用户网络流量带宽饱和状态

Page 5: 网络流量监测分析及可视化 -- 中国科技网全网网络流量分析系统培训

网络管理者需要获得使用网络的详细情况

分析网络流量

Page 6: 网络流量监测分析及可视化 -- 中国科技网全网网络流量分析系统培训

全网流量分析系统从各个角度和深度分析科技网流量应用组成,用户使用习惯,科研流量去向等,为院和研究所信息化领导,科技网中心管理者、研究所网络管理者提供信息化管理工具

院“十一五”信息化项目

中国科技网网络中心研发部自主开发

项目介绍

Page 7: 网络流量监测分析及可视化 -- 中国科技网全网网络流量分析系统培训

2008年 12 月份 -2009年 2 月份,需求调研 2009年 3 月份 -8 月份,系统设计和开发 2009年 8 月份 -10 月份,系统测试 2009年 10 月份 -12 月份,新增功能设计开发 2010年 1 月份 -3 月份,系统测试 2010年 3 月份 - 至今,院内研究所开放使用。

目前系统上线运行正常,已经为全院的研究所开放了账户,多个研究所使用后,评价系统功能强大,很方便使用!

多次为院信息化专家组演示系统功能,得到了专家的指导和肯定!

Page 8: 网络流量监测分析及可视化 -- 中国科技网全网网络流量分析系统培训

高速链路流量实时捕获技术 深度包监测技术 海量数据高性能处理与存储技术 创新可视化流量展现

Page 9: 网络流量监测分析及可视化 -- 中国科技网全网网络流量分析系统培训

科研流量协作分析

应用分析 Top IP 地

址分析 Top IP 地

址对分析 记账信息 主机活跃

度分析 分院统计

报告 研究所统

计报告DPI 设备

DPI 流接收器流接收器

数据库

WEB Service 中间服务层

链路分析 研究所分析 统计报告

网络气象图 科研流量协作分析 主机活跃度分析

网络层

处理层

应用层

netflow

缓存服务

数据处理器数据处理器

研究所管理者

Page 10: 网络流量监测分析及可视化 -- 中国科技网全网网络流量分析系统培训

DPI 探针通过镜像方式获得流量信息,不依赖路由器Netflow 的配置,不依赖路由器的硬件基本配置

DPI 探针可以为软件或者硬件,根据网络浏览级别大小选择

DPI 探针获得的应用流格式不固定,统一的处理程序不适用

DPI 探针流格式中间增加网络应用信息字段,应用信息通过应用分级获得不同的应用分析效果

DPI 探针数据量大于 Netflow ,需要在处理时增加采样,并采用分布式数据库进行数据处理和保存

与 Netflow 比较

Page 11: 网络流量监测分析及可视化 -- 中国科技网全网网络流量分析系统培训

Netflow 海量数据采用文件作为临时数据保持格式,数据批量导入数据库

增加最近时间段的的数据库快表,获得最近 5 分钟,一个小时,一天,一个月的数据统计结果,提高热点关注数据的查询效率

采用分表的方式,将不同颗粒度数据进行保存,保证长期数据存储和查询速度

Page 12: 网络流量监测分析及可视化 -- 中国科技网全网网络流量分析系统培训

虚链路:虚链路相对于交换机,路由器网络中的链路,通常, 2 个设备端口形成一条链路。虚链路指可以将链路进行相加,形成逻辑意义上的链路,即虚链路。

China:国内所有所有出口线路Foreign:国际所有出口线路Gloriad: Gloriad 所有线路All Border:国内和国际所有出口线路

Page 13: 网络流量监测分析及可视化 -- 中国科技网全网网络流量分析系统培训

交互图

静态图

文本

Page 14: 网络流量监测分析及可视化 -- 中国科技网全网网络流量分析系统培训

user1 2612597673600 2640897130800 5253494804400 user2 10688049000 8927868600 19615917600 user3 54381476600 49254297300 103635773900 user4 766579973300 861216720300 1627796693600 user5 2947147088800 3381686944000 6328834032800 user6 72153578000 47381412000 119534990000

user1261259767360

0 264089713080

0 525349480440

0 user2 10688049000 8927868600 19615917600 user3 54381476600 49254297300 103635773900

user4 766579973300 861216720300 162779669360

0

user5294714708880

0 338168694400

0 632883403280

0 user6 72153578000 47381412000 119534990000

越来越高效洞悉网络

Page 15: 网络流量监测分析及可视化 -- 中国科技网全网网络流量分析系统培训

数据可视化( Data Visualization)技术指的是运用计算机图形学和图像处理技术 , 将数据换为图形或图像在屏幕上显示出来 ,并进行交互处理的理论、方法和技术。它涉及到计算机图形学、图像处理、计算机辅助设计、计算机视觉及人机交互技术等多个领域。

流量可视化:即网络流量的信息可视化。我们可以通过数据可视化技术,发现大量 IP 地址、通信机构和不同应用隐含的规律,从而为决策提供依据。

Page 16: 网络流量监测分析及可视化 -- 中国科技网全网网络流量分析系统培训

Jfreechart, java 包,方便使用,对于复杂的图形绘制,每个参数需要设置,对使用者要求比较高

Flex chart, Adobe 自带包,需要对 Flex 开发比较熟悉,包中提供了各种丰富的图表控件以及灵活的控制参数,可以制作动态 flash 报表

Google Map 和 Google Earth 开发包,在程序中间可以方便的嵌入开发包,目前提供了flex, JavaScript, flash 等接口包

Page 17: 网络流量监测分析及可视化 -- 中国科技网全网网络流量分析系统培训

Open Flash Chart : http://teethgrinder.co.uk/open-flash-chart/ ,完全开源免费

Fusionchart: http://www.fusioncharts.com/ 非开源,具有免费使用版本 Anychart: http://www.anychart.com/home/ 非开源,可以下载使用,生成报表附 Logo Amchart: http://www.amcharts.com/ 非开源,可以下载使用,生成报表附 Logo

Page 18: 网络流量监测分析及可视化 -- 中国科技网全网网络流量分析系统培训

交互性强大,信息含量丰富 方便使用,配置简单仅仅需要修改数据文件格式和配置模板 可以在不同的开发语言上使用 需要对数据库比较熟悉 需要对每种工具的配置规则熟悉没有可视化的开发界面,预览需要通过调用程序调

Page 19: 网络流量监测分析及可视化 -- 中国科技网全网网络流量分析系统培训

WEBFOCUS Information Builders公司 Style Report 美国英网软件公司( InetSoft) 润乾报表 润乾公司

开源商业智能报表软件

openI http://openi.sourceforge.net/openi_product.html jaspersoft http://www.jaspersoft.com/ spagoBI http://www.spagoworld.org/xwiki/bin/view/SpagoBI/ pentaho http://www.pentaho.com/download/

Page 20: 网络流量监测分析及可视化 -- 中国科技网全网网络流量分析系统培训

数据访问 : 与数据库连通性,用户定制数据访问适配器 专业报表设计强大的所见即所得(WYSIWYG)报表设计工具,拥有像 Word 一样简单的操作过程,以及像 HTML 一般的精美布局,丰富的展现元素库 嵌入商业逻辑支持在报表、页面及元素中使用 JavaScript脚本,为报表植入复杂的商业逻辑,脚本可控的报表输出及报表打印 交互式报表视图提供零客户端下载的,安全可靠的报表门户 ,支持数据在已生成的报表内进行排序、过滤及隐藏 ,支持邮件发送,服务器端打印及客户端打印功能 嵌入机制与集成 支持 Web service和 SOAP 架构 ,可配置的报表门户组件,支持通过各种开发语言 API 对数据和报表进行操作

Page 21: 网络流量监测分析及可视化 -- 中国科技网全网网络流量分析系统培训

2010-5-19

韩春静:中国科技网网络中心研发部

时间:2010.05.14

全网流量分析系统系统使用培训

Page 22: 网络流量监测分析及可视化 -- 中国科技网全网网络流量分析系统培训

科研流量协作分析 应用分析 Top IP 地址分析 Top IP 地址对分析 记账信息 主机活跃度分析 分院统计报告 研究所统计报告

Page 23: 网络流量监测分析及可视化 -- 中国科技网全网网络流量分析系统培训

在这个功能模块中间,系统会呈现给用户一个地理的流量视图。用户可以查看本研究所流量与外部机构交互的情况

系统界面包括三个区域:◦ 选择区域◦ TopN表格◦ 地理视图

Page 24: 网络流量监测分析及可视化 -- 中国科技网全网网络流量分析系统培训

All Border 研究所的所有流量Gloriad 研究所通过 Gloriad 线

路的流量Foreign 研究所通过所有国际线

路的流量(包括 Gloriad)

China 研究所通过所有国内运营商线路的流量

选择虚链路

选择时间段当前 最近 5 分钟的流量汇总

统计一天 最近一天(最近 24 小

时)的流量汇总统计

一周 最近一周的流量汇总统计

一个月 最近一个月的流量汇总统计

大洲选择世界 提供点击其他大洲时回

到世界视图的链接北美 北美视图南美 南美视图亚洲 亚洲视图欧洲 欧洲视图非洲 非洲视图大洋洲 大洋洲视图

全屏按钮为了更全面、美观的查看地图,提供全屏按钮国家 /地区查询这部分在地图里点击任何国家,可以提供具体一个国家的查询。在查询区域没有显示,此功能的查询。

Page 25: 网络流量监测分析及可视化 -- 中国科技网全网网络流量分析系统培训

IP 地址对柱图更直观的展示外部机构交换流量最大的情况。

Page 26: 网络流量监测分析及可视化 -- 中国科技网全网网络流量分析系统培训

饼图中国家 /区域的大小显示了每个国家的流量比例,在 Top 10 的国家以外,还显示了其他国家 /区域的所有流量,名称为“其他”

Page 27: 网络流量监测分析及可视化 -- 中国科技网全网网络流量分析系统培训

在这个功能模块中间,系统提供研究所的分析数据和图表◦ 上行:指出研究所(科技网)的流量◦下行:指入研究所(科技网)的流量

Page 28: 网络流量监测分析及可视化 -- 中国科技网全网网络流量分析系统培训

菜单选择:流量分析》研究所分析 -》流量趋势 内容描述 系统提供链路流量总体的流量上下行图表

Page 29: 网络流量监测分析及可视化 -- 中国科技网全网网络流量分析系统培训

菜单选择:流量分析》研究所分析 -》应用组成 内容描述 系统提供此研究所出口流量在各个种应用分

布情况

Page 30: 网络流量监测分析及可视化 -- 中国科技网全网网络流量分析系统培训

菜单选择:流量分析》研究所分析 -》 TOP IP 地址

内容描述 系统提供研究所流量使用最多的 IP 地址情况,图表中提供 Top 10的 IP 地址柱图

Page 31: 网络流量监测分析及可视化 -- 中国科技网全网网络流量分析系统培训

菜单选择:流量分析》研究所分析 -》 TOP IP 地址对

内容描述 系统提供研究所出口流量中流量使用最多的

IP 地址对情况,图表中提供 Top 10的 IP 地址对柱图

Page 32: 网络流量监测分析及可视化 -- 中国科技网全网网络流量分析系统培训

菜单选择:流量分析》记账信息 内容描述 在这个功能模块中间,系统会提供研究所流

量统计的具体内容。研究所可以以此生成每个 IP 地址的记账信息◦ 实时流量查询◦日流量查询◦ 月流量查询

Page 33: 网络流量监测分析及可视化 -- 中国科技网全网网络流量分析系统培训

菜单选择:安全监测》主机活跃度 内容描述 系统分析研究所内部每个 IP 地址对外建立

Session 的活跃度情况,网络管理员可以根据Session 的活跃度来进行异常主机流量的监测。

主机活跃度图分为三个部分,选择区域(上部),时间列表(中部),活跃度拼图(下部)

Page 34: 网络流量监测分析及可视化 -- 中国科技网全网网络流量分析系统培训

选择“类型”解释◦会话数:根据 IP 地址在特定时间和外部 IP 地址建立的

session 数量进行汇总◦ PPS:根据 IP 地址在特定时间和外部地址的每秒包( packets)交换数量汇总

◦ BPS:根据 IP 地址在特定时间和外部地址的每秒位( bits)交换数量汇总

Page 35: 网络流量监测分析及可视化 -- 中国科技网全网网络流量分析系统培训

内容描述 统计报告为了向网络的管理者和研究所的管理者展

现出本单位网络应用的情况,统计报告分为院网报告,分院报告和研究所报告

流量应用分析报告每个月出一份,系统支持报告以PDF 的格式下载

院网报告分院报告研究所报告

报告分类

Page 36: 网络流量监测分析及可视化 -- 中国科技网全网网络流量分析系统培训
Page 37: 网络流量监测分析及可视化 -- 中国科技网全网网络流量分析系统培训

报表横轴为各种应用分类,纵坐标为流量值,本图对每种应用在一个月的流量情况使用柱图方式显示出来,每种应用一个柱子,分上行和下行组合,并对流量进行排序

流量趋势报表

流量应用组成报表

报表横轴为月报当月的日期,纵坐标为流量值,不同的颜色表示不同的应用。在趋势图中,不同的应用流量采用叠加的方式进行展示,可以从应用所占的面积来判断 应用的大小

Page 38: 网络流量监测分析及可视化 -- 中国科技网全网网络流量分析系统培训

报表横轴为研究所内部 Top 20的 IP 地址,纵坐标为流量值,本图以柱图方式显示了流量最多的Top 20 月流量情况

内部 Top IP 地址流量报表

外部 Top IP 地址流量报表

报表横轴为研究所外部 Top 20的 IP 地址,纵坐标为流量值,本图以柱图方式显示了与研究所通信的外部地址流量最多的 Top 20 月流量情况

Page 39: 网络流量监测分析及可视化 -- 中国科技网全网网络流量分析系统培训

内部 IP 地址 P2P 应用流量排名

外部 IP 地址 P2P 应用流量排名

报表横轴为研究所 P2P 应用流量的 Top 20 的内部 IP 地址,纵坐标为流量值,本图以柱图方式显示了研究所 P2P 应用流量最多的内部 Top 20 地址的月流量情况

报表横轴为研究所 P2P 应用流量中的外部 Top 20的 IP 地址,纵坐标为流量值,本图以柱图方式显示了研究所 P2P 应用流量最多的外部 Top 20 地址的月流量情况

Page 40: 网络流量监测分析及可视化 -- 中国科技网全网网络流量分析系统培训

外部 Web 服务器流量排名

外部 FTP 服务器流量排名

报表横轴为研究所 Web 应用流量中的外部Top 20的 IP 地址,纵坐标为流量值,本图以柱图方式显示了研究所 Web 应用流量最多的外部 Top 20 地址的流量情况

报表横轴为研究所 Ftp 应用流量中的外部 Top 20的 IP地址,纵坐标为流量值,本图以柱图方式显示了研究所 Ftp应用流量最多的外部 Top 20 地址的流量情况

Page 41: 网络流量监测分析及可视化 -- 中国科技网全网网络流量分析系统培训

报表横轴为研究所流量中 Top 20的 IP 地址对,纵坐标为流量值,本图以柱图方式显示了研究所流量最多的通信对的流量情况

IP 地址对流量排名

Page 42: 网络流量监测分析及可视化 -- 中国科技网全网网络流量分析系统培训

报表横轴为每个研究所,纵坐标为流量值,本图使用柱图的方式显示了分院内研究所的月流量情况,每个研究所一个柱子,分上行和下行组合,并对流量进行排序

研究所流量排名报表

Page 43: 网络流量监测分析及可视化 -- 中国科技网全网网络流量分析系统培训