大数据可视化怎么做是个热门话題在信息安全领域，也由于很多企业希望将大数据转化为信息可视化呈现的各种形式以便获得更深的洞察力、更好的决策力以及更强嘚自动化处理能力，数据可视化怎么做已经成为网络安全技术的一个重要趋势

1.1 故事+数据+设计 =可视化

1.2 可视化设计流程

二、案例一：大规模漏洞感知可视化设计

三、案例二：白环境虫图可视化设计

在这里我还是要推荐下我自己建的大数据学习交流扣裙： 957+205+962， 裙 里都是学大数据开發的如果你正在学习大数据 ，小编欢迎你加入大家都是软件开发党，不定期分享干货（只有大数据开发相关的）包括我自己整理的┅份2018最新的大数据进阶资料和高级开发教程，欢迎进阶中和进想深入大数据的小伙伴

一、什么是网络安全可视化

攻击从哪里开始目的是哪里？哪些地方遭受的攻击最频繁……通过大数据网络安全可视化图我们可以在几秒钟内回答这些问题，这就是可视化带给我们的效率 大数据网络安全的可视化不仅能让我们更容易地感知网络数据信息，快速识别风险还能对事件进行分类，甚至对攻击趋势做出预测鈳是，该怎么做呢

1.1 故事+数据+设计 =可视化

做可视化之前，最好从一个问题开始你为什么要做可视化，希望从中了解什么是否在找周期性的模式？或者多个变量之间的联系异常值？空间关系比如政府机构，想了解全国各个行业漏洞的分布概况以及哪个行业、哪个地區的漏洞数量最多；又如企业，想了解内部的访问情况是否存在恶意行为，或者企业的资产情况怎么样总之，要弄清楚你进行可视化設计的目的是什么你想讲什么样的故事，以及你打算跟谁讲

有了故事，还需要找到数据并且具有对数据进行处理的能力，图1是一个鈳视化参考模型它反映的是一系列的数据的转换过程：

我们有原始数据，通过对原始数据进行标准化、结构化的处理把它们整理成数據表。

将这些数值转换成视觉结构（包括形状、位置、尺寸、值、方向、色彩、纹理等）通过视觉的方式把它表现出来。例如将高中低嘚风险转换成红黄蓝等色彩数值转换成大小。

将视觉结构进行组合把它转换成图形传递给用户，用户通过人机交互的方式进行反向转換去更好地了解数据背后有什么问题和规律。

最后我们还得选择一些好的可视化的方法。比如要了解关系建议选择网状的图，或者通过距离关系近的距离近，关系远的距离也远

总之，有个好的故事并且有大量的数据进行处理，加上一些设计的方法就构成了可視化。

1.2 可视化设计流程

一个好的流程可以让我们事半功倍可视化的设计流程主要有分析数据、匹配图形、优化图形、检查测试。首先茬了解需求的基础上分析我们要展示哪些数据，包含元数据、数据维度、查看的视角等；其次我们利用可视化工具，根据一些已固化的圖表类型快速做出各种图表；然后优化细节；最后检查测试

具体我们通过两个案例来进行分析。

二、案例一：大规模漏洞感知可视化设計

图2是全国范围内各个行业漏洞的分布和趋势，橙黄蓝分别代表了漏洞数量的高中低

我们在拿到项目策划时，既不要被大量的信息资料所迷惑而感到茫然失措也不要急于完成项目，不经思考就盲目进行设计首先，让我们认真了解客户需求并对整体内容进行关键词嘚提炼。可视化的核心在于对内容的提炼内容提炼得越精确，设计出来的图形结构就越紧凑传达的效率就越高。反之会导致图形结構臃肿散乱，关键信息无法高效地传达给读者

对于大规模漏洞感知的可视化项目，客户的主要需求是查看全国范围内各个行业的漏洞汾布和趋势。我们可以概括为三个关键词：漏洞量、漏洞变化、漏洞级别这三个关键词就是我们进行数据可视化怎么做设计的核心点，整体的图形结构将围绕这三个核心点来展开布局

在这里我还是要推荐下我自己建的大数据学习交流kou裙： 957+205+962， 裙 里都是学大数据开发的如果你正在学习大数据 ，小编欢迎你加入大家都是软件开发党，不定期分享干货（只有大数据开发相关的）包括我自己整理的一份2018最新嘚大数据进阶资料和高级开发教程，欢迎进阶中和进想深入大数据的小伙伴

想要清楚地展现数据就要先了解所要绘制的数据，如元数据、维度、元数据间关系、数据规模等根据需求，我们需要展现的元数据是漏洞事件维度有地理位置、漏洞数量、时间、漏洞类别和级別，查看的视角主要是宏观和关联涉及到的视觉元素有形状、色彩、尺寸、位置、方向，如图4

匹配图形的同时，还要考虑展示的平台由于客户是投放在大屏幕上查看，我们对大屏幕的特点进行了分析比如面积巨大、深色背景、不可操作等。依据大屏幕的特点我们對设计风格进行了头脑风暴：它是实时的，有紧张感；需要新颖的图标和动效有科技感；信息层次是丰富的；展示的数据是权威的。

最後根据设计风格进一步确定了深蓝为标准色代表科技与创新；橙红蓝分别代表漏洞数量的高中低，为辅助色；整体的视觉风格与目前主鋶的扁平化一致

有了图形后，尝试把数据按属性绘制到各维度上不断调整直到合理。虽然这里说的很简单但这是最耗时耗力的阶段。维度过多时在信息架构上广而浅或窄而深都是需要琢磨的，而后再加上交互导航使图形更“可视”。

在这个任务中图形经过很多佽修改，图7是我们设计的过程稿深底，高亮的地图多颜色的攻击动画特效，营造紧张感；地图中用红、黄、蓝来呈现高、中、低危的漏洞数量分布情况；心理学认为上方和左方易重视“从上到下”“从左至右”的“Z”字型的视觉呈现，简洁清晰重点突出。

完成初稿後我们进一步优化了维度、动效和数量。维度：每个维度只用一种表现，清晰易懂；动效：考虑时间和情感的把控从原来的1.5ms改为3.5ms；數量：考虑了太密或太疏时用户的感受，对圆的半径做了统一大小的处理

最后还需要检查测试，从头到尾过一遍是否满足需求；实地投放大屏幕后用户是否方便阅读；动效能否达到预期，色差是否能接受；最后我们用一句话描述大屏用户能否理解。

三、案例二：白环境虫图可视化设计

如果手上只有单纯的电子表格（左）要想找到其中IP、应用和端口的访问模式就会很花时间，而用虫图（右）呈现之后虽然增加了很多数据，但读者的理解程度反而提高了

当前，企业内部IT系统复杂多变存在一些无法精细化控制的、非法恶意的行为，洳何精准地处理安全管理问题呢我们的主要目标是帮助用户监测访问内网核心服务器的异常流量，概括为2个关键词：内网资产和访问关系整体的图形结构将围绕这两个核心点来展开布局。

接下来分析数据案例中的元数据是事件，维度有时间、源IP、目的IP和应用查看的視角主要是关联和微观。

根据以往的经验带有关系的数据一般使用和弦图和力导向布局图。最初我们采用的是和弦图圆点内部是主机，用户要通过3个维度去寻找事件的关联通过测试发现，用户很难理解因此选择了力导向布局图（虫图）。第一层级展示全局关系第②层级通过对IP或端口的钻取进一步展现相关性。

在这里我还是要推荐下我自己建的大数据学习交流kou裙： 957+205+962 裙 里都是学大数据开发的，如果伱正在学习大数据 小编欢迎你加入，大家都是软件开发党不定期分享干货（只有大数据开发相关的），包括我自己整理的一份2018最新的夶数据进阶资料和高级开发教程欢迎进阶中和进想深入大数据的小伙伴

优化图形时，我们对很多细节进行了调整： – 考虑太密或太疏时鼡户的感受只展示了TOP N。 – 弧度、配色的优化与我们UI界面风格相一致。 – IP名称超长时省略处理 – 微观视角中，源和目的分别以蓝色和紫色区分同时在线上增加箭头，箭头向内为源向外是目的，方便用户理解 – 交互上，通过单击钻取到单个端口和IP的信息；鼠标滑过時相关信息高亮展示这样既能让画面更加炫酷，又能让人方便地识别

通过调研，用户对企业内部的流向非常清楚视觉导向清晰，钻取信息方便色彩、动效等细节的优化帮助用户快速定位问题，提升了安全运维效率

总之，借助大数据网络安全的可视化设计人们能夠更加智能地洞悉信息与网络安全的态势，更加主动、弹性地去应对新型复杂的威胁和未知多变的风险

可视化设计的过程中，我们还需偠注意：1、整体考虑、顾全大局；2、细节的匹配、一致性；3、充满美感对称和谐。

关注微信工宗号：程序员交流互动平台！获取资料学習！

人们预期数据可视化怎么做过程會继续发展也许更多的是艺术和科学的混合，而不是数字计算技术

数据可视化怎么做是指以图形或图表格式通过人工或以其他方式组織和显示数据，以使受众能够：

• 简化正在使用的数据中的复杂性

• 了解并掌握正在使用的数据制作方法

可视化并不是一个新的概念

这种使用圖片(排版、色彩、对比度和形状)来传达或理解数据的概念并不是新鲜事物从17世纪的手工描绘地图和图形到十九世纪初发明的饼图都是这種形式。

如今计算机可以用来快速处理大量的数据，使可视化更具价值展望未来，人们可以预期数据可视化怎么做过程将会继续发展也许更多的是一种艺术和科学的混合，而不是数字计算技术

数据可视化怎么做演进过程的一个令人兴奋的例子是，业界如何将数据可視化怎么做过程转移到生成和发布图表和图形的过程中供观众进行审查和仔细考虑，从而设定了交互式可视化的期望

通过交互式的可視化，人们可以更多地使用数据可视化怎么做的概念进一步利用技术让观众与数据交互，为用户提供自助服务能力以实时(或接近实时)茭互式地深入到生成的图片、图表、图形(访问更多或特定的细节)来改变显示的数据(可能是不同的时间框架或事件)以及如何处理和/或呈现(可能选择条形图而不是饼图)。这使可视化更加有效和个性化

人们可以通过使用数据驱动文档(D3)的典型网络浏览器在各种示例中介绍显示大数據分析结果的主题。D3允许将预先构建的数据可视化怎么做应用于数据集

数据驱动的文档在开放社区中被称为D3。D3是一个采用JavaScript编写的开源库其目标是允许使用标准网页浏览技术(如HTML或CSS)轻松地处理基于数据的文档。它的附加值是为用户提供全面的功能而无需自己构建或绑定到某个专用的框架中。

这些库组件为用户提供了优秀的大数据可视化怎么做工具和DOM操作的数据驱动方法 D3的功能风格允许用户重新使用已经構建的库代码模块(或者其他已经构建的代码模块))来添加用户需要或想要(或不想要)的任何特定功能。这就创建了一种可以变得像用户想要的那样强大(或者有时间去做)的手段为其数据可视化怎么做提供一个独特的风格，操纵并使之互动这正是用户想要或需要的。

正如前面所討论的事实上人们每天都在收集和积累大量数据，而组织出于各种原因依赖这些信息

这些数据使用各种报告格式，包括数据仪表板僦像所有的事情一样，人们对于数据仪表板的定义有各种各样的担心

例如，A.Chiang写道：“仪表板是实现一个或多个目标所需的最重要信息的矗观展示在一个屏幕上合并和排列，以便一目了然地监视信息”

无论其定义如何，如果设计和建造得当的话任何仪表板都有能力为受众提供及时而重要的信息，供决策者使用

仪表盘以相关的、简明的、深思熟虑的方式(不仅仅是工作簿或电子表格中的可视表示的集合)呈现数据是至关重要的。而仪表盘上的数据显示过时和错误那么由此做出决定可能会导致灾难。

通过仪表板可以演示解决方案的工作示唎而这样的示例基于使用Tableau的实时仪表盘格式，基于大数据分析有效呈现出结果

Tableau是一种商业智能软件，旨在帮助人们查看和理解数据Tableau鈈仅仅是一个代码库，也被认为是一组或一系列交互式数据可视化怎么做产品

Tableau的结构可以使人们能够将来自多个来源的多个数据视图组匼到一个高效的仪表板中，从而为数据消费者提供更丰富的见解Tableau还可以处理各种格式(包括结构化和非结构化)的数据，并且可以处理大数據量(可能是TB字节或PB字节或数百万或数十亿行代码)，从而将大数据转化为针对目标受众的有价值的可视化结果

为了解决当今大数据世界嘚速度问题，人们可以使用Tableau直接连接到本地数据中心和云端的数据源或者将数据导入快速内存性能。

Tableau的另一个目标是自助服务分析用戶可以通过对话选择数据来提问(实时模式而不是批处理模式)使用简单的点击分析直观地挖掘大数据，并有效地发现数据集或数据集中可能存在的理解和机会

Tableau提供的一些令人兴奋的功能包括：

• 实时的地区或区域数据探索

异常点是一个与数据中其他观测数据点相距甚远或极大鈈同的观测点。尽管异常值通常只表示大约1%到5%的数据但当企业处理大数据时，调查甚至只是查看数据的1%到5%是相当困难的

人们可以看到，异常值可以被确定为非影响力的或者对数据可视化怎么做所要处理的点非常有影响力

做出这一决定的行为或过程对于企业的分析非常偅要，但处理大数据的大容量、多样性和速度也是非常困难的例如，帮助做出这个决定的一个基本步骤是测定样品的大小这是一个计算异常值与数据样本大小的主要数学过程，当数据量十分庞大时这不是一个简单的任务。

人们可以使用Python高效地识别和处理大数据异常值(鉯及其他一些数据集异常)Python是一种脚本语言，它非常容易学习因为它的编码语法非常类似于英语。

Python是2016年9种最受欢迎??的编程语言之一由Bouwkamp公司提供，Python被列在顶级的按需编程语言中

Python诞生于1989年，由Guido van Rossum创建实际上Python的使用非常简单，但业界也认为其功能非常强大速度快，可以在任何环境中运行

根据定义描述，“开放源代码Python是世界各地许多公司和机构的生产力软件质量和可维护性成功公式的一部分。”

业界对利用Python语言进行数据分析和大数据分析的兴趣日益浓厚而且它是数据科学家日常工作的选择，因为它提供了一个库实际上是一个标准库(甚至有些专注于大数据，如Pydoop和SciPy)来完成几乎所有人需要或想要处理的数据包括：

• 将模型整合到生产系统中

最后要说明的是，Python的标准库非常廣泛提供了一系列内置模块来提供对系统功能的访问，以及标准化的解决方案来解决日常编程中出现的许多问题这是探索处理大数据離群值和相关处理的一个明显选择。

操作智能(OI)是一种分析方法试图通过(通常是机器生成的)操作或事件数据来提供可视性和洞察力，实时運行针对数据流馈送的查询产生作为操作指令的分析结果，可以通过人工或自动操作(将数据集转化为价值的明确例子)让组织立即执行

複杂的操作智能(OI)系统还提供了将元数据与数据中发现的某些度量、流程步骤、渠道等相关联的能力。有了这个能力就很容易获得额外的楿关信息，例如机器生成的操作数据通常都具有唯一的标识符和结果或状态代码。这些代码或标识符对于处理和存储可能是有效的但昰并不总是易于理解。为了使这些数据更具可读性(因此更有价值)可以将更多用户友好的附加信息与数据结果相关联 – 可能是以状态或事件描述的形式，或者可能是产品名称或机器名称

一旦了解将基本分析和可视化技术应用于操作大数据的挑战，数据的价值可以更好或更赽地实现人们将运用Splunk智能化操作来展示操作或大数据评估解决方案的工作示例。

那么什么是Splunk?Splunk开始是一种“Google for Log”文件。它还有更多的功能…它存储所有的日志并提供非常快速的搜索功能，大致就像Google为互联网做的一样…

Splunk软件是帮助实现隐藏的价值在机器生成的一个很好的工具使用Splunk，企业可以在一个地方收集、索引、搜索、分析以及可视化所有数据，从几乎任何地方提供一种整合方法可以从大量机器数據中组织和提取实时信息。

Splunk将数据存储在文件中为文件分配索引。 Splunk不需要在后台运行任何数据库软件来实现此目的Splunk调用这些文件索引器。Splunk可以对任何类型的时间序列数据(具有时间戳的数据)进行索引使其成为大数据操作智能(OI)解决方案的最佳选择。在数据索引期间Splunk会根據其标识的时间戳将数据分解为事件。

尽管使用简单的搜索术语(例如机器ID)Splunk也提供了自己的搜索处理语言(SPL)。 Splunk SPL(将其视为SQL类型)是一种非常强大嘚工具用于搜索大数据并对特定场景中的相关内容执行统计操作。