深入大数据安全分析（1）：为什么需要大数据安全分析？
【前言】经过我们的不懈努力，2014年底我们终于发布了大数据安全分析平台（Big Data Security Analytics Platform，简称BDSAP）。那么，到底什么是大数据安全分析？为什么需要大数据安全分析？何时需要？谁需要？应用场景是什么？解决什么问题？有什么价值和意义？大数据安全分析将如何重塑网络安全技术领域？在目前如何建设大数据安全分析平台？从本期开始，我将开启一个新的系列文章&&深入大数据安全分析。如果说我在2011年底开始持续到2012年中的《当网络安全遇上大数据分析》系列文章是对业界大数据安全分析的系统化研究的开始的话，那么这个新的系列文章就是我们经过多年研究后获得的一些理解和体会。让我们一起走进大数据安全分析，探究一下他将如何改变我们的网络安全领域吧。
【关键词】大数据安全分析，大数据
【摘要】大数据改变着我们的方方面面，对于安全分析也不例外。安全要素信息呈现出大数据的特征，而传统的安全分析方法面临重大挑战，信息与网络安全需要基于大数据的安全分析。
毫无疑问，我们已经进入了大数据（Big Data）时代。人类的生产生活每天都在产生大量的数据，并且产生的速度越来越快。根据IDC和EMC的联合调查，到2020年全球数据总量将达到40ZB。2013年，Gartner将大数据列为未来信息架构发展的10大趋势之首。Gartner预测将在2011年到2016年间累计创造[1]&&&&&&&
【声明】:黑吧安全网()登载此文出于传递更多信息之目的，并不代表本站赞同其观点和对其真实性负责，仅适于网络安全技术爱好者学习研究使用，学习中请遵循国家相关法律法规。如有问题请联系我们，联系邮箱，我们会在最短的时间内进行处理。
上一篇：【】【】比特客户端
您的位置：
详解大数据
详解大数据
详解大数据
详解大数据
大数据时代安全要怎样的大数据分析技术？
首页焦点图2
　　时代的发展日新月异，技术与体验的改变与改进正变得异常迅速。如今，我们的网络已经从千兆迈向了万兆时代，这便使得诸多网络设备要分析的包数据量急剧上升。而随着等安全产品的出现，安全所要进行的分析的数据量大增、安全监测的内容不断细化使得安全产品所要监测和分析比以往更多的数据。除了数据包、日志、资产数据，更多的诸如漏洞、配置信息、身份与访问行为信息、应用信息、业务信息、外部情报信息等正在逐渐加入安全要素信息中。
　　正如上述情况所说的那样，随着和组织安全体系架构变得越来越复杂，与之俱来的是各类安全数据正在变得越来越多。而传统的分析能力已不足以应对当下安全数据的分析。在面对新型威胁的兴起时，传统的分析方法无法对更多的安全信息做出准确分析，也就更加无从谈起更加快速的做出判定和响应。而以上所面临的这些问题，正是带来的挑战。
　　在此背景下，对信息安全业而言，如何将技术应用于安全领域、将大数据分析技术应用于信息安全的技术的大数据安全分析的需求正变得愈加急迫。而与此同时，安全数据的数量、速度、种类的迅速膨胀，不仅带来了海量异构数据的融合、和管理的问题，更是对传统的安全分析方法带来了挑战。
　　目前，市场上绝大多数安全分析工具和方法都是针对小数据量设计的，在面对大数据量时难以为继。新的攻击手段层出不穷，需要检测的数据越来越多，传统的分析技术已是不堪重负。
　　一方面，高速海量安全数据的采集和存储变得困难，而异构数据的存储和管理同样变得困难;而传统的安全分析技术对历史数据的检测能力很弱，对安全事件的调查效率十分低;以往，安全系统相互独立，无法有效地进行协同工作，对于趋势性的威胁更是无法预测，在应对当今诸如APT等高级威胁的攻击时防护效果十分薄弱。另一方面，传统的分析方法大都采用基于规则和特征的分析引擎，必须要有规则库和特征库才能工作，而规则和特征只能对已知的攻击和威胁进行描述，无法识别未知的攻击，或者是尚未被描述成规则的攻击和威胁。
　　可见，对于大数据安全分析而言，如何以安全数据自身的特点和安全分析为目标，让大数据安全分析的应用更加凸显其价值是十分必要的。
　　如今，对于分析出现了两个基本趋势：情境感知的安全分析与智能化的安全分析。Gartner曾经在2010年的两份报告中分别指出：“未来的信息安全将是情境感知的和自适应的。”以及“要为企业安全智能的兴起做好准备。”
　　情境感知的安全分析，更多地需要利用相关性要素信息的综合研判来提升安全决策的能力，例如：资产感知、位置感知、拓扑感知、应用感知、身份感知、内容感知，等等。利用情境感知分析技术，安全分析会得以在纵深方面得到极大的扩展;而更多的安全要素信息的纳入，也拉升了分析的空间和时间范围。而安全智能则更加强调将过去分散的安全信息进行集成与关联，独立的分析方法和工具进行整合形成交互，最终实现智能化的安全分析与决策。
　　从长远看，借助大数据安全分析技术，能够更好地解决大量安全要素信息的采集、存储的问题，借助基于大数据分析技术的机器学习和数据挖据算法，亦能够更加智能地洞悉信息与网络安全的态势，从而更加主动、弹性地去应对新型复杂的威胁和未知多变的风险。在未来一段时期内，关于大数据安全分析技术的探究，必会成为新的市场热点。
相关文章：
[ 责任编辑：包俊君 ]
去年，手机江湖里的竞争格局还是…
甲骨文的云战略已经完成第一阶段…
软件信息化周刊
比特软件信息化周刊提供以数据库、操作系统和管理软件为重点的全面软件信息化产业热点、应用方案推荐、实用技巧分享等。以最新的软件资讯，最新的软件技巧，最新的软件与服务业内动态来为IT用户找到软捷径。
商务办公周刊
比特商务周刊是一个及行业资讯、深度分析、企业导购等为一体的综合性周刊。其中，与中国计量科学研究院合力打造的比特实验室可以为商业用户提供最权威的采购指南。是企业用户不可缺少的智选周刊！
比特网络周刊向企业网管员以及网络技术和产品使用者提供关于网络产业动态、技术热点、组网、建网、网络管理、网络运维等最新技术和实用技巧，帮助网管答疑解惑，成为网管好帮手。
服务器周刊
比特服务器周刊作为比特网的重点频道之一，主要关注x86服务器，RISC架构服务器以及高性能计算机行业的产品及发展动态。通过最独到的编辑观点和业界动态分析，让您第一时间了解服务器行业的趋势。
比特存储周刊长期以来，为读者提供企业存储领域高质量的原创内容，及时、全面的资讯、技术、方案以及案例文章，力求成为业界领先的存储媒体。比特存储周刊始终致力于用户的企业信息化建设、存储业务、数据保护与容灾构建以及数据管理部署等方面服务。
比特安全周刊通过专业的信息安全内容建设，为企业级用户打造最具商业价值的信息沟通平台，并为安全厂商提供多层面、多维度的媒体宣传手段。与其他同类网站信息安全内容相比，比特安全周刊运作模式更加独立，对信息安全界的动态新闻更新更快。
新闻中心热点推荐
新闻中心以独特视角精选一周内最具影响力的行业重大事件或圈内精彩故事，为企业级用户打造重点突出，可读性强，商业价值高的信息共享平台；同时为互联网、IT业界及通信厂商提供一条精准快捷，渗透力强，覆盖面广的媒体传播途径。
云计算周刊
比特云计算周刊关注云计算产业热点技术应用与趋势发展，全方位报道云计算领域最新动态。为用户与企业架设起沟通交流平台。包括IaaS、PaaS、SaaS各种不同的服务类型以及相关的安全与管理内容介绍。
CIO俱乐部周刊
比特CIO俱乐部周刊以大量高端CIO沙龙或专题研讨会以及对明星CIO的深入采访为依托，汇聚中国500强CIO的集体智慧。旨为中国杰出的CIO提供一个良好的互融互通 、促进交流的平台，并持续提供丰富的资讯和服务，探讨信息化建设，推动中国信息化发展引领CIO未来职业发展。
IT专家新闻邮件长期以来，以定向、分众、整合的商业模式，为企业IT专业人士以及IT系统采购决策者提供高质量的原创内容，包括IT新闻、评论、专家答疑、技巧和白皮书。此外，IT专家网还为读者提供包括咨询、社区、论坛、线下会议、读者沙龙等多种服务。
X周刊是一份IT人的技术娱乐周刊，给用户实时传递I最新T资讯、IT段子、技术技巧、畅销书籍，同时用户还能参与我们推荐的互动游戏，给广大的IT技术人士忙碌工作之余带来轻松休闲一刻。
微信扫一扫
关注Chinabyte本站为您推荐的文章
您可能感兴趣的文章
数据分析师视频
CDA上海数据分析就业班答辩
1.金融数据分析-第一组
CDA数据分析师学员
CDA数据分析师周边
Copyright & ,
All Rights Reserved. CDA数据分析师 版权所有 京ICP备号-9 & & & & &安全领域中的大数据分析-钛媒体官方网站
安全领域中的大数据分析
本文系作者 &授权钛媒体发表，并经钛媒体编辑，转载请注明出处、作者和。
第一时间获取TMT行业新鲜资讯和深度商业分析，请在微信公众账号中搜索「钛媒体」或者「taimeiti」，或用手机扫描左方二维码，即可获得钛媒体每日精华内容推送和最优搜索体验，并参与编辑活动。
分享到微信朋友圈2014年大数据安全分析的机遇和挑战
　作者: 核子可乐 编译　编辑:
　　【IT168 评论】在刚刚到来的2014年中，大数据安全分析正在逐步进入企业主流安全体系当中，从中我们可以看到一些机会：　　1.事件检测与响应方面的问题仍持续存在。现有的整体性安全分析工具根本无法与先进恶意软件、隐身攻击技术以及精心组织且日益壮大的全球网络攻击者阵营相抗衡。当CISO们刚刚从Bit9、Damballa、FireEye以及Invincea手中买来高级恶意软件工具之后，往往会很快意识到他们仍然需要补充新的实时及非对称性大数据安全分析机制作为防御层，否则企业安全仍然得不到保障。而由此带来的则是大数据安全分析产品的RFI/RFP、评估与实际销售。　　2.摩尔定律与开源趋势。多核64位英特尔在配备了10gbps网络接口之后不仅将处理速度推向新高度，同时也带来了相对低廉的价格。这些设备拥有处理大规模数据流及批量流程所必需的强大处理能力，而这二者正是构成大数据安全分析工作中的“阴阳二气”。在软件方面，安全供应商正在加快部署定制化开源工具的步伐，其中包括Cassandra、Hadoop、MapReduce以及Mahout等并将其用于安全领域。而这也将有助于创新活动的进一步加速。　　3.产品供应阵营同样活跃而庞大。除了早已在安全领域根深蒂固的技术巨头们，例如HP、IBM、McAfee以及RSA Security等等，CISO们同样会在名单中看到众多新兴参与者的名头。其中21CT、ISC8、Hexis Cyber Solutions、Leidos、Narus以及Palantir将不再仅仅局限在政府业务领域，而是继续向私营企业市场发起冲击(另外，如果Booz Allen、Lockhead以及Raytheon等来自华盛顿的大牌厂商参与进来，大家也完全不必惊讶)。另外，像Click Security、Fortscale以及Netskope(CISO们请注意，开明的接纳态度与广泛关注及评估是在大数据安全分析领域取得成功的要诀;事实上其中一些新兴厂商的实力背景与理解程度甚至优于老牌企业)。　　因此，很明显市场需求是客观存在的，而且足以支持技术的后续发展以及相关创新活动。更重要的是，这类方案实际上是以精致的数学模型与算法为基础的，因此能够确切产生效果。既然如此，这一市场岂不是无可匹敌、大可勇猛精进了?很遗憾，答案并不尽然——下面我们就来看看其面临的几大主要阻碍：　　1.用户培训。要真正从大数据安全分析机制当中受益，我们需要深入理解其中的技术元素，例如交换/路由、、日志、流、IP包元数据、DNS、应用程序、DHCP、网络/终端取证、恶意软件属性、恶意软件行为以及已知威胁载体等。除此之外，大家可能还需要来自数据架构师、统计学家以及数据科学家的帮助与引导。某些企业也许已经拥有此类人才，但具备这些技能的员工实在非常少见，而且最近一段时间要将他们招纳至自家旗下已经变得极度困难。想拥有属于自己的大数据技术人员，大家将不得不经历漫长的研究、培训与交流整合，而这一切令不少企业在光辉灿烂的大数据安全分析领域抱憾止步。　　2.大数据安全分析是一种解决方案而非实际产品。即使我们已经对前面提到的各项内容了如指掌，仍然无法直接获得成功——很明显，大家还需要弄明白如何将其有机地融合在一起。我们应该收集哪些数据?应该如何进行收集?我们是否拥有合理的流程与方案来设计、部署并进行大数据安全分析操作?我们该从何处着手又要如何开始处理?对于大多数过去一直只知道批量采购最新安全产品的企业来说，这样的要求无疑是对传统与习惯的重大挑战。很遗憾，用资金砸出方案的办法在大数据安全分析领域并不起作用——刚刚提到的这些问题必须由企业亲自解决、旁人无法替代。请CISO们注意：如果某家供应商声称他们能够提供一站式解决方案，务必让他们赶紧滚蛋、越快越好!　　3.安全分析师们将需要出售新型分析工具。SOC领域的安全分析师往往有些古怪，他们往往愤世嫉俗、高度依赖技术手段、情绪浮躁且倾向于独立处理问题。他们经常出于本能地将安全分析机制作为思考基础，并在开源工具、Excel数据透视表以及脚本的处理方面采用非对称性调查流程。这些家伙在自己的本职工作领域表现得非常出色，但却很难在任务方面有所建树。再有，我们很难招聘并真正雇用到这类人才。SOC与安全分析团队需要得到全力支持，并在执行过程中始终有能力购买任何必需的数据安全分析项目。睿智的CISO会确保供应商同时为该团队提供培训师，从而为团队带来宝贵的技能知识与经验教训。另外，安全分析师还必胹积极接受调查流程与工作方式的转变，只有这样才能真正适应大数据安全分析系统的客观特性。　　综上所述，我相信大数据安全分析方案将在2014年迎来快速发展、相关营收也将不断提升。然而，要获得全面成功、此类方案显然还有很长的路要走。供应商必须为企业用户可能面临的挑战作好准备，其中包括理想的服务、沟通、培训、架构调整以及行业合作伙伴，从而支持CISO们顺利应对复杂的规划、部署及运营任务。另外，企业也必须以积极而谨慎的态度审视大数据安全分析项目，并在各类技术细节、架构决策以及流程变更方面作好充分的准备。　　原文链接：　　更多精彩尽在日-12日在北京五洲皇冠国际酒店举办的第五届中国数据库技术大会，3月1日之前订票可享受7.8折最低票价。　　▲
大学生分期购物销量榜
IT168企业级