网站在线留言代码:Splunk怎么样

购买商品:
商品价格:
价格读取中
支付方式:
请扫码进行支付
请扫码进行支付
适合人群IT运维人员已参加学习3077
会员立省34.90元,
会员立省34.90元,
本课程系Splunk入门系列课程,实战为主,实战中穿插相关概念和理论。课程包括Splunk基础知识、安装部署、数据采集和存储、数据可视化、创建Splunk应用等。数据分析和可视化部分基于两个案例,边动手边讲解。
第一章:Splunk 培训系列01-初识Splunk01
第二章:Splunk 培训系列01-在Liunx平台上安装Splunk02
第三章:Splunk 培训系列01-在Windows平台上安装Splunk03
第四章:Splunk 培训系列01-安装后配置04
第五章:Splunk 培训系列01-Splunk目录结构05
第六章:Splunk 培训系列01-Splunk常用CLI命令06
第七章:Splunk 培训系列01-实战-导入数据前的准备07
第八章:Splunk 培训系列01-实战-导入并分析本地数据08
第九章:Splunk 培训系列01-实战-导入并分析本地数据09
第一十章:Splunk 培训系列01-实战-使用转发器转发数据10
第一十一章:Splunk 培训系列01-实战-数据分析和可视化11
第一十二章:Splunk 培训系列01-实战-数据分析和可视化12
第一十三章:Splunk 培训系列01-实战-邮箱服务器配置13
第一十四章:Splunk 培训系列01-实战-创建App14
第一十五章:Splunk 培训系列01-Splunk技巧15
运维工程师/系统管理员/网络管理员
Splunk原厂认证架构师,某软件公司Splunk高级工程师,多个Splunk项目部署实战经验。从事Splunk工作期间,带领团队完成了大中型客户的Splunk部署实施工作,涉及日志管理分析、IT监控平台、业务分析、安全分析等。
本人授课以实战操作为主,在实战中穿插理论概念,力求以细致的操作让学员尽快掌握所学的技术。
付费用户才能下载
领取优惠券
正在努力加载中~~&&&&精通Splunk——机器数据处理与分析&
邀请好友参加吧
版 次:1页 数:1字 数:1印刷时间:日开 本:16开纸 张:胶版纸包 装:平装-胶订是否套装:否国际标准书号ISBN:7所属分类:&&
下载免费当当读书APP
品味海量优质电子书,尊享优雅的阅读体验,只差手机下载一个当当读书APP
本商品暂无详情。
当当价:为商品的销售价,具体的成交价可能因会员使用优惠券、积分等发生变化,最终以订单结算页价格为准。
划线价:划线价格可能是图书封底定价、商品吊牌价、品牌专柜价或由品牌供应商提供的正品零售价(如厂商指导价、建议零售价等)或该商品曾经展示过的销售价等,由于地区、时间的差异化和市场行情波动,商品吊牌价、品牌专柜价等可能会与您购物时展示的不一致,该价格仅供您参考。
折扣:折扣指在划线价(图书定价、商品吊牌价、品牌专柜价、厂商指导价等)某一价格基础上计算出的优惠比例或优惠金额。如有疑问,您可在购买前联系客服咨询。
异常问题:如您发现活动商品销售价或促销信息有异常,请立即联系我们补正,以便您能顺利购物。
当当购物客户端手机端1元秒
当当读书客户端万本电子书免费读请使用支持脚本的浏览器!
Splunk智能运维实战
译者:宫鑫康宁刘法宗
原价? 30.00
纸书? 69.00
Splunk智能运维参考,包含70多条实用技巧通过简单易学、循序渐进的操作技巧引导读者掌握Splunk Enterprise的关键特性,获取智能运维能力Splunk Enterprise是业内领先的大数据智能运维平台,它能将机器数据转化为可操作的价值极高的智能运维。本书向你展示了如何利用Splunk来索引、搜索、监控和分析实时的机器数据以及TB级的历史数据,如何通过仪表盘和各种可视化手段来恰当地展示数据。读完本书,你将能建立一个强大的智能运维应用程序,并学会使用Splunk Enterprise平台的多项关键特性。
您的评分:
正文(不少于20字)
回复已提交审核...
移动设备阅读
扫二维码下载客户端
买过此书的人还买过
Copyright&duokan.com
微信扫一下
已将图书添加到购物车
购物车中有8本书总计:? 24.00
购买过《Splunk智能运维实战》的用户还购买了:
【美】Kyle Simpson
【美】Aaron Hillegass
【英】Garry Turkington
俞甲子,石凡,潘爱民
【意】Paolo Perrotta
【美】Mike Cantelon
【美】Marc Harter
【美】T. J. Holowaychuk
【美】Nathan Rajlich
【美】Jan Erik Solem
【美】Michael Fitzgerald
【美】Wes McKinney
【日】前桥和弥
【美】Warren Sande
【美】Carter Sande
【美】Larry Ullman
您已领取成功!
您可以进入//平台的多看阅读客户端,刷新个人中心的已购列表,即可下载图书,享受精品阅读时光啦!
快登录帐号来一起讨论吧~|
查看全部回复
{ sid : '41545',
id : '3b90998edc4f436c947abf374d76f0fd',
webreader : 1,
title : 'Android开发精要',
price : '25.0',
old_price : '40.0',
new_price : '25.0',
cover : 'http://cover.read.duokan.com/mfsv2/download/s010/p01WpUuSLpN6/eTQoQ5bSC5vulL.jpg!vt',
url : '/book/41545',
authors : '范怀宇'
{ sid : '41543',
id : '84de6db39b1e',
webreader : 1,
title : 'Spring技术内幕',
price : '40.0',
old_price : '40.0',
cover : 'http://cover.read.duokan.com/mfsv2/download/s010/p015UKJZID7t/ikHuG42Vjq86w5.jpg!vt',
url : '/book/41543',
authors : '计文柯'
{ sid : '102758',
id : '6dee848d5f45c2de98951b',
webreader : 1,
title : '你不知道的JavaScript(上卷)',
price : '25.0',
old_price : '30.0',
new_price : '25.0',
cover : 'http://cover.read.duokan.com/mfsv2/download/s010/p01g8NOQ3Elv/azwcob3UZrT7X6.jpg!vt',
url : '/book/102758',
authors : '【美】Kyle Simpson'
{ sid : '95331',
id : 'f6e97deda34246deb588',
webreader : 1,
title : '移动App测试实战:顶级互联网企业软件测试和质量提升最佳实践',
price : '30.0',
old_price : '30.0',
cover : 'http://cover.read.duokan.com/mfsv2/download/s010/p01Pt5LGrmOi/PxWgubBWczFAS8.jpg!vt',
url : '/book/95331',
authors : '邱鹏\\n陈吉\\n潘晓明'
{ sid : '47917',
id : 'e7c3f41c6ca3fd4ba296',
webreader : 1,
title : 'Objective-C编程(第2版)',
price : '18.0',
old_price : '25.0',
new_price : '18.0',
cover : 'http://cover.read.duokan.com/mfsv2/download/fdsc3/p01NJtqGr9XP/ky3eQTEXmdbWL5.jpg!vt',
url : '/book/47917',
authors : '【美】Aaron Hillegass'
{ sid : '102217',
id : 'fc57cbce9aab42f694c030bfd983218d',
webreader : 1,
title : 'Hadoop基础教程',
price : '19.99',
old_price : '25.0',
new_price : '19.99',
cover : 'http://cover.read.duokan.com/mfsv2/download/s010/p01kn76SYyb5/IdzLY6CWI5bOJP.jpg!vt',
url : '/book/102217',
authors : '【英】Garry Turkington'
{ sid : '115161',
id : '75ec3fca977e419d8f2c4ef9c33ddec5',
webreader : 1,
title : '程序员的自我修养:链接、装载与库',
price : '12.99',
old_price : '18.0',
new_price : '12.99',
cover : 'http://cover.read.duokan.com/mfsv2/download/fdsc3/p01wl6RO8o9T/ON6DfifwpPbQXU.jpg!vt',
url : '/book/115161',
authors : '俞甲子,石凡,潘爱民'
{ sid : '47916',
id : 'd5c0e91ae217d80ba0c66',
webreader : 1,
title : 'Ruby元编程',
price : '18.0',
old_price : '25.0',
new_price : '18.0',
cover : 'http://cover.read.duokan.com/mfsv2/download/s010/p01x7is0X5my/HCzQJvkWtUoZWI.jpg!vt',
url : '/book/47916',
authors : '【意】Paolo Perrotta'
{ sid : '153280',
id : 'cabfb5cee',
webreader : 1,
title : '程序员代码面试指南:IT名企算法与数据结构题目最优解',
price : '23.99',
old_price : '30.0',
new_price : '23.99',
cover : 'http://cover.read.duokan.com/mfsv2/download/fdsc3/p01JRCNT5fki/LOg8yDDv903DLK.jpg!vt',
url : '/book/153280',
authors : '左程云'
{ sid : '102451',
id : 'fdf4a869eaf9b69ff10a4a9',
webreader : 1,
title : 'Node.js实战',
price : '30.0',
old_price : '40.0',
new_price : '30.0',
cover : 'http://cover.read.duokan.com/mfsv2/download/s010/p01CwsPOvjUL/nPOJrYDW5cQNqv.jpg!vt',
url : '/book/102451',
authors : '【美】Mike Cantelon\\n【美】Marc Harter\\n【美】T. J. Holowaychuk\\n【美】Nathan Rajlich'
{ sid : '102452',
id : '055ae15c008547ccbb57e7f341da9eae',
webreader : 1,
title : 'Python计算机视觉编程',
price : '30.0',
old_price : '40.0',
new_price : '30.0',
cover : 'http://cover.read.duokan.com/mfsv2/download/s010/p015WaSvdjou/WKYHfBWus4AEOq.jpg!vt',
url : '/book/102452',
authors : '【美】Jan Erik Solem'
{ sid : '62686',
id : 'cae57e49f53',
webreader : 1,
title : '学习正则表达式',
price : '18.0',
old_price : '25.0',
new_price : '18.0',
cover : 'http://cover.read.duokan.com/mfsv2/download/s010/p01FsMcEwqgb/zlmp4cWu38g6tx.jpg!vt',
url : '/book/62686',
authors : '【美】Michael Fitzgerald'
{ sid : '120447',
id : 'a592ba5b4ab5bf78f056763',
webreader : 1,
title : 'JavaScript设计模式与开发实践',
price : '30.0',
old_price : '40.0',
new_price : '30.0',
cover : 'http://cover.read.duokan.com/mfsv2/download/fdsc3/p010MuJiB4YS/Jts7Lje8KKkCHP.jpg!vt',
url : '/book/120447',
authors : '曾探'
{ sid : '43927',
id : '4dfc0f7a84ac',
webreader : 1,
title : '深入浅出Node.js',
price : '40.0',
old_price : '40.0',
cover : 'http://cover.read.duokan.com/mfsv2/download/s010/p01tthkafAxn/EKgUCC8qWMAFCb.jpg!vt',
url : '/book/43927',
authors : '朴灵'
{ sid : '110260',
id : 'af50debff72',
webreader : 1,
title : 'SpringBoot揭秘:快速构建微服务体系',
price : '25.0',
old_price : '30.0',
new_price : '25.0',
cover : 'http://cover.read.duokan.com/mfsv2/download/fdsc3/p01fPRuPnaWI/q66ymrZmrgPQVz.jpg!vt',
url : '/book/110260',
authors : '王福强'
{ sid : '115158',
id : '3ac4d3b79d0441f7bdffb89f',
webreader : 1,
title : 'Android开发艺术探索',
price : '45.99',
old_price : '60.0',
new_price : '45.99',
cover : 'http://cover.read.duokan.com/mfsv2/download/fdsc3/p01kzqvyAIYf/3ylqAPTiNyOnUK.jpg!vt',
url : '/book/115158',
authors : '任玉刚'
{ sid : '120843',
id : '632af79f1a844389bebdca2d1de6dab7',
webreader : 1,
title : '利用Python进行数据分析',
price : '30.0',
old_price : '40.0',
new_price : '30.0',
cover : 'http://cover.read.duokan.com/mfsv2/download/fdsc3/p01UfROCPgPU/FGPC8diw8ODmjb.jpg!vt',
url : '/book/120843',
authors : '【美】Wes McKinney'
{ sid : '102834',
id : '3de4abd8c8a94659a5acd841f70e331f',
webreader : 1,
title : '征服C指针',
price : '25.0',
old_price : '30.0',
new_price : '25.0',
cover : 'http://cover.read.duokan.com/mfsv2/download/fdsc3/p01v27odrxxk/93nc6I3WMs2afJ.jpg!vt',
url : '/book/102834',
authors : '【日】前桥和弥'
{ sid : '103211',
id : 'abfa084baafaa',
webreader : 1,
title : '父与子的编程之旅:与小卡特一起学Python',
price : '40.0',
old_price : '50.0',
new_price : '40.0',
cover : 'http://cover.read.duokan.com/mfsv2/download/fdsc3/p01pX8Hr5sDr/eqnI3WiCfeGVib.jpg!vt',
url : '/book/103211',
authors : '【美】Warren Sande\\n【美】Carter Sande'
{ sid : '11737',
id : '0ce28a3ac',
webreader : 1,
title : 'PHP基础教程(第4版)',
price : '25.0',
old_price : '30.0',
new_price : '25.0',
cover : 'http://cover.read.duokan.com/mfsv2/download/s010/p01D3tKWl3Lu/qgTCWy3Pxtkt32.jpg!vt',
url : '/book/11737',
authors : '【美】Larry Ullman'Splunk-6.4.0-zh_CN-3容量规划手册-Capacity_图文_百度文库
两大类热门资源免费畅读
续费一年阅读会员,立省24元!
Splunk-6.4.0-zh_CN-3容量规划手册-Capacity
阅读已结束,下载本文需要
想免费下载本文?
定制HR最喜欢的简历
下载文档到电脑,方便使用
还剩12页未读,继续阅读
定制HR最喜欢的简历
你可能喜欢大数据搜索选开源还是商业软件?ElasticSearch 对比 Splunk - 文章 - 伯乐在线
& 大数据搜索选开源还是商业软件?ElasticSearch 对比 Splunk
本文就架构,功能,产品线,概念等方面就ElasticSearch和Splunk做了一下全方位的对比,希望能够大家在制定大数据搜索方案的时候有所帮助。
ElasticSearch ()()是一个基于Lucene的开源搜索服务。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。
ELK是,,的缩写,分别提供搜索,数据接入和可视化功能,构成了Elastic的应用栈。
Splunk 是大数据领域第一家在纳斯达克上市公司,提供一个机器数据的引擎。使用 Splunk 可收集、索引和利用所有应用程序、服务器和设备(物理、虚拟和云中)生成的快速移动型计算机数据 。从一个位置搜索并分析所有实时和历史数据。 使用 Splunk 处理计算机数据,可让您在几分钟内(而不是几个小时或几天)解决问题和调查安全事件。监视您的端对端基础结构,避免服务性能降低或中断。以较低成本满足合规性要求。关联并分析跨越多个系统的复杂事件。获取新层次的运营可见性以及 IT 和业务智能。
根据最新的显示,Elastic,Solr和Splunk分别占据了数据库搜索引擎的前三位。
从上来看,Elastic和Splunk上升明显,Elastic更是表现出了非常强劲的势头。
准实时(NRT)
Elasticsearch是一个准实时性的搜索平台,从数据索引到数据可以被搜索存在一定的时延。
索引(Index)
索引是有共同特性的文档的集合,索引有自己的名字,可以对索引执行搜索,更新,删除等操作。
类型(Type)
每个索引可以包含一个或者多个类型,类型可以看作一个索引数据的逻辑分组,通常我们会把拥有相同字段的文档定义为同一个类型。
文档(Document)
文档是索引信息的基本单元。Elastic中文档表现为JSON对象,文档物理存贮在索引中,并需要被制定一个类型。因为表现为JSON, 很自然的,文档是由一个个的字段(Feilds)组成,每个字段是一个名值对(Name Value Pair)
评分(score)
Elastic是基于构建的,所以搜索的结果会有一个。来评价搜索结果和查询的相关性。
下图是一个Elastic的搜索在Kibana中看到的例子,原始的数据是一个简单的日志文件:
我们通过logstash索引到Elasticsearch后,就可以搜索了。
Splunk同样是准实时的,Splunk的实时搜索()可以提供不间断的搜索结果的数据流。
事件(Event)
对应于Elastic的文档,Splunk的数据索引的基本单元是事件,每一个事件包含了一组值,字段,时间戳。Splunk的事件可以是一段文本,一个配置文件,一段日志或者JSON对象。
字段(Fields)
字段是可以被搜索的名值对,不同的事件可能拥有不同的字段。Splunk支持索引时(index time)和搜索时(search time)的字段抽取(fields extraction)
索引(Indexes)
类似Elastic的索引,所有的事件物理存储在索引上,可以把索引理解为一个数据库的表。
知识对象(Knowledge Object)
Splunk的知识对象提供对数据进一步的解释,分类,增强等功能,包括:字段(fields),字段抽取(fields extraction),事件类型(event type),事务(transaction),查找(lookups),标签(tags),别名(aliases),数据模型(data model)等等。
下图是一个Splunk的搜索在Splunk客户端看到的和前一个例子同样的日志数据的搜索结果。
从基本概念上来看,Elasticsearch和Splunk基本一致。从例子中我们可以看到很多的共性,事件/文档,时间戳,字段,搜索,时间轴图等等。其中有几个主要的差别:
Elastic不支持搜索时的字段抽取,也就是说Elastic的文档中的所有字段在索引时已经固定了,而Splunk支持在搜索时,动态的抽取新的字段
Elastic的搜索是基于评分机制的,搜索的结果有一个打分,而Splunk没有对搜索结果评分
Splunk的知识对象可以提供对数据更高级,更灵活的管理能力。
ElasticSearch提供REST API来进行
集群的管理,监控,健康检查
索引的管理(CURD)
搜索的执行,包括排序,分页,过滤,脚本,聚合等等高级的搜索功能。
Elasticsearch 本身并没有提供任何UI的功能,搜索可以用Kibana,但是没有管理UI还是让人不爽的,好在开源的好处就是会有很多的开发者来构建缺失的功能:
(推荐,界面干净,我喜欢)
另一选择就是安装X-Pack,这个是要收费的。
Splunk作为企业软件,管理及访问接口比较丰富,除了REST API 和命令行接口,Splunk的UI非常友好易用,基本上所有的功能都能通过集成的UI来使用。同时提供以下接口
数据接入和获取
Elastic栈使用Logstash和Beats来进行数据的消化和获取。
用jruby实现,有点像一个数据管道,把输入的数据进行处理,变形,过滤,然后输出到其它地方。Logstash 设计了自己的 DSL,包括有区域,注释,数据类型(布尔值,字符串,数值,数组,哈希),条件判断,字段引用等。
Logstash的数据管道包含三个步骤,Input,Filter和Output,每一步都可以通过plugin来扩展。另外Input和Output还支持配置Codecs,完成对输入输出数据的编解码工作。
Logstash支持的常见的Input包含File,syslog,beats等。Filter中主要完成数据的变形处理,可以增删改字段,加标签,等等。作为一个开源软件,Output不仅仅支持ElasticSearch,还可以和许多其它软件集成和目标,Output可以是文件,graphite,数据库,Nagios,S3,Hadoop等。
在实际运用中,logstash 进程会被分为两个不同的角色。运行在应用服务器上的,尽量减轻运行压力,只做读取和转发,这个角色叫做 shipper;运行在独立服务器上,完成数据解析处理,负责写入 Elasticsearch 的角色,叫 indexer。
logstash 作为无状态的软件,配合消息队列系统,可以很轻松的做到线性扩展
是 Elastic 从 packetbeat 发展出来的数据收集器系统。beat 收集器可以直接写入 Elasticsearch,也可以传输给 Logstash。其中抽象出来的 libbeat,提供了统一的数据发送方法,输入配置解析,日志记录框架等功能。
开源社区已经贡献了种类。
因为Beats是使用Golang编写的,效率上很不错。
Splunk使用Farwarder和Add-ons来进行数据的消化和获取。
Splunk内置了对文件,syslog,网络端口等input的处理。当配置某个节点为Forwarder的时候,Splunk Forwarder可以作为一个数据通道把数据发送到配置好的indexer去。这时候,它就类似logstash。这里一个主要的区别就是对数据字段的抽取,Elastic必须在logstash中通过filter配置或者扩展来做,也就是我们所说的Index time抽取,抽取后不能改变。Splunk支持Index time的抽取,但是更多时候,Splunk 在index time并不抽取而是等到搜索是在决定如何抽取字段。
对于特定领域的数据获取,Splunk是用的形式。Splunk 的App市场上有超过600个不同种类的Add-on。
用户可以通过特定的Add-on或者自己开发Add-on来获取特定的数据。
对于大数据的数据采集,大家也可以参考我的。
数据管理和存储
ElasticSearch的数据存贮模型来自于Lucene,基本原理是实用了倒排表。大家可以参考。
Splunk的核心同样是倒排表,推荐大家看这篇去年Splunk Conf上的介绍,
Splunk的Event存在许多Buckets中,多个Buckets构成逻辑分组的索引分布在Indexer上。
每个Bucket中都是倒排表的结构存储数据,原始数据通过gzip压缩。
搜索时,利用Bloom filter定位数据所在的bucket。
在对数据的存储管理上,Elastic 和Splunk都是利用了倒排表。Splunk对数据进行压缩,所以存储空间的占用要少很多,尤其考虑到大部分数据是文本,压缩比很高的,当然这会损失一部分性能用于数据的解压。
数据分析和处理
对数据的处理分析,ElasticSearch主要使用 来实现。而Splunk则提供了非常强大的,相比起ES的Search API,Splunk的SPL要好用很多,可以说SPL就是非结构化数据的SQL。无论是利用SPL来开发分析应用,还是直接在Splunk UI上用SPL来处理数据,SPL都非常易用。开源社区也在试图为Elastic增加类似SPL的DSL来改善数据处理的易用性。例如:
从这篇可以看出,ES的search还有许多的不足。
作为对此的响应,Elastic推出了,该功能还处于实验阶段。
数据展现和可视化
Kibana是一个针对Elasticsearch的开源分析及可视化平台,用来搜索、查看交互存储在Elasticsearch索引中的数据。使用Kibana,可以通过各种图表进行高级数据分析及展示。
Splunk集成了非常方便的数据可视化和仪表盘功能,对于SPL的结果,可以非常方便的通过UI的简单设置进行可视化的分析,导出到仪表盘。
下图的比较来自
在数据可视化的领域的,Splunk仅仅落后于Tableau而已
从扩展性的角度来看,两个平台都拥有非常好的扩展性。
Elastic栈作为一个开源栈,很容易通过Plugin的方式扩展。包括:
Splunk提供一系列的扩展点支持应用和Add-on的开发, 在可以找到更多的信息和文档。包括:
… …
比起Elastic的Plugin,Splunk的扩展概念上比较复杂,开发一个App或者Add-on的门槛都要相对高一些。做为一个数据平台,Splunk应该在扩展性上有所改进,使得扩展变的更为容易和简单。
Elastic Stack
如上图所示,ELK是一套栈,Logstash提供数据的消化和获取,Elasticsearch对数据进行存储,索引和搜索,而Kibana提供数据可视化和报表的功能。
Splunk的架构主要有三个角色:
Indexer提供数据的存储,索引,类似Elasticsearch的作用
Search Head
Search Head负责搜素,客户接入,从功能上看,一部分是Kibana,因为Splunk的UI是运行在Search Head上的,提供所有的客户端和可视化的功能,还有一部分,是提供分布式的搜索功能,包含对搜索的分发到Indexer和搜索结果的合并,这一部分功能对应在Elasticsearch上。
Splunk的Forwarder负责数据接入,类似Logstash
除了以上的三个主要的角色,Splunk的架构中还有:Deployment Server,License Server,Master Cluster Node,Deployer等。
Splunk和ELK的基本架构非常类似,但是ELK的架构更为简单和清楚,Logstash负责数据接入,Kibana负责数据展现,所有的复杂性在Elasticsearch中。Splunk的架构更为复杂一些,角色的类型也更多一些。
如果装单机版本,Splunk更容易,因为所有的功能一次性就装好了,而ELK则必须分别安装E/L/K,从这一点上来看,Splunk有一定的优势。
分布集群和扩展性
ElasticSearch
ElasticSearch是为分布式设计的,有很好的扩展性,在一个典型的分布式配置中,每一个节点(node)可以配制成不同的角色,如上图所示:
Client Node,负责API和数据的访问的节点,不存储/处理数据
Data Node,负责数据的存储和索引
Master Node, 管理节点,负责Cluster中的节点的协调,不存储数据。
每一种角色可以通过ElasticSearch的配置文件或者环境变量来配置。每一种角色都可以很方便的Scale,因为Elastic采用了对等性的设计,也就是所有的角色是平等的,(Master Node会进行Leader Election,其中有一个是领导者)这样的设计使得在集群环境的伸缩性非常好,尤其是在容器环境,例如Docker Swarm或者Kubernetes中使用。
Splunk作为企业级的分布式机器数据的平台,拥有强大的分布式配置,包括跨数据中心的集群配置。Splunk提供两种集群,Indexer集群和Search Head集群。
如上图所示,Splunk的indexer集群主要由三种角色:
Master Node,Master Node负责管理和协调整个的集群,类似ES的Master。但是只有一个节点,不支持多Master(最新版本6.6)。Master Node负责
协调Peer Node之间的数据复制
告诉Search Head数据在哪里
Peer Node的配置管理
Peer Node故障时的故障恢复
Peer Nodes,负责数据索引,类似ES的Data Node,Peer Node负责
存储索引数据
发送/接收复制数据到其他Peer节点
响应搜索请求
Search Head,负责数据的搜索和客户端API访问,类似ES的Client Node,但不完全相同。Search Head负责发送搜索请求到Peer Nodes,并对搜索的结果进行合并。
有人会问,那Master是不是集群中的单点故障?What if Master node goes down?Splunk的回答是否。即使Master 节点出现故障,Peer Nodes仍然可以正常工作,除非,同时有Peer Node出现故障。
Search Head集群是由一组Search Head组成,它们共享配置,搜索任务等状态。该Cluster主要有以下角色:
Deployer, 负责分发状态和应用到peers
Cluster Member,其中有一个是Captain,负责协调。Cluster Memeber之间会互相通信,来保证状态一致。Load Balancer是个可选项,可以负责Search的接入。
Search Peers,负责数据索引的 Indexer Nodes
另外Splunk还曾经提供过一个功能叫做,不过现在已经Depecated了。
Indexer集群可以和Search Head集群一起配置,构成一个分布式的Splunk配置。
相比较ES的相对比较简单的集群配置,Splunk的集群配置比较复杂,ES中所有每一个节点可以灵活的配置角色,并且可以相对比较容易的扩展,利用例如Kubernetes的Pod的复制可以很容易的扩展每一个角色。扩展Splunk相对比较困难,要做到动态的伸缩,需要比较复杂的配置。大家可以参考,在容器环境里配置一个Splunk的集群需要比较多的布置,例如在这个中,用户需要考虑:
如何配置License
修改缺省的用户名口令
为每一个Search Head配置Search Head Cluster
等待Splunk进程成功启动
配置业务发现
… …
并且集群的扩展很难直接利用容器编排平台提供的扩展接口,这一点Splunk还有很多提高的空间。
Elastic的产品线除了大家熟悉的ELK(ElasticSearch,Logstash,Kikana),主要包含
Beats是一个开源组件,提供一个代理,把本地抓到的数据传送到ElasticSearch
, Elasti提供的云服务
, Elastic的扩展组件,提供安全,告警,监控,机器学习和图处理能力。主要功能需要付费使用。
Splunk的产品线包括
Splunk Enterprise
Splunk Cloud, Splunk运营的云服务,跑在AWS上
Splunk Light,Splunk Light版本,功能有所精简,面向中小企业
Hunk, Splunk on Hadoop
Apps / Add-ons,
Splunk提供大量的应用和数据获取的扩展,可以参考
Splunk ITSI (IT Service Intelligence), Splunk为IT运维专门开发的产品
Splunk ES (Enterprise Security), Splunk为企业安全开发的产品,这个是Splunk 公司的拳头产品,连续被评为领域的领导者,挑战了该行业的传统巨鳄IBM,HP
Splunk UBA (User Behavior Analytic), UBA是Splunk在15年带来的基于机器学习的安全产品。
从产品线的角度来看,Splunk除了提供基本平台,在IT运维和安全领域都有自己的拳头产品。Elastic缺乏某个领域的应用。
价格是大家非常关心的一个因素
Elastic的基本组件都是开源的,参看,X-pack中的一些高级功能需要付费使用。包含安全,多集群,报表,监控等等。
云服务的参考下图,ES的云是按照所使用的资源来收费,从这里选取的区域可以看出,ES的云也是运行在AWS上的。下图中的配置每月需要花费200美元左右。(不同区域的收费不同)
同时,除了Elastic自己,还有许多其他公司也提供Elastic Search的云服务,例如Bonsai,Qbox.io等。
Splunk Enterprise是按照数据每日的流量按年或者无限制事件付费,每天1GB的话,每年是2700美元,每个月也是差不多200块。如果每天的数据量少于500M,可以使用Splunk提供的免费License,只是不能用安全,分布式等高级功能,500M可以做很多事情了。
云服务的价格就要便宜多了,每天5GB,每年只要2430元,每个月不到200块。当然因为计费的方式不同,和Elastic的云就不好比较了。另外因为是在AWS上,中国的用户,呵呵了。
大数据的搜索平台已经成为了众多企业的标配,Elastic栈和Splunk是其中最为优秀和流行的选择。两者都有各自的优点和值得改进的地方。希望本文能够在你的大数据平台的选型上,有所帮助。也希望大家来和我交流,共同成长。
ElasticSearch 参考文档
Github上收集的ElasticSearch相关开源软件列表
知乎ElaticSearch专题
Splunk 文档
Splunk电子书
Splunk 开发文档
Splunk 应用市场
Splunk 快速参考
可能感兴趣的话题
关于伯乐在线博客
在这个信息爆炸的时代,人们已然被大量、快速并且简短的信息所包围。然而,我们相信:过多“快餐”式的阅读只会令人“虚胖”,缺乏实质的内涵。伯乐在线内容团队正试图以我们微薄的力量,把优秀的原创文章和译文分享给读者,为“快餐”添加一些“营养”元素。
新浪微博:
推荐微信号
(加好友请注明来意)
– 好的话题、有启发的回复、值得信赖的圈子
– 分享和发现有价值的内容与观点
– 为IT单身男女服务的征婚传播平台
– 优秀的工具资源导航
– 翻译传播优秀的外文文章
– 国内外的精选文章
– UI,网页,交互和用户体验
– 专注iOS技术分享
– 专注Android技术分享
– JavaScript, HTML5, CSS
– 专注Java技术分享
– 专注Python技术分享
& 2018 伯乐在线

我要回帖

更多关于 网站在线留言代码 的文章

 

随机推荐