您现在的位置是:主页 > 数据库技术 > 数据库技术
Splunk是什么
IDCBT2022-01-12【服务器技术】人已围观
简介这篇“Splunk是什么”文章的知识点大部分人都不太理解,所以小编给大家总结了以下内容,内容详细,步骤清晰,具有一定的借鉴价值,希望大家阅读完这篇文章能有所收获,下面我们
这篇“Splunk是什么”文章的知识点大部分人都不太理解,所以小编给大家总结了以下内容,内容详细,步骤清晰,具有一定的借鉴价值,希望大家阅读完这篇文章能有所收获,下面我们一起来看看这篇“Splunk是什么”文章吧。
Splunk是啥?Splunk是日志/流式数据领域中做的最好的商业软件实现,它的核心能力只有一个:
像Google那样搜索企业内部所有产生的日志
这个的威力非常大,现在的企业不缺数据,缺的是有效挖掘数据的能力。而显然大部分企业没有Google的能力去做搜索,于是Splunk提供这样的能力。与之相竞争的开源实现有Logstash。
Splunk ≈ Logstash Logstash = Redis(传输) + ElasticSearch(搜索) + Kibana(展现) ElasticSearch = Lucene + Search那么,哪里可以买到呢?##
Splunk官网上有,我就不替他们做广告了,总之,很贵,一万美元能买1G的流量每天。言归正传,我还是分析一下这个玩意儿的一些功能特性吧。
首先,Splunk有一个很炫酷的界面
可以看到,Splunk的主要使用方式就是那个搜索框,在里面输入一种叫做SPL的搜索语言,就能获取到你想要的各种信息了。Splunk能在后台对数据进行过滤、聚合、统计,最后得到各种报表、图像
SPL是一种向SQL致(chao)敬(xi)的语言,语法非常的类似,不同的是,SPL搜索的不是关系数据库,而是输入到Splunk系统中所有的日志数据,以下是几个具体的案例:
可以看到,对于一行SPL搜索语句
sourcetype = syslog ERROR | top user | fields - precent
Splunk是这么干的,
首先从硬盘上搜索字段sourcetype(来源类型)为syslog的日志,同时,在日志中含有ERROR这个关键字的。
通过管道符,把上面的搜索结果根据user字段做聚合,取出其中出现次数最多的前10个
再通过管道符,去掉百分比字段,最后得出结果
最后看到,这个搜索干了什么事情呢?它一下子就把日志中出错最多的前十个用户给统计出来了,这样后续程序员就能跟踪这些错误为什么产生,然后着手去解决。
| where distance/time > 100
使用where,对日志中两个字段进行相除后比较。
前因后果架构图Splunk主要做了3件事
解析原始日志格式,分解成有意义的字段,有的 log 收集方案在第一阶段就解析日志只发送关心的字段,以节省带宽。
根据时间戳,request ID,session ID,user ID 等关联日志条目,以尽量清晰当时各个子系统的状态;
根据分析的目的做过滤、聚合、统计等等,最后整一份漂亮的报表出来。
标签:很赞哦! ()