您现在的位置是:主页 > 数据库技术 > 数据库技术

Splunk是什么

IDCBT2022-01-12服务器技术人已围观

简介这篇“Splunk是什么”文章的知识点大部分人都不太理解,所以小编给大家总结了以下内容,内容详细,步骤清晰,具有一定的借鉴价值,希望大家阅读完这篇文章能有所收获,下面我们

这篇“Splunk是什么”文章的知识点大部分人都不太理解,所以小编给大家总结了以下内容,内容详细,步骤清晰,具有一定的借鉴价值,希望大家阅读完这篇文章能有所收获,下面我们一起来看看这篇“Splunk是什么”文章吧。

Splunk是啥?

Splunk是日志/流式数据领域中做的最好的商业软件实现,它的核心能力只有一个:

像Google那样搜索企业内部所有产生的日志

这个的威力非常大,现在的企业不缺数据,缺的是有效挖掘数据的能力。而显然大部分企业没有Google的能力去做搜索,于是Splunk提供这样的能力。与之相竞争的开源实现有Logstash。

Splunk ≈ Logstash
Logstash = Redis(传输) + ElasticSearch(搜索) + Kibana(展现)
ElasticSearch = Lucene + Search
那么,哪里可以买到呢?##

Splunk官网上有,我就不替他们做广告了,总之,很贵,一万美元能买1G的流量每天。言归正传,我还是分析一下这个玩意儿的一些功能特性吧。

首先,Splunk有一个很炫酷的界面

可以看到,Splunk的主要使用方式就是那个搜索框,在里面输入一种叫做SPL的搜索语言,就能获取到你想要的各种信息了。Splunk能在后台对数据进行过滤、聚合、统计,最后得到各种报表、图像

SPL是一种向SQL致(chao)敬(xi)的语言,语法非常的类似,不同的是,SPL搜索的不是关系数据库,而是输入到Splunk系统中所有的日志数据,以下是几个具体的案例:

可以看到,对于一行SPL搜索语句

sourcetype = syslog ERROR | top user | fields - precent

Splunk是这么干的,

    首先从硬盘上搜索字段sourcetype(来源类型)为syslog的日志,同时,在日志中含有ERROR这个关键字的。

    通过管道符,把上面的搜索结果根据user字段做聚合,取出其中出现次数最多的前10个

    再通过管道符,去掉百分比字段,最后得出结果

最后看到,这个搜索干了什么事情呢?它一下子就把日志中出错最多的前十个用户给统计出来了,这样后续程序员就能跟踪这些错误为什么产生,然后着手去解决。

| where distance/time > 100

使用where,对日志中两个字段进行相除后比较。

前因后果架构图

Splunk主要做了3件事

    解析原始日志格式,分解成有意义的字段,有的 log 收集方案在第一阶段就解析日志只发送关心的字段,以节省带宽。

    根据时间戳,request ID,session ID,user ID 等关联日志条目,以尽量清晰当时各个子系统的状态;

    根据分析的目的做过滤、聚合、统计等等,最后整一份漂亮的报表出来。

    标签:

    很赞哦! ()

本栏推荐