【51CTO.com快译】说到日志分析服务,与大多数人一样你可能最先想到的是Splunk。
但Splunk的成功已促使其他许多产品在日志分析领域加大力度,无论是开源版还是商业版。本文介绍的一大批方案为系统管理员和开发人员提供了从服务到开源堆栈的一切。
1.Elasticsearch(ELK堆栈)
LAMP这个Web堆栈包括Linux、Apache HTTP Web服务器、MySQL数据库和PHP(或Perl或Python)。同样,ELK用于描述用Elasticsearch构建的用于搜索功能的日志分析堆栈、用于数据收集的Logstash和用于数据可视化的Kibana。全都是开源。
Elastic是商业开发这套堆栈的公司,将所有组件作为云服务或者作为采用支持订购模式的免费开源产品来提供。考虑到Splunk的优势在于搜索、报告以及数据收集,Elasticsearch、Logstash和Kibana结合使用时提供了优秀的Splunk替代方案。
其他公司也提供ELK堆栈的商业支持版本,或将ELK作为服务来提供:
2.Logsene
Sematext的Logsene产品是ELK即服务:托管的ELK堆栈,可以在云端或防火墙后面使用,与任何日志传送服务协同使用。该平台可与40多种服务和应用程序集成,生成关于贵企业内部情况的上下文信息。套餐起价每月50美元,收费方案可免费试用30天。可使用免费的基本方案,不过每天日志最多500MB、保留7天。
Logsene还提供Logagent,这个开源项目用于从众多来源获取日志,并传输到Sematext的云或Elasticsearch实例。Logagent更便捷的默认功能之一是数据屏蔽,那样敏感数据可以隐藏起来后发送。Logagent也可以试用30天。
3.Logz.io
Logz.io将ELK作为服务来提供,拥有“live tail”(能够从控制台实时查看日志)和自动归档到亚马逊S3对象存储等功能。现在还提供通过Kibana和Grafana实现的时间序列分析。
收费方案起价每月289美元,存储空间为5GB、最多保留1年。免费社区版提供高达3GB的日常容量、保留3天。
4.Qbox
Qbox在众多云基础设施(AWS、IBM Cloud和Rackspace)上提供ELK堆栈每个部分的托管版本。实现的每个部分可以跨节点扩展,拥有可调整的内存量、可部署在不同的地区以及节点之间故障切换这项可选功能。Qbox还提供整个ELK堆栈的托管版本。
5.Graylog
Graylog使用Elasticsearch作为核心组件,但它也依赖MongoDB数据存储和Apache Kafka数据流系统。事件数据和在线(on-the-wire)数据可以从大多数来源获取,包括Fluentd等第三方连接件。Graylog还随带自己的基于浏览器的前端UI,但理论上其API支持任何前端。
核心产品是免费开源。企业版增加了归档等功能,对于每天处理量低于5GB的用户来说免费。提供面向大多数虚拟化环境(包括Docker)的版本,还提供面向各大编排和自动化工具(Chef、Puppet、Ansible和Vagrant)的脚本。
6.InsightOps
InsightOps是Rapid7包括分析、可视性和自动化产品系列的云托管套件的一部分。数据可以从众多格式和平台来获取:Docker和CoreOS等容器系统,来自Logstash、PagerDuty和New Relic的事件,以及来自Slack等通知和消息传递系统的警报。几乎其余一切都可以通过Web钩子(webhook)和API加以集成。“合成”日志可以从通常不生成它们的端点生成。可以从收集而来的数据生成实时仪表板和静态报告。
方案起价每月48美元,数据可存储30GB、保留30天,可免费试用30天。
7.Loggly
Loggly是一种云服务,可从众多定义的服务收集日志,但拥有与syslog兼容的代理的任何数据源(基本上使用RFC 5424的任何数据源)都可以充当获取源。获取的数据可通过充分利用REST的API用于快速搜索和分析。
可以通过基于Web的仪表板检查结果,经配置后可根据特定条件在Slack中触发警报。用户可以查看所选择日志的live tail结果。还可以从记入日志的数据自动提取详细信息,比如会话ID,用于进一步的分析。
收费方案起价每月79美元,可免费试用14天。免费版每天最多获取200MB、数据保留7天。
8.Papertrail
Papertrail拥有许多其他竞争产品常备的功能,包括收集日志的实时视图、便捷的搜索功能以及日志历史记录中的上下文链接,所有这些功能都作为云服务来提供,采用高度细化的定价体系。
收费方案起价每月6美元,每月可存储1GB、保留1年;方案可高度定制,每月最多可存储1500GB。入门版允许每月免费收集多达50MB的日志(加上第一个月的额外16GB),提供48小时可搜索的日志,日志归档7天。
9.SolarWinds Log Analyzer
SolarWinds提供众多IT管理产品,用于安全、数据库、基础设施管理以及事件日志分析。SolarWinds Log Analyzer从许多常见的事件生成系统(syslog格式的系统日志以及Windows和VMware事件)获取数据,提供搜索和过滤前端,提供事件的实时流视图,可以生成报告,并将日志转发或导出到其他目的地,比如SIEM系统、数据库或平面文本文件。 Log Analyzer起价1495美元,可免费试用30天。
10.Sumo Logic
Sumo Logic是《Network World》杂志2014年值得关注的10家大数据初创公司之一,这种云原生日志分析服务使用机器学习和预测分析来发现数据中的异常,帮助用户预测可能破坏性的事件。
Sumo Logic预先配置了用于许多常见企业产品的搜索和仪表板,从Web服务器(Apache、IIS和Nginx)到基础设施(Cisco、Kubernetes和Docker)到操作系统,不一而足。它还支持直接从主机收集度量指标的原生方式,比如在AWS上通过Amazon CloudWatch来收集。用户还可以使用Graphite等工具推出自己的数据收集服务。
收费版起价每月270美元,每天可获取3GB的数据,存储空间达30GB。免费版则允许每天最多获取500MB的数据,保留4GB的数据。
原文标题:10 Splunk alternatives for log analysis,作者:Serdar Yegulalp
【51CTO译稿,合作站点转载请注明原文译者和出处为51CTO.com】