日志云从运维助手到数据专家的转变

原创
云计算
互联网时代数据的记录和分析成为重要的环节,但随着日积月累的数据积累,数据信息不断扩大,分析数据变成了十分困难的工作流程,如何利用现代科技分析日志数据分析,简化数据分析的过程准确做出正确的故障分析、安全审计和业务分析呢?

  机器数据,所有的设备,操作系统、硬件服务器、机房的感应器,包括你的应用,你的服务器,你的中间件所有产生的数据就是机器数据。

  机器数据可以进行数据故障的分析,可以看到它的性能数据,同时机器数据还有安全审计、业务分析的能力。

  安全审计主要是防止安全侵入尤其是遇到从外部的侵入时,这个机器数据是没有用的

  业务分析主要是从日志里面去把这些业务的一些关键信息,把它抠出来,一般都是放在数据库里面去。在日志里面,把各个系统关联起来之后,这部分其实是很重要的。

 

[[167520]]

  日志,不是把它单纯当做文件而是要把它当作一个消息来看。有价值的日志理解方式,应该是一条一条的消息。

  因为未来,就算是不说云,单是应用系统是要跟我们的底层的基础设施要接上的,那么未来我们的日志的看法就不会是文件,而是消息。

  日志拥有的生命周期其实是很奇怪的,先记录、传输、分析,然后再存储,然后再删除,实际上是这样一个过程,其实很多公司也有这样一个过程,随着日志的不断增加,由原来的周期慢慢演变为记录、传输、存储、删除,但是却没有了分析。

  同时日志的保存的期限是有严格的要求,把那些日志捞回来,再看里面的内容,其实是很少有这样的一个回放的过程,而且也很痛苦。大量的日志内容往往很少能过全部阅览完毕。甚至到***演变成了记录、删除这样一个没有任何作用的习惯性过程。

  想要有效利用日志进行审计及分析数据,三无主义是***的选择,没有界面,没有归档,没有批量,就是不能批量去捞日志,没有归档,也没有一个直观的日志的可视化的界面去看,但是在那样的一个情况下,其实是分析日志数据最理想的状态。

  如何进行日志的管理,建议通过Nginx去做归档,定期的把日志备份到NAS,再从NAS到磁带。有意义的日志的结构化是很有限的,结构化可以体现出日志告警,准确找出分析数据的异常。

  日志进行结构化可以使日志分析的时候,都是做全功能检索,列一条信息做全功能检索,没有什么索引,没有什么统计,这样便于数据的分析,不会使得日志数据分析痛苦不堪。

  日志云后端,后端可以用开源解决所有的问题,这一系统的开发运维是很容易搞定,直接依照于开源组建的方式去它部署、安装上去,但只是按照文档,去安装,去部署,去配置,但是我们没有去做创造。

  做一个企业级的日志查询的综合页面,基本上后台其实是可以和开源的所有组建进行吻合的, 日志查询的综合页面它不仅是我们有一般的,就是检索的柱状图、日期,还有一些趋势分析,同时也会具备远程去控制你的Heka,可视化的界面用过一段时间之后,有一些查询的规则,它是没有办法通过这个界面直接搞定的,只能通过结构化进行关联分析。

  CEP是什么?日志的整个体系结构,完成后就基本上很丰满了,能够满足我们现在互联网金融的一个要求。整个CEP的关键字就是联系不断的,实时处理的数据,也就是之前说的日志,就是一条一条的事件。它的基础检索的数据量是很大的,你要存很多数据,你有很多数据来源,所以这个基础数据很大。比如说,***面要去做一个判断,就是说他判断完这些基础数据之后,要去做一个事情,要通过一个触发器把它触发,这个可能也是要很多计算资源的。

责任编辑:关崇 来源: 51CTO
相关推荐

2018-08-08 09:57:59

腾讯云磁盘数据

2022-12-16 09:35:00

运维开发

2019-10-29 16:29:28

运维架构开发

2014-12-25 11:40:25

云计算企业软件Docker

2015-05-05 11:04:31

CoreOS自动化运维

2019-12-26 10:10:41

运维架构技术

2018-09-21 09:15:39

2018-04-27 14:06:00

运维开发痛点

2020-06-30 09:35:25

智能运维云架构IT运营

2017-05-04 10:54:08

大数据存储数据分析

2015-08-25 09:02:59

2016-11-04 14:32:19

云数据中心数据中心

2010-11-12 13:21:20

2014-04-23 11:36:29

运维日志

2013-06-17 14:03:27

IIS日志网站运维

2017-05-16 14:25:35

运维云服务DevOps

2014-09-23 11:10:22

运维

2016-06-17 10:35:20

云计算运维

2009-07-22 13:45:46

点赞
收藏

51CTO技术栈公众号