189 8069 5689
Kibana4简单使用
为安福等地区用户提供了全套网页设计制作服务，及安福网站建设行业解决方案。主营业务为成都网站设计、网站制作、安福网站设计，以传统方式定制建设网站，并提供域名空间备案等一条龙服务，秉承以专业、用心的态度为用户提供真诚的服务。我们深信只要达到每一位用户的要求，就会得到认可，从而选择与我们长期合作。这样，我们也可以走得更远！
center
# ELK日志系统使用说明 #
/center
**k3与k4的对比**
1.界面美观：Kibana4 至今未提供类似 Kibana3 中的 Query 设置功能，包括 Query 别名和颜色选择器这两个常用功能2.日志显示：kibana4有高亮显示
3.页面设计：Kibana3 就是一个围绕着 dashboard 构建的单页应用。在页面逻辑上，Kibana3比较简洁，Kibana4稍复杂。
center
##一、 系统介绍
/center
ELK（logstash+elasticsearch+kibana）是一套开源的实时日志分析系统。目前这套系统已经在小范围内使用了。针对各位开发人员，无需关心系统底层的实现，只需关注kibana的使用即可。kibana4中，将功能拆分成了搜索（Discover），可视化（Visualize）和仪表盘(Dashboard)三个标签，我们使用最多的地方即是搜索，目前就给大家主要介绍搜索页面的使用。
center
##二、 kibana4的使用
/center
登录入口：运维平台--应用中心：ELK
地址：https//op.zhubajie.la/
center
## 快速查询项目日志
/center
**选择面板--选择项目**
首先选择面板，搜索框输入：tags:"项目名" 或host:"项目名" 即可查看对应项目的日志center
## discover 功能 ##
/center
Discover 标签页用于交互式探索你的数据。你可以访问到匹配得上你选择的索引模式的每个索引的每条记录。你可以提交搜索请求，过滤搜索结果，然后查看文档数据。你还可以看到匹配搜索请求的文档总数，获取字段值的统计情况。如果索引模式配置了时间字段，文档的时序分布情况会在页面顶部以柱状图的形式展示出来。
**查看日志数据**
点击日志内容中的小三角，查看日志详细内容。
要在单独的页面上查看文档内容，点击链接。你可以添加书签或者分享这个链接，以直接访问这条特定文档。
**1) 搜索数据**
在 Discover 页提交一个搜索，你就可以搜索匹配当前索引模式的索引数据了。
当你提交搜索的时候，直方图，文档表格，字段列表，都会自动反映成搜索的结果。hits(匹配的文档)总数会在直方图的右上角显示。
*在搜索框内输入请求字符串*：
- **通配符**：用 ? 表示单字母，* 表示任意个字母。比如 fir?t mess*。
- **简单的文本搜索**：直接输入文本字符串。比如，如果你在搜索网站服务器日志，你可以输入error 来搜索各字段中的 error单词。
- **搜索特定字段的值**：则在值前加上字段名。比如 status:200- **范围搜索**：对数值和时间，[START_VALUE TO END_VALUE]。比如，要查找 4xx 的状态码，status:[400 TO 499]。
- **多个检索条件的组合**：可以使用 NOT, AND 和 OR 来组合检索，**注意必须是大写**。比如，要查找 4xx 的状态码，还是 php 或 html 结尾的数据， status:[400 TO 499] AND (extension:php OR extension:html)。其中，[] 表示端点数值包含在范围内，{} 表示端点数值不包含在范围内。
- 近似搜索：用 ~ 表示搜索单词可能有一两个字母写的不对。比如 frist~；**2) 设置时间过滤器**
默认的时间过滤器设置为最近 15 分钟。你可以用页面顶部的时间选择器(Time Picker)来修改时间过滤器。
**3) 日志索引设置**
- Nginx日志索引：[logstash-nginx-*]
- 服务化Nginx日志索引：[api-nginx-]YYYY.MM.DD- Java日志索引：[logstash-jetty-]YYYY.MM.DD- php日志索引：[logstash-php-*]
- mysql日志索引：[logstash-]YYYY.MM.DD
- 其他日志:[logstash-]YYYY.MM.DD （注：该索引为系统默认索引，需搜索其他日志，请按步骤改变索引即可)**4) 保存搜索**
你可以在 Discover 页加载已保存的搜索面板，也可以用作 visualizations 的基础。保存一个搜索，意味着同时保存下了搜索请求字符串和当前选择的索引模式。
table
td
保存当前搜索：
1.点击 Discover 工具栏的 Save Search 按钮2.输入一个名称，点击 Save。
加载一个已存搜索：
1.点击 Discover 工具栏的 Load Search 按钮 。
2.选择你要加载的搜索。
如果已保存的搜索关联到跟你当前选择的索引模式不一样的其他索引上，加载这个搜索也会切换当前的已选索引模式。
/td
/table
**5) 改变你搜索的索引**
当你提交一个搜索请求，匹配当前的已选索引模式的索引都会被搜索。当前模式模式会显示在搜索栏下方。要改变搜索的索引，需要选择另外的模式模式。
要选择另外的索引模式：
(1).点击 Discover 工具栏的 Settings 按钮 。
(2).从索引模式列表中选取你打算采用的模式。
**6) 自动刷新页面**
亦可以配置一个刷新间隔来自动刷新 Discover 页面的最新索引数据。这回定期重新提交一次搜索请求。
设置刷新间隔后，会显示在菜单栏时间过滤器的左边。
要设置刷新间隔：
1.点击菜单栏右上角的 Time Filter 。
2.点击 Refresh Interval 标签。
3.从列表中选择一个刷新间隔。
要想自动刷新数据，点击 Auto-refresh 按钮然后选择一个自动刷新间隔：
SOLyog的下载、安装以及使用很简单。我去了相关网站下载，它只有384K字节大小。它把两个文件(一个可执行文件.exe和一个动态链接库文件.dll)安装到C:\Program Files\SQLyog路径下。然后运行可执行文件。
安装后没有必要再访问该网站了，我访问该网站是得到了一个消息，说它的域名没有设置(configured)、登记、或正在建设中。我不清楚这个问题是暂时的还是一直是这样。该软件是免费的，并且没有标志广告(banner ads)，所以它可能是一个特定的尚未最终定型的商业模型。最终可能还是要负费的。
数据库、表格(table)和列树(column tree)
该程序一启动就开始询问我的登录到MySOL服务器的口令。我只需要输入我的服务器名字、用户id和登录密码。所有其它的设置都是正确的默认值。然后(当我开始其它事务、重启几次、睡了一会之后)，我重新运行该程序，这时只需要再次输入我的登录密码。该程序没有保存密码的选项，你可以认为这是该程序的一个bug，也可以说是程序的保密特性。
一旦你登录之后，界面就是很值得注意。MySOL服务器上所有的数据库都显示在一个树型控件上。你只能访问你在登录时授权的那个数据库。如果你点开代表授权给你的那个数据库的树型结构，你就可以看到一系列代表表格的节点。点开表格节点后，你就可以看到一系列显示字段名的节点和另一个代表索引的节点集合。
索引界面绝对是个好东东，这样你就可以CRUD查询索引和关键字了。这相对前端数据库如Microsoft Access来说是个提高。如果考虑到MySOL刚刚开始提供对主(primary)和非相关(foreign)关键字关系的支持，本程序这部分的设计是很成熟的。在右下方的面板上，有四个标签页，即：结果(Result)、消息(Message)、对象(Object)和历史(History)。
在SQLyog FAQ上，有一种观点认为该软件没有正式归档的必要。当然，FAQ(常见问题解答)本身就是一种归档。SQLyog的界面非常直观。我建议你打印一份MySOL文档(包括SQL特殊语法扩展)。我就是这么做的，它只用了一个半英寸的活页封面。
最后一步?FAQ还让人想到一个让人耳朵起了老茧却又是正确的Occam's Razor准则——一切超出必要的复杂性都是没有必要的。我之所以到处“推销”这个工具，就是因为它可以为我们提供一个可以管理MySOL服务器上许多数据库的、简单的、图形化的界面。它的速度极快，并且它的拷贝很小(可以放在一张软盘上)。
SQLyog宣称自己是一个查询分析器，实际上它的功能远远不止这些。
1、点击左上角的英文或者中文连接
2、在弹出框中输入目标数据库信息
3、点击弹出框左下角测试，成功后点击确定
一、数据收集
数据收集是数据分析的最基本操作，你要分析一个东西，首先就得把这个东西收集起来才行。由于现在数据采集的需求，一般有Flume、Logstash、Kibana等工具，它们都能通过简单的配置完成复杂的数据收集和数据聚合。
二、数据预处理
收集好以后，我们需要对数据去做一些预处理。千万不能一上来就用它做一些算法和模型，这样的出来的结果是不具备参考性的。数据预处理的原因就是因为很多数据有问题，比如说他遇到一个异常值(大家都是正的，突然蹦出个负值)，或者说缺失值，我们都需要对这些数据进行预处理。
三、数据存储
数据预处理之后，下一个问题就是：数据该如何进行存储?通常大家最为熟知是MySQL、Oracle等传统的关系型数据库，它们的优点是能够快速存储结构化的数据，并支持随机访问。但大数据的数据结构通常是半结构化(如日志数据)、甚至是非结构化的(如视频、音频数据)，为了解决海量半结构化和非结构化数据的存储，衍生了HadoopHDFS、KFS、GFS等分布式文件系统，它们都能够支持结构化、半结构和非结构化数据的存储，并可以通过增加机器进行横向扩展。
四、数据分析
做数据分析有一个非常基础但又极其重要的思路，那就是对比，基本上 90% 以上的分析都离不开对比。主要有：纵比、横比、与经验值对比、与业务目标对比等。
五、数据运用
其实也就是把数据结果通过不同的表和图形，可视化展现出来。使人的感官更加的强烈。常见的数据可视化工具可以是excel，也可以用power BI系统。
六、总结分析
根据数据分析的结果和报告，提出切实可行的方案，帮助企业决策等。
关于数据分析的具体流程是什么，青藤小编就和您分享到这里了。如果您对大数据工程有浓厚的兴趣，希望这篇文章可以为您提供帮助。如果您还想了解更多关于数据分析师、大数据工程师的技巧及素材等内容，可以点击本站的其他文章进行学习。