APM全链路监控--日志收集篇

　一、监控的意义：

　　　　　　随着互联网普及的广度和深度，对于项目的监控显得格外重要；无论是web服务器进程、内存、cpu等资源监控，还是爬虫程序请求频率，状态码以及储存结果的监控，都需要一个及时的反馈机制。

　　二、监控过程：

　　　　　　背景介绍：通过固定的路径对日志进行采集，然后根据统计规定时间段的关键字段(LinkFailException)出现频率，在告警平台设置好特定的阈值，发送告警通知。

　　三、需要用的组件：

　　　　1、用filebeat 收集日志；

　　　　2、传给logstash解析；

　　　　3、最后进elasticsearch搜索；

　　　　4、用kibana做可视化；

　　　　（刚开始做，搜集到的日志对接公司的告警监控平台，刚开始写，诸多不足亟待改进）

-----------------------------------------------------------------------------------------------------------------

　　一、什么是APM？

　　　　   APM （应用性能管理） - Application Performance Management & Monitoring 在信息科学和系统控制领域，APM致力于监控和管理应用软件性能和可用性。 通过监测和诊断复杂应用程序的性能问题，来保证软件应用程序的良好运行(预期的服务)。

　　二、APM主要功能

　　　　1）监测企业关键应用性能

　　　　过去，企业的IT部门在测量系统性能时，一般重点测量为最终用户提供服务的硬件组件的利用率，如CPU利用率以及通过网络传输的字节数。虽然这种方法也提供了一些宝贵的信息，但却忽视了最重要的因素--最终用户的响应时间。现在通过事务处理过程监测、模拟等手段可真实测量用户响应时间，此外还可以报告谁正在使用某一应用、该应用的使用频率以及用户所进行的事务处理过程是否成功完成。

　　　　2）快速定位应用系统性能故障

　　　　通过对应用系统各种组件（数据库、中间件）的监测，迅速定位系统故障，如发生Oracle数据库死锁等问题。

　　　　3）优化系统性能

　　　　精确分析系统各个组件占用系统资源情况，中间件、数据库执行效率，根据应用系统性能要求提出专家建议，保证应用在整个寿命周期内使用的系统资源要求最少，节约TCO。

　　　　新一代APM：让整个IT团队参与应用性能监控。
　　　　好的APM可以让IT组织中原本孤立的各个方面集中在一起，比如自动生成准确的业务应用系统组件关系视图、关系视图实时更新、准确掌握应用访问逻辑关系等。APM工具可以帮助那些原本一直局限于监控自身领域的管理员，使他们成长为理解应用及其支持基础架构的更有战略价值的性能管理专业人员。