5分钟搭建网站实时分析：Grafana+日志服务实战

原文地址：https://yq.aliyun.com/articles/227006

阿里云日志服务是针对日志类数据一站式服务，用户只需要将精力集中在分析上，过程中数据采集、对接各种存储计算、数据索引和查询等琐碎工作等都可以交给服务。2017年9月日志服务加强日志实时分析功能（LogSearch/Analytics），可以使用查询+SQL92语法对日志进行实时分析。

在结果分析可视化上，除了使用自带Dashboard外，还支持DataV、Grafana、Tableua、QuickBI等对接方式。本文主要通过一个例子，演示如何通过日志服务对Nginx日志进行分析与可视化。

演示：线上Demo，配置视频

整体架构

日志从收集到分析的架构如下图：

主要分3个步骤：

数据采集，参考文档
索引设置与控制台查询，参考索引设置与可视化，或最佳实践中网站日志分析案例
安装Grafana插件，将实时查询SQL转化为视图

我们主要演示步骤3，在做完1、2步骤后，在查询页面可以看到原始日志：

对接Grafana

1. 安装grafana

grafana的详细安装文档参见grafana官方文档

以ubuntu为例，安装命令为：

wget https://s3-us-west-2.amazonaws.com/grafana-releases/release/grafana_4.5.2_amd64.deb

sudo apt-get install -y adduser libfontconfig

sudo dpkg -i grafana_4.5.2_amd64.deb

为了使用饼状图，我们需要安装Pie chart插件,官方文档，安装命令如下：

grafana-cli plugins install grafana-piechart-panel

2. 安装日志服务插件

首先确认grafana的插件目录在哪里, ubuntu的插件地址在 /var/lib/grafana/plugins/ ，安装好插件后重启grafana-server。

执行一下命令：

cd /var/lib/grafana/plugins/

git clone https://github.com/aliyun/aliyun-log-grafana-datasource-plugin

service grafana-server restart

3. 配置日志数据源

假设是在本机部署，默认是安装在3000端口，在浏览器打开3000端口。

在左上角点击grafana的logo，在弹出窗口上选择Data Sources:

点击添加新的DataSource 使用grafana和阿里云日志服务进行日志可视化分析

各部分配置分别按照如下配置：

datasource名称可以自定义，类型选择[LogService] 。
Http Setting部分，url输入样例：http://dashboard-demo.cn-hangzhou.log.aliyuncs.com 。dashboard-demo是project名称，cn-hangzhou.log.aliyuncs.com是project所在地域的endpoint，在配置自己的数据源时，需要特别的替换成自己的project和region地址。endpoint选择内网还是外网，取决于access的配置。Access可以选择Direct，也可以选择Proxy。如果选择Direct，表示从浏览器直接发送请求，需要添加外网endpoint。如果选择proxy,则从grafana部署的机器跳转，如果grafana部署在ecs上，则可以通过内网连接。
Http Auth部分，采用默认配置即可。
log service details，日志服务详细配置，分别填写project,logstore，以及具备读取权限的accessKey，accessKey可以是主账号的accessKey，也可以是子帐号的accessKey。

配置完成后点击Add，即可完成添加dataSource。接下来添加dashboard。

4. 添加dashboard

在左上角菜单中新加一个dashboard：点击左上角菜单，依次点击Dashboards, New：

4.1 配置模板变量

在grafana中可以配置模板变量，在同一个视图中，通过选择不同的变量值，展示不同的视图，在本文中，我们配置每个时间区间的大小，以及不同域名的访问情况。

点击页面上方设置图标，然后点击Templating，

在当前页面，会显示出已经配置的模板变量，点击New，创建新的模板

我们首先配置一个时间区间，变量的名称是我们在配置中使用的变量，在这里起名为myinterval, 在查询条件中，要写成$myinterval ,会自动替换成页面选择的模板值。

我们再配置一个域名模板，通常我们在一个vps上可以挂载多个域名，那么我们需要查看不同域名的访问情况，在模板值中，我们输入
*,www.host.com,www.host0.com,www.host1.com，表示我们可以查看所有域名，也可以分别只查看www.host.com或者www.host0.com或者www.host1.com的访问情况。

配置完成后，可以在dashboard页面上方看到刚才配置的模板变量，通过下拉框可以选择任何一个值。例如time interval，所有可选的值如下：

配置动态的Query template，可以从查询中动态的获取结果。要使用query template，请参考下图进行配置，数据源选择日志服务的数据源，在query条件中，SQL保证只输出一列结果。

4.2 配置PV，UV

点击左侧ADD ROW，新建一行图表：

如果已经有一行row了，可以在左侧的弹出式菜单里选择Add Panel：

grafana可以支持多重类型的视图，对于PV，UV数据，在这里我们创建一个Graph视图：

点击Pannel Title，在弹出的窗口中点击Edit：

在Metrics配置中，选择datasource为logservice，输入Query，Y轴和X轴：

dataSource下拉框中选择之前配置的:logService。

Query输入：

$hostname| select approx_distinct(remote_addr) as uv ,count(1) as pv ,__time__-__time__%

$$

myinterval  as time group by time  order by time limit 1000

上述query中的$hostname，在实际展示时，会替换成用户选择的域名。

$$ myinterval,则会替换成时间区间，注意myinterval前有两个$符号，而hostname有一个。 Y-Column输入：

uv,pv

X-Column输入：

time

UV PV的值相差比较大，我们需要用两个Y轴来展示，在图标下方，点击uv左侧有颜色的线，可以选择uv是在左Y轴显示，还是在右Y轴显示：

标题需要视图，默认是Panel Title，点击General，可以修改Title：

4.3 配置出入网带宽

同样的方法，我们添加出入网带宽的流量：

输入 query：

$hostname | select sum(body_byte_sent) as net_out, sum(request_length) as net_in  ,__time__ -__time__%

$$

myinterval  as time group by time limit 10000

输入Y-Column:

net_in,net_out

输入X-column:

Time

4.4 不同HTTP方法的占比

新建一个Row，视图选择Pie Chart：

在配置中输入Query, 和x，y轴

Query输入：

$hostname | select count(1) as pv ,method group by method

Y-column输入：

method,pv

对于所有的饼状图，X-column输入固定值：

pie

4.5 不同HTTP状态码占比

同上，新建一个Row，视图选择Pie Chart:

Query输入：

$hostname | select count(1) as pv ,status group by status

Y-column输入：

status,pv

X-column输入：

pie

4.6 热门来源页面

同上，新建一个Row，视图选择Pie Chart:

Query输入：

$hostname | select count(1) as pv , referer  group by referer order by pv desc

Y-column输入：

referer,pv

X-column输入：

pie

4.7 延时最高页面

为了以表格形式展示url和对应的延时，我们创建时，指定Table这种视图：

Query 输入：

$hostname | select url  as top_latency_url ,request_time order by request_time  desc limit 10

Y-column输入：

top_latency_url,request_time

X-column不填写内容。

4.8 热门页面

同上，新加一个表格视图:

Query输入：

$hostname | select count(1) as pv, split_part(url,'?',1) as path  group by path order by pv desc limit 20

Y-column输入：

path,pv

X-column保留空

4.9 非200请求top页面

同上，新建一个表格视图:

Query输入：

$hostname not status:200| select count(1) as pv , url  group by url order by pv desc

Y-column输入：

url,pv

X-column保留空

4.10 前后端平均延时

新建一个Graph视图：

Query输入：

$hostname | select avg(request_time) as response_time, avg(upstream_response_time) as upstream_response_time  ,__time__ - __time__ %

$$

myinterval  as time group by time  limit 10000

Y-column输入：

upstream_response_time,response_time

X-column输入：

time

4.11 客户端统计

新建一个饼图：

Query输入：

$hostname | select count(1) as pv, case when  regexp_like(http_user_agent , 'okhttp') then 'okhttp' when  regexp_like(http_user_agent ,  'iPhone') then 'iPhone' when regexp_like(http_user_agent ,  'Android')  then 'Android' else 'unKnown' end as http_user_agent group by  http_user_agent order by pv desc limit 10

Y-column输入：

http_user_agent,pv

X-column输入：

pie

4.12 各省份占比统计

选择pie视图：

Query输入：

*| select ip_to_province(remote_addr) as province, count(1) as pv group by province order by pv desc  limit 10

Y-Column输入:

province,pv

X-column输入:

pie

4.13 保存和发布dashboard

点击页面上方的保存按钮，发布dashboard：

大功告成

打开dashboard首页查看效果，demo地址

在页面上方，可以选择统计的时间范围，也可以选择统计的时间粒度，或者选择不同的域名。

这样整个nginx访问统计的dashboard就完成了，我们可以从视图中挖掘有价值的信息。