.Net Core 2.0+ InfluxDB+Grafana+App Metrics 实现跨平台的实时性能监控

发布时间:2017-11-27 18:22  浏览次数:102

一、简介

最近这段时间一直在忙,没时间写博客,负责了一个项目,从前端到后端一直忙,同时还有其他第几个项目的系统架构要处理。

去年就开始关注net core了,只是平时写写demo,没用在项目中,正好这次机会就用了net
core,具体是什么时候开始的不太记得了,总之刚开始是用core
1.0开发,然后在开发的时候突然想到,平时我们的项目中都没有做过项目的实时监控,为什么这次不试试看呢,而且还能知道每天什么时段的流量走向,系统吞吐量等。记得之前去北京总公司的时候,看到java开发部那边有一个大屏幕,实时的显示项目的吞吐量、请求量等信息,感觉非常酷,我们net应该可以可以实现吧。

抱着这总心态就去找了一些相关资料,也就在项目用了起来。

项目部署在windows环境下,Influxdb的介绍这里不再赘述。

二、安装Influxdb


首先安装InfluxDB时序数据库,地址如下:https://portal.influxdata.com/downloads#influxdb ,这里我就下载Windows
Binaries (64-bit),具体的写一下配置文件和安装过程。

解压后打开influxdb.conf,因为influxdb的默认配置全是针对linux配置的,所以我们需要修改一下配置文件。

修改下面3个liunx的路径,改为winodws路径如下:
[meta] # Where the metadata/raft database is stored dir = "influxdb/meta"
[data] # The directory where the TSM storage engine stores TSM files. dir =
"influxdb/data" # The directory where the TSM storage engine stores WAL files.
wal-dir = "influxdb/wal"
我将influxdb的文件都放在了influxdb目录下,可以用相对位置,也可以用绝对位置,这个可以根据个人需要修改。

这里提一下,Influxdb v1.2.4之后好像网页图形化管理界面就去掉了,1.2.4之前的是有网页图形化管理界面的,influxdb.conf文件之前还有
[admin] # Determines whether the admin service is enabled. enabled = true #
The default bind address used by the admin service. bind-address = ":8083"

不过后面的版本,conf文件里就没有这个了,所以大家要注意一下。后面版本没办法用网页图形化管理,如果要连接Influxdb的话可以在目录下以cmd运行influx.exe,如果不想所有人都可以访问你的InfluxDB,那么你可以在conf文件里配置认证信息

# Determines whether HTTP endpoint is enabled.
enabled = true

# The bind address used by the HTTP service.
bind-address = ":8086"

# Determines whether user authentication is enabled over HTTP/HTTPS.
auth-enabled = true

(注意:在没配置好账号密码前,请先别将上面的:auth-enabled 设置成 true,先在auth-enabled = false
不启用身份验证的时候,创建一个管理员权限的账号,命令如下:CREATE USER "admin" WITH PASSWORD '123456' WITH
ALL PRIVILEGES,创建好账号后,将auth-enabled 设置成
true,然后启动influxdb,最后使用账号密码的情况下创建一个名为"AppMetricsDemo"的数据,命令如下:CREATE DATABASE
"AppMetricsDemo")

 

最后cmd运行,进入到你的解压目录,执行命令:
influxd -config influxdb.conf
这里说一下,使用influx.exe登录时,输入以下命令:influx -host 127.0.0.1 -port 8086 -username
"admin" -password "123456",这样就连上InfluxDB了。然后创建数据库:CREATE DATABASE
"AppMetricsDemo"。


如果你觉得这样比较麻烦,可以安装两个influxDB,一个是V1.2.4版的,一个是最新版的,这是需要修改配置文件的端口,将两个influxDB的端口修改成不一样的就好,然后用1.2.4版本的连接最新版的即可,如图,点击右上角的齿轮图标即可出现连接表单,



(安装好influxDB后,记得在influxDB中创建Demo需要的数据库“AppMetricsDemo”)

三、安装Grafana

安装Grafana,下载地址:https://grafana.com/get,我们解压后进入bin目录,如图:



直接运行grafana-server.exe即可。

Grafana默认会监听3000的端口,所以我们进入http://localhost:3000,

会让你登陆,直接输入本地的管理员帐户即可,帐户:admin  密码:admin,进入后如图:



安装完成之后,我们下载相关仪表模版的Json文件。

地址如下:https://grafana.com/dashboards/2125

然后我们导入我们的仪表:如图操作即可



 

添加我们上面的数据源,如图:



选择Add DataSource,然后操作如下:



这样,我们就完成了Grafana的安装配置和添加数据源。


由于实际项目中,我们不可能在服务器上运行个控制台去开启这些服务,所以我们需要将influxDB和Grafana发布成服务的形式运行在服务器上,这里我们可以使用nssm工具将InfluxDB和Grafana封装成服务运行。

下载地址如下:http://www.nssm.cc/download

解压后进入到对应系统版本文件夹中,里面有个32位和64位的文件,根据自己的实际情况选择,如图:



我们选择win64,进入文件夹后运行cmd,输入nssm install InfluxDB 运行后出现如下界面:



重点说一下参数这一栏,Argument里输入:-config influxdb.conf,类似上面在cmd中输入Influxd -config
influxdb.conf

安装好后运行起来就好,Grafana的安装类似上面的操作,只是Argument这一栏不需要输入任何东西。

四、.netCore 中使用AppMetrics

.netCore 中使用AppMetrics,新建一个名为Demo 的api,然后编辑右键编辑
Demo.csproj文件,在ItemGroup节点下新增以下Package

<PackageReference Include="App.Metrics" Version="2.0.0-alpha" />
<PackageReference Include="App.Metrics.AspNetCore.Endpoints"
Version="2.0.0-alpha" />
<PackageReference Include="App.Metrics.AspNetCore.Reporting"
Version="2.0.0-alpha" />
<PackageReference Include="App.Metrics.AspNetCore.Tracking"
Version="2.0.0-alpha" />
<PackageReference Include="App.Metrics.Extensions.Reporting.InfluxDB"
Version="1.2.0" />
<PackageReference Include="App.Metrics.Formatters.Json" Version="2.0.0-alpha"
/>
<PackageReference Include="App.Metrics.Reporting.InfluxDB"
Version="2.0.0-alpha" />

 保存后,项目就引用了AppMetrics相关类库



然后修改appsettings.json文件。添加如下代码
{ "Logging": { "IncludeScopes": false, "Debug": { "LogLevel": { "Default":
"Warning" } }, "Console": { "LogLevel": { "Default": "Warning" } } },
"InfluxDB": { "IsOpen": true, "DataBaseName": "AppMetricsDemo",
"ConnectionString": "http://10.10.134.109:8086", "username": "admin",
"password": "123456", "app": "RepairApp", "env": "stage" } }
ConfigureServices方法,如下:
using System; using System.Collections.Generic; using System.Linq; using
System.Threading.Tasks; using Microsoft.AspNetCore.Builder; using
Microsoft.AspNetCore.Hosting; using Microsoft.Extensions.Configuration; using
Microsoft.Extensions.DependencyInjection; using Microsoft.Extensions.Logging;
using Microsoft.Extensions.Options; using App.Metrics; namespace Demo { public
class Startup { public Startup(IConfiguration configuration) { Configuration =
configuration; } public IConfiguration Configuration { get; } // This method
gets called by the runtime. Use this method to add services to the container.
public void ConfigureServices(IServiceCollection services) { #region
Metrics监控配置 string IsOpen =
Configuration.GetSection("InfluxDB")["IsOpen"].ToLower(); if (IsOpen == "true")
{ string database = Configuration.GetSection("InfluxDB")["DataBaseName"];
string InfluxDBConStr =
Configuration.GetSection("InfluxDB")["ConnectionString"]; string app =
Configuration.GetSection("InfluxDB")["app"]; string env =
Configuration.GetSection("InfluxDB")["env"]; string username =
Configuration.GetSection("InfluxDB")["username"]; string password =
Configuration.GetSection("InfluxDB")["password"]; var uri = new
Uri(InfluxDBConStr); var metrics = AppMetrics.CreateDefaultBuilder()
.Configuration.Configure( options => { options.AddAppTag(app);
options.AddEnvTag(env); }) .Report.ToInfluxDb( options => {
options.InfluxDb.BaseUri = uri; options.InfluxDb.Database = database;
options.InfluxDb.UserName = username; options.InfluxDb.Password = password;
options.HttpPolicy.BackoffPeriod = TimeSpan.FromSeconds(30);
options.HttpPolicy.FailuresBeforeBackoff = 5; options.HttpPolicy.Timeout =
TimeSpan.FromSeconds(10); options.FlushInterval = TimeSpan.FromSeconds(5); })
.Build(); services.AddMetrics(metrics); services.AddMetricsReportScheduler();
services.AddMetricsTrackingMiddleware(); services.AddMetricsEndpoints(); }
#endregion services.AddMvc(); } // This method gets called by the runtime. Use
this method to configure the HTTP request pipeline. public void
Configure(IApplicationBuilder app, IHostingEnvironment env) { if
(env.IsDevelopment()) { app.UseDeveloperExceptionPage(); } #region 注入Metrics
string IsOpen = Configuration.GetSection("InfluxDB")["IsOpen"].ToLower(); if
(IsOpen == "true") { app.UseMetricsAllMiddleware(); // Or to cherry-pick the
tracking of interest app.UseMetricsActiveRequestMiddleware();
app.UseMetricsErrorTrackingMiddleware();
app.UseMetricsPostAndPutSizeTrackingMiddleware();
app.UseMetricsRequestTrackingMiddleware();
app.UseMetricsOAuth2TrackingMiddleware();
app.UseMetricsApdexTrackingMiddleware(); app.UseMetricsAllEndpoints(); // Or to
cherry-pick endpoint of interest app.UseMetricsEndpoint();
app.UseMetricsTextEndpoint(); app.UseEnvInfoEndpoint(); } #endregion
app.UseMvc(); } } }
代码这一块基本上完成了。

五、效果

接下来运行项目,访问以下,然后看看Grafana中的仪表盘看看



附上demo地址:https://github.com/landonzeng/AppMetricsDemo

 

其他工具相关

标签

归档

阅读排行