Skip to content

Latest commit

 

History

History
211 lines (154 loc) · 7.83 KB

README.md

File metadata and controls

211 lines (154 loc) · 7.83 KB
Raw

项目名称

  CW-Zabbix是一个Zabbix的二次开发项目，它目前基于Zabbix 5.0.4版本，使得Zabbix支持向Clickhouse写入指标数据。

背景知识

  Zabbix-Clickhouse项目编译出的应用支持将Zabbix数据导入到Clickhouse列数据库中。Zabbix在运行中产生的主要数据基本上可以分为history数据和trend数据。其中，trend数据是根据history计算出的各种中间值，如平均值，最高值等。而history就是zabbix搜集到的各种指标的实时历史数据，我们的目标就是把这些时序数据导入到clickhouse中。
  需要配置zabbix server启动所需的配置文件来实现上面的目标。
  在配置之前需要预先启动Clickhouse并导入表结构。启动Clickhouse时请注意配置中设置的http服务监听的端口号，下面的配置中会用到。

安装

  说明：本项目源于官方5.0.4版本开发，在安装时只有zabbix server和web的配置文件比官方版本多了一些配置，并在clickhouse中创建相关表结构即可。具体配置详见参数/配置小节。

分支说明

  • master - 主分支

  • develop - 开发分支

环境依赖

Zabbix Server 编译依赖

  unixODBC-devel、mariadb-devel、mariadb-server、net-snmp-devel、libxml2-devel、libcurl-devel、libevent-devel、autoconf、gcc、automake

Zabbix Web 运行依赖

软件 版本 备注
MySQL 推荐5.7.* 或以上
Clickhouse 推荐20.12.*或以上
Apache 推荐2.4.* 或以上
Nginx 推荐1.6.* 或以上 推荐使用nginx
PHP 必须7.2.* 或以上
PHP扩展 版本 备注
gd 2.0 or later
bcmath
libXML 2.6.15 或以上
xmlreader
xmlwriter
session
sockets
mbstring
gettext
ldap
ibm_db2
mysqli
oci8
pgsql
opcache 选择安装
yac 选择安装

编译/安装

Zabbix编译安装参考：此版本支持数据源为mysql+clickhouse，编译时请注意参数！官方文档供参考：Zabbix源代码安装

# 这里仅展示安装zabbix-server-mysql，若安装zabbix-agent请参考上面链接
$ yum install unixODBC-devel mariadb-devel mariadb-server net-snmp-devel libxml2-devel libcurl-devel libevent-devel autoconf gcc automake  
$ autoreconf --install  
$ autoconf  
$ ./configure --enable-server --enable-agent --with-mysql --enable-ipv6 --with-net-snmp --with-libcurl --with-libxml2  
$ make install

如果使用软件包方式，会将Zabbix Web运行环境一并安装。但使用本仓库代码搭建Zabbix Web，需要手动安装运行环境。

Zabbix Web界面编译安装参考

  • 启动PHP 7.2、Mysql 5.7、Apache或Nginx

  • 创建用户账户：

    $ groupadd zabbix
$ useradd -g zabbix zabbix

  • 创建 ZABBIX 数据库：

    $ mysql> create database zabbix character set utf8 collate utf8_bin;
$ mysql> grant all privileges on zabbix.* to zabbix@localhost identified by 'password';
$ mysql> quit;

  • 在clickhouse中，执行以下语句：

    CREATE DATABASE zabbix;

CREATE TABLE zabbix.history ( day Date, 
 itemid UInt64, 
 clock DateTime, 
 ns UInt32, 
 value Int64, 
 value_dbl Float64, 
 value_str String 
 ) ENGINE = MergeTree(day, (itemid, clock), 8192);

CREATE TABLE zabbix.history_buffer (day Date, 
 itemid UInt64, 
 clock DateTime, 
 ns UInt32, 
 value Int64, 
 value_dbl Float64, 
 value_str String ) ENGINE = Buffer(zabbix, history, 8, 30, 60, 9000, 60000, 256000, 256000000) ;

  • 如果需要在Clickhouse中创建trends与trends_unit视图，请执行以下语句：

    • 并在Zabbix Web配置文件中（zabbix.conf.php）取消禁用：（请完成Zabbix Web 部署后添加）
    • $HISTORY['disable_trends']=0;
    CREATE MATERIALIZED VIEW zabbix.trends
ENGINE = AggregatingMergeTree() PARTITION BY toYYYYMM(clock) ORDER BY (clock, itemid)
AS SELECT
 toStartOfHour(clock) AS clock,
 itemid,
 count(value_dbl) AS num,
 min(value_dbl) AS value_min,
 avg(value_dbl) AS value_avg,
 max(value_dbl) AS value_max
FROM zabbix.history GROUP BY clock,itemid;

CREATE MATERIALIZED VIEW zabbix.trends_uint
ENGINE = AggregatingMergeTree() PARTITION BY toYYYYMM(clock) ORDER > BY (clock, itemid)
AS SELECT
 toStartOfHour(clock) AS clock,
 itemid,
 count(value) AS num,
 min(value) AS value_min,
 avg(value) AS value_avg,
 max(value) AS value_max
FROM zabbix.history GROUP BY clock,itemid;

  • 在mysql中执行以下语句：

    shell> mysql -uroot -p<password>
mysql> create database zabbix character set utf8 collate utf8_bin;
mysql> create user 'zabbix'@'localhost' identified by '<password>';
mysql> grant all privileges on zabbix.* to 'zabbix'@'localhost';
mysql> quit;

  • 把当前仓库中的UI目录通过Apache或Nginx进行代理，推荐使用Nginx

    $ mkdir <htdocs>/zabbix
$ cd CW-Zabbix/UI
$ cp -a . <htdocs>/zabbix

  • 创建目录/etc/zabbix/

  • 将仓库中/conf/目录下的zabbix_server.conf，复制到/etc/zabbix/，修改相关配置（详见“参数/配置”）

  • 将仓库中/ui/conf/zabbix.conf.php.example，复制到/etc/zabbix/，删除“.example”后缀名，修改相关配置（详见“参数/配置”）

  • 配置完成后，访问web页面，初始化zabbix，初始化请参考：

    Zabbix Web界面初始化

参数/配置

  • zabbix_server.conf (zabbix-server配置文件) 除了下面四项配置，其他配置与官方一致：

    HistoryStorageURL=http://localhost:8123 // 注意，由于使用的是Clickhouse的rest接口，需要制定Clickhouse监听的http端口
HistoryStorageTypes=uint,dbl,str,log,text //使用默认配置即可
HistoryStorageName=clickhouse // 指明History存储方式
HistoryStorageDBName=zabbix // 指示Clickhouse中所用的数据库名称

  • zabbix.conf.php (Zabbix-web配置文件)

    文件中除了默认配置外，添加$HISTORY配置（链接clickhouse相关）

    // Zabbix GUI configuration file.
// ...省略与官方使用一致的配置项，以下展示对接clickhouse配置项

$HISTORY['storagetype']='clickhouse'; // 指明History存储方式
$HISTORY['url']='http://localhost:8123';  // Clickhouse接口
$HISTORY['dbname']='zabbix'; // Clickhouse数据库名称
$HISTORY['types'] = ['uint', 'text', 'str', 'dbl']; // 默认配置即可
$ClickHouseDisableNanoseconds=0; // 支持纳秒存储，不需要禁用
$HISTORY['disable_trends']=1; // 是否禁用trends记录，Clickhouse中创建trends与trends_unit视图，需要设置为0开启
$YAC_CACHE['enable']=1; // 1：开启，0：关闭。Zabbix-API开启yac缓存，数据将以分钟片段进行缓存。按需配置

使用

  • 完成以上步骤后，启动编译的zabbix-server即可

最新更新日志

v1.0

  • 对接Clickhouse数据源
  • 增加yac缓存，增加并发请求能力