support config alert threshold tags bind (#1181)

Signed-off-by: tomsun28 <tomsun28@outlook.com>
apache · Aug 15, 2023 · 699870a · 699870a
1 parent b2e0e80
commit 699870a
Show file tree

Hide file tree

Showing 11 changed files with 541 additions and 2 deletions.
diff --git a/alerter/src/main/java/org/dromara/hertzbeat/alert/calculate/CalculateAlarm.java b/alerter/src/main/java/org/dromara/hertzbeat/alert/calculate/CalculateAlarm.java
@@ -25,6 +25,7 @@
 import org.dromara.hertzbeat.alert.AlerterWorkerPool;
 import org.dromara.hertzbeat.alert.reduce.AlarmCommonReduce;
 import org.dromara.hertzbeat.alert.service.AlertService;
+import org.dromara.hertzbeat.common.entity.manager.TagItem;
 import org.dromara.hertzbeat.common.queue.CommonDataQueue;
 import org.dromara.hertzbeat.alert.dao.AlertMonitorDao;
 import org.dromara.hertzbeat.common.entity.alerter.Alert;
@@ -222,6 +223,12 @@ private void afterThresholdRuleMatch(long currentTimeMilli, long monitorId, Stri
             Map<String, String> tags = new HashMap<>(6);
             tags.put(CommonConstants.TAG_MONITOR_ID, String.valueOf(monitorId));
             tags.put(CommonConstants.TAG_MONITOR_APP, app);
+            if (define.getTags() != null && !define.getTags().isEmpty()) {
+                for (TagItem tagItem : define.getTags()) {
+                    fieldValueMap.put(tagItem.getName(), tagItem.getValue());
+                    tags.put(tagItem.getName(), tagItem.getValue());
+                }
+            }
             Alert alert = Alert.builder()
                                   .tags(tags)
                                   .alertDefineId(define.getId())
@@ -327,6 +334,12 @@ private void handlerMonitorAvailableAlert(long monitorId, String app, CollectRep
         tags.put("code", code.name());
         Map<String, Object> valueMap = tags.entrySet()
                 .stream().collect(Collectors.toMap(Map.Entry::getKey, Map.Entry::getValue));
+        if (avaAlertDefine.getTags() != null && !avaAlertDefine.getTags().isEmpty()) {
+            for (TagItem tagItem : avaAlertDefine.getTags()) {
+                valueMap.put(tagItem.getName(), tagItem.getValue());
+                tags.put(tagItem.getName(), tagItem.getValue());
+            }
+        }
         if (preAlert == null) {
             Alert.AlertBuilder alertBuilder = Alert.builder()
                     .tags(tags)

diff --git a/common/src/main/java/org/dromara/hertzbeat/common/entity/alerter/AlertDefine.java b/common/src/main/java/org/dromara/hertzbeat/common/entity/alerter/AlertDefine.java
@@ -23,6 +23,8 @@
 import lombok.Builder;
 import lombok.Data;
 import lombok.NoArgsConstructor;
+import org.dromara.hertzbeat.common.entity.manager.JsonTagListAttributeConverter;
+import org.dromara.hertzbeat.common.entity.manager.TagItem;
 import org.hibernate.validator.constraints.Length;
 import org.springframework.data.annotation.CreatedBy;
 import org.springframework.data.annotation.CreatedDate;
@@ -36,6 +38,7 @@
 import javax.validation.constraints.NotNull;
 
 import java.time.LocalDateTime;
+import java.util.List;
 
 import static io.swagger.v3.oas.annotations.media.Schema.AccessMode.READ_ONLY;
 import static io.swagger.v3.oas.annotations.media.Schema.AccessMode.READ_WRITE;
@@ -93,6 +96,12 @@ public class AlertDefine {
     @Min(0)
     @Max(10)
     private Integer times;
+
+    @Schema(description = "附加告警标签(status:success,env:prod)", example = "{name: key1, value: value1}",
+            accessMode = READ_WRITE)
+    @Convert(converter = JsonTagListAttributeConverter.class)
+    @Column(length = 2048)
+    private List<TagItem> tags;
 
     @Schema(title = "告警阈值开关", example = "true", accessMode = READ_WRITE)
     private boolean enable = true;

diff --git a/home/blog/2023-08-14-hertzbeat-v1.4.0.md b/home/blog/2023-08-14-hertzbeat-v1.4.0.md
diff --git a/home/i18n/zh-cn/docusaurus-plugin-content-blog/2023-08-14-hertzbeat-v1.4.0.md b/home/i18n/zh-cn/docusaurus-plugin-content-blog/2023-08-14-hertzbeat-v1.4.0.md
@@ -0,0 +1,184 @@
+---
+title: 重磅更新，HertzBeat 集群版发布，易用友好的开源实时监控系统! 
+author: tom  
+author_title: tom   
+author_url: https://github.com/tomsun28  
+author_image_url: https://avatars.githubusercontent.com/u/24788200?s=400&v=4  
+tags: [opensource, practice]
+keywords: [open source monitoring system, alerting system, Linux monitoring]
+---
+
+
+![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/a9629ef5bb6e486cacddb899f1495c6e~tplv-k3u1fbpfcp-zoom-1.image)
+
+
+### 什么是 HertzBeat?
+
+[HertzBeat 赫兹跳动](https://github.com/dromara/hertzbeat) 是一个拥有强大自定义监控能力，高性能集群，无需 Agent 的开源实时监控告警系统。
+
+### 特点
+
+- 集 **监控+告警+通知** 为一体，支持对应用服务，数据库，操作系统，中间件，云原生，网络等监控阈值告警通知一步到位。
+- 易用友好，无需 `Agent`，全 `WEB` 页面操作，鼠标点一点就能监控告警，零上手学习成本。
+- 将 `Http,Jmx,Ssh,Snmp,Jdbc` 等协议规范可配置化，只需在浏览器配置监控模版 `YML` 就能使用这些协议去自定义采集想要的指标。您相信只需配置下就能立刻适配一款 `K8s` 或 `Docker` 等新的监控类型吗？
+- 高性能，支持多采集器集群横向扩展，支持多隔离网络监控，云边协同。
+- 自由的告警阈值规则，`邮件` `Discord` `Slack` `Telegram` `钉钉` `微信` `飞书` `短信` `Webhook` 等方式消息及时送达。
+
+
+> `HertzBeat`的强大自定义，多类型支持，高性能，易扩展，低耦合，希望能帮助开发者和团队快速搭建自有监控系统。    
+> 当然我们也提供了对应的 **[SAAS版本监控云服务](https://console.tancloud.cn)**，中小团队和个人无需再为监控自有资源而去部署一套监控系统，**[登录即可免费开始](https://console.tancloud.cn)**。
+
+![hertzBeat](/img/docs/hertzbeat-arch.png) 
+
+**Github: https://github.com/dromara/hertzbeat**
+
+**Gitee: https://gitee.com/dromara/hertzbeat**
+
+### 集群版来啦   
+
+我们之前的hertzbeat一直是单机版本，组件代码模块化但不支持采集器独立部署，所支持的监控数量上限受到了单节点的天然限制，且无法应对多个隔离网络的资源的统一纳管。   
+经过一个多月的迭代，我们重写了采集任务调度，采集器独立部署，设计单机版和集群版用同一套代码方便后续的维护升级，单机集群两种模式可相互切换无感知。最终很高兴，集群版如期与大家见面了。  
+
+集群版不仅仅给我们带来了更强大的监控性能，更有云边协同等功能让人充满想象。  
+
+#### 高性能集群
+
+- 支持部署采集器集群，多采集器集群横向扩展，指数级提高可监控数量与采集性能。    
+- 监控任务在采集器集群中自调度，单采集器挂掉无感知故障迁移采集任务，新加入采集器节点自动调度分担采集压力。     
+- 单机模式与集群模式相互切换部署非常方便，无需额外组件部署。
+
+![hertzbeat](/img/docs/cluster-arch.png)
+
+#### 云边协同
+
+> 支持部署边缘采集器集群，与主 HertzBeat 服务云边协同提升采集能力。
+
+在多个网络不相通的隔离网络中，在以往的方案中我们需要在每个网络都部署一套监控系统，这导致数据不互通，管理部署维护都不方便。  
+HertzBeat 提供云边协同能力，可以在多个隔离网络部署边缘采集器，添加监控时指定采集器，采集器在隔离网络内部进行监控任务采集，采集数据上报，由主 HertzBeat 服务统一调度管理展示。  
+这多用于多个隔离数据中心或不同厂商云资源和云下资源的统一监控场景。   
+
+![hertzbeat](/img/docs/cluster-arch.png)
+
+### 为什么要开源集群版?  
+
+往往一些做需要商业化的开源产品的策略会是单机版作为玩具给小玩家们的入门使用，然后集群版作为闭源产品给有需求的氪金玩家付费使用。这样的模式是可以说非常不错的且值得肯定的，即保证开源也得到了收益，也适用于很多开源项目的发展策略，可能会在商业路径上走得更通顺点。    
+网络上有些人会对这样的分单机和集群版的开源项目嗤之以鼻，觉得它们是伪开源，开源是噱头，他们觉得开源应该什么都开源免费出来，开源团队什么都应该无私奉献出来。。。。很无语这类人，有投入才有回报，当你免费使用着开源软件并得到价值的时候，是否应该想一想你付出给开源软件了什么而不是一味的索取。    
+那回到正题，我们又为什么要开源集群版？仅因为热爱开源？如果说我们还在少年可能这话你信，但一个快奔30还有家庭责任的人说出这话你信吗，我自己都不信😂。    
+首先我们来看看开源能带来什么，或者为什么要做开源。最开始全职开源的想法很简单，做自己喜欢的开源产品(已实现)，程序员的梦想能部署在成千上万的服务器上(看下载量已实现)，然后基于此开源产品挣钱(暂未哭)。   
+
+- 用户流量。开源项目免费提供给用户和开发者，吸引用户使用，宣传等方面都有优势。
+- 用户信任。开源的产品天生容易获取用户的信任和使用耐心，或者说降低用户的信任门槛。
+- 社区协作。开源的产品可以吸引到顶级贡献者一起贡献，接收用户的反馈issue，pr贡献等，在社区的驱动下使开源项目越来越好，正向反馈后也会有更多人参与和使用。社区协作我觉得这是开源的意义，而且这样不仅仅只是程序员之间的贡献代码协作，用户都是协作对象(比如我们这个项目有大量的运维朋友贡献代码和文档)，如果是仅仅代码开源而不社区协作，那还不如放个安装包给别人免费使用下载就好。
+- 产品生态。这对一些需要生态的产品是需要的，比如hertzbeat，需要支持对接各种类型协议的监控类型，大量的监控模版。一个好的开源项目生态才能吸引到其它贡献者贡献和分享，在生态中互通有无，最终大家在生态中都受益。这在闭源程序中是很难做到的。 
+
+上面几点，重在社区协作和产品生态，这也是开源集群版的原因，只有卷开源产品卷自己到更强的产品力，比如集群这一技术特性天生会吸引到开发者(而且集群本身就是我们社区协作的产物)，会吸引到更多的用户和贡献者使用反馈大家一起迭代，社区驱动进而正向促进开源项目和满足用户功能体验。   
+而对于开源商业化，开源商业化的前提是得有个真正好的，受欢迎，被广泛使用的开源产品，然后在此基础上做商业化挣钱。   
+
+对了这里再说下开源不等同于免费，如果基于HertzBeat二次开发修改了logo，名称，版权等，请先找我们授权否则会有法律风险，我们有权利追诉破坏开源并因此获利的团队个人的全部违法所得。   
+免费使用不是白嫖，这种破坏开源协议的才是，目前发现大量白嫖怪，小心点哈你们。我每年正月初七都会祝你们用这些钱吃的安心，住的放心，玩的开心哈。(仅个人言论不代表社区)
+
+
+### 尝试部署集群版  
+
+
+1. `docker` 环境仅需一条命令即可开始
+
+```docker run -d -p 1157:1157 -p 1158:1158 --name hertzbeat tancloud/hertzbeat```
+
+```或者使用 quay.io (若 dockerhub 网络链接超时)```
+
+```docker run -d -p 1157:1157 -p 1158:1158 --name hertzbeat quay.io/tancloud/hertzbeat```
+
+2. 浏览器访问 `http://localhost:1157` 即可开始，默认账号密码 `admin/hertzbeat`
+
+3. 部署采集器集群
+
+```
+docker run -d -e IDENTITY=custom-collector-name -e MANAGER_IP=127.0.0.1 -e MANAGER_PORT=1158 --name hertzbeat-collector tancloud/hertzbeat-collector
+```
+- `-e IDENTITY=custom-collector-name` : 配置此采集器的唯一性标识符名称，多个采集器名称不能相同，建议自定义英文名称。
+- `-e MANAGER_IP=127.0.0.1` : 配置连接主HertaBeat服务的对外IP。
+- `-e MANAGER_PORT=1158` : 配置连接主HertzBeat服务的对外端口，默认1158。
+
+更多配置详细步骤参考 [通过Docker方式安装HertzBeat](https://hertzbeat.com/docs/start/docker-deploy)
+
+
+----
+
+### 更多的 v1.4.0 版本更新
+
+> 更多版本新功能更新欢迎探索，感谢社区小伙伴们的辛苦贡献，爱心💗!  
+
+* [doc] add v1.3.2 publish doc by @tomsun28 in https://github.com/dromara/hertzbeat/pull/1075
+* remove elasticsearch unused param index by @Ceilzcx in https://github.com/dromara/hertzbeat/pull/1080
+* feature support monitoring apache airflow by @luoxuanzao in https://github.com/dromara/hertzbeat/pull/1081
+* add luoxuanzao as a contributor for code by @allcontributors in https://github.com/dromara/hertzbeat/pull/1083
+* [collector] bugfix sshd cannot use private key to connect by @gcdd1993 in https://github.com/dromara/hertzbeat/pull/1084
+* bugfix update dashboard alerts cards height not consist by @tomsun28 in https://github.com/dromara/hertzbeat/pull/1087
+* Feature#serverchan by @zqr10159 in https://github.com/dromara/hertzbeat/pull/1092
+* bugfix dm database monitoring connect error  by @lisongning in https://github.com/dromara/hertzbeat/pull/1094
+* add lisongning as a contributor for code by @allcontributors in https://github.com/dromara/hertzbeat/pull/1096
+* update alert rule operator display "<=" to ">=" by @Ceilzcx in https://github.com/dromara/hertzbeat/pull/1097
+* [doc]  add custom monitoring relate document by @tomsun28 in https://github.com/dromara/hertzbeat/pull/1098
+* add YutingNie as a contributor for code by @allcontributors in https://github.com/dromara/hertzbeat/pull/1103
+* Remove unreachable status by @YutingNie in https://github.com/dromara/hertzbeat/pull/1102
+* 139 auto update alert status by @l646505418 in https://github.com/dromara/hertzbeat/pull/1104
+* feat: aviator fn for str contains, exists & matches by @mikezzb in https://github.com/dromara/hertzbeat/pull/1106
+* add mikezzb as a contributor for code by @allcontributors in https://github.com/dromara/hertzbeat/pull/1107
+* bugfix common alarm do not need monitorId tag existed by @tomsun28 in https://github.com/dromara/hertzbeat/pull/1108
+* bugfix extern alert do not have labels mapping inner monitor by @tomsun28 in https://github.com/dromara/hertzbeat/pull/1111
+* feature: support apache spark metrics monitoring by @a-little-fool in https://github.com/dromara/hertzbeat/pull/1114
+* add a-little-fool as a contributor for code by @allcontributors in https://github.com/dromara/hertzbeat/pull/1116
+* [Feature]Add third report of TenCloud by @zqr10159 in https://github.com/dromara/hertzbeat/pull/1113
+* [Feature]Add third report of TenCloud (#1113) by @zqr10159 in https://github.com/dromara/hertzbeat/pull/1119
+* [manager] fix: can query by tags when tagValue is null by @l646505418 in https://github.com/dromara/hertzbeat/pull/1118
+* bugfix the notification template environment variable display error by @tomsun28 in https://github.com/dromara/hertzbeat/pull/1120
+* add littlezhongzer as a contributor for code by @allcontributors in https://github.com/dromara/hertzbeat/pull/1127
+* feature:monitor brearer token api, ignore letter case to comparison by @littlezhongzer in https://github.com/dromara/hertzbeat/pull/1122
+* docs: enhance README by @mikezzb in https://github.com/dromara/hertzbeat/pull/1128
+* Update app-oracle.yml by @ChenXiangxxxxx in https://github.com/dromara/hertzbeat/pull/1129
+* add ChenXiangxxxxx as a contributor for code by @allcontributors in https://github.com/dromara/hertzbeat/pull/1130
+* fix alarm silence strategy setting failed by @Ceilzcx in https://github.com/dromara/hertzbeat/pull/1131
+* support run sql script file in jdbc protocol config by @tomsun28 in https://github.com/dromara/hertzbeat/pull/1117
+* bugfix return old cache json file when upgrade version by @tomsun28 in https://github.com/dromara/hertzbeat/pull/1137
+* support ssh protocol config choose if reuse connection by @tomsun28 in https://github.com/dromara/hertzbeat/pull/1136
+* feat(web): alert threshold UI support matches & contains by @mikezzb in https://github.com/dromara/hertzbeat/pull/1138
+* support hertzbeat metrics collector cluster by @tomsun28 in https://github.com/dromara/hertzbeat/pull/1101
+* add collector card in dashboard by @tomsun28 in https://github.com/dromara/hertzbeat/pull/1147
+* bugfix: linux collect warning: bad syntax, perhaps a bogus '-' by @Mr-zhou315 in https://github.com/dromara/hertzbeat/pull/1151
+* add Mr-zhou315 as a contributor for code by @allcontributors in https://github.com/dromara/hertzbeat/pull/1157
+* support config timezone locale language region on web ui by @tomsun28 in https://github.com/dromara/hertzbeat/pull/1154
+* bugfix monitoring template app name already exists by @tomsun28 in https://github.com/dromara/hertzbeat/pull/1152
+* bugfix can not startup when error monitoring template yml file by @tomsun28 in https://github.com/dromara/hertzbeat/pull/1153
+* tags also deleted when the monitor is deleted by @Ceilzcx in https://github.com/dromara/hertzbeat/pull/1159
+* monitoring param host with http head will not be error reported by @littlezhongzer in https://github.com/dromara/hertzbeat/pull/1155
+* [script] feature update build.sh and Dockerfile: detect app version a… by @XimfengYao in https://github.com/dromara/hertzbeat/pull/1162
+* add XimfengYao as a contributor for code by @allcontributors in https://github.com/dromara/hertzbeat/pull/1163
+* [doc] add collector clusters document by @tomsun28 in https://github.com/dromara/hertzbeat/pull/1161
+* [hertzbeat] release hertzbeat version v1.4.0 by @tomsun28 in https://github.com/dromara/hertzbeat/pull/1168
+
+----
+
+## ⛄ 已支持
+
+> 我们将监控采集类型(mysql,jvm,k8s)都定义为yml监控模版，用户可以导入这些模版来支持对应类型的监控!    
+> 欢迎大家一起贡献你使用过程中自定义的通用监控类型监控模版。
+
+- Site Monitor, Port Availability, Http Api, Ping Connectivity, Jvm, SiteMap Full Site, Ssl Certificate, SpringBoot, FTP Server
+- Mysql, PostgreSQL, MariaDB, Redis, ElasticSearch, SqlServer, Oracle, MongoDB, Damon, OpenGauss, ClickHouse, IoTDB, Redis Cluster
+- Linux, Ubuntu, CentOS, Windows
+- Tomcat, Nacos, Zookeeper, RabbitMQ, Flink, Kafka, ShenYu, DynamicTp, Jetty, ActiveMQ
+- Kubernetes, Docker
+- Huawei Switch, HPE Switch, TP-LINK Switch, Cisco Switch
+- and more for your custom monitoring.
+- Notifications support `Discord` `Slack` `Telegram` `Mail` `Pinning` `WeChat` `FlyBook` `SMS` `Webhook`.
+- 和更多自定义监控模版。
+- 通知支持 `Discord` `Slack` `Telegram` `邮件` `钉钉` `微信` `飞书` `短信` `Webhook`。
+
+----
+
+欢迎star一波来支持我们哦。
+
+**Github: https://github.com/dromara/hertzbeat**      
+**Gitee: https://gitee.com/dromara/hertzbeat**  
+
diff --git a/script/sql/schema.sql b/script/sql/schema.sql
@@ -133,6 +133,7 @@ CREATE TABLE  hzb_alert_define
     expr         varchar(255)     comment '告警触发条件表达式',
     priority     tinyint          not null default 0 comment '告警级别 0:高-emergency-紧急告警-红色 1:中-critical-严重告警-橙色 2:低-warning-警告告警-黄色',
     times        int              not null default 1 comment '触发次数,即达到触发阈值次数要求后才算触发告警',
+    tags         varchar(4000)    comment '附加告警标签(status:success,env:prod)',
     enable       boolean          not null default true comment '告警阈值开关',
     template     varchar(255)     not null comment '告警通知模板内容',
     creator      varchar(100)     comment '创建者',

diff --git a/web-app/src/app/pojo/AlertDefine.ts b/web-app/src/app/pojo/AlertDefine.ts
@@ -1,3 +1,5 @@
+import { TagItem } from './NoticeRule';
+
 export class AlertDefine {
   id!: number;
   app!: string;
@@ -9,6 +11,7 @@ export class AlertDefine {
   // 告警级别 0:高-emergency-紧急告警-红色 1:中-critical-严重告警-橙色 2:低-warning-警告告警-黄色
   priority: number = 2;
   times: number = 3;
+  tags!: TagItem[];
   enable: boolean = true;
   template!: string;
   creator!: string;