ConfigServer管控服务邀您共建

[Takuka0311]

ConfigServer是用于监控日志Agent状态、远程统一管理配置的开源工具，目前已经初具雏形。数月前，ConfigServer后端服务上线@Takuka0311，近几周，包含ConfigServer基本功能的前端界面也已经开发完毕@liangry，已经可以比较方便地对大量iLogtail进行状态监控、采集配置管控。
但是，目前的ConfigServer还处于发展初期，有许多问题需要解决，有许多功能需要支持。因此，我列出了初期一些演进的方向，欢迎社区的大家一起共建。
ps：在这个阶段，我们允许并欢迎优秀的、可能发生不兼容变更的想法，将ConfigServer建设的更好用、更强大。

概览

• 后端

• ConfigServer基础框架 @Takuka0311
• 全局管控协议 @Takuka0311
• ConfigServer简单后端调测工具 @Takuka0311
• 多AgentGroup支持（复杂度：低）
• Agent心跳管理（复杂度：中）
• 分布式部署支持（复杂度：中）
• 丰富更新test用例（复杂度：中）
• 支持鉴权（复杂度：高）
• 支持告警（复杂度：高）

• 前端

• 前端基础框架 @liangry
• 数据加载优化（复杂度：低）
• UI优化（复杂度：中）
• 展示界面优化（复杂度：中）
• 增加分析面板（复杂度：高）

• Agent

• 支持上报更多信息（复杂度：低）
• ConfigServer连接机制优化（复杂度：低）
• iLogtail支持加载远程配置（复杂度：中）@henryzhx8
• 让更多Agent适配管控（复杂度：高）

下面是每一项的详细说明。我们会持续更新该列表，欢迎就您关注的功能进行留言交流，我们将根据社区热度进行优先级的调整；如果您关心的特性不在该列表也欢迎留言，经评估采纳后也将被列入规划项目。

ConfigServer后端功能完善

多AgentGroup支持

现状

当前，ConfigServer只实现了一个默认的AgentGroup：default的逻辑，并不支持多个分组。
ConfigServer对于AgentGroup的管理规则如下：

1. 初始存在default组（不可修改，不可删除）。所有的Agent默认会加入default组。
2. Agent与其他AgentGroup之间通过tag关联，Agent会自动加入tag一致的组。（当前tag机制尚不完善）

需要做什么

• 优化ConfigServer在AgentGroup处的处理逻辑，使其支持对AgentGroup进行增删改查。
• 设计完善的tag规则。
• 采集Agent拉取配置时，需要根据其所在的AgentGroup，拉取相应的配置，不能多、不能漏。

从哪里入手

• AgentGroup处理逻辑：https://github.com/alibaba/ilogtail/blob/main/config_server/service/manager/config/user_operator.go
• 哪里用到了Tag：https://github.com/alibaba/ilogtail/blob/main/config_server/service/manager/config/user_operator.go#L451 ， https://github.com/alibaba/ilogtail/blob/main/config_server/service/manager/config/agent_operator.go#L49
• 配置更新入口：https://github.com/alibaba/ilogtail/blob/main/config_server/service/interface/agent/status.go#L51

Agent心跳管理

现状

目前采集Agent会不断发送心跳上报状态信息、检查配置更新，但是没有对心跳信息进行记录。

需要做什么

• 记录采集Agent心跳时间信息，根据心跳间隔判断连接状态（良好，不佳等）
• 实现采集Agent过期机制，最后一次心跳超过一段时间（如一天）后，从Agent列表将其删除

从哪里入手

• 心跳逻辑：https://github.com/alibaba/ilogtail/blob/main/config_server/service/manager/agent/agent_operator.go#L28

分布式部署能力支持

现状

目前仅支持ConfigServer本地使用LevelDB存储信息，无法将ConfigServer分布式部署。

需要做什么

• 支持多种数据库（MySQL等）（长期需求，越多越好）
• 完善分布式部署ConfigServer场景下数据同步问题。

从哪里入手

• 存储接口，可以参考leveldb实现：https://github.com/alibaba/ilogtail/blob/main/config_server/service/store/interface_database/interface_database.go
• 数据同步（配置数据、Agent信息）：https://github.com/alibaba/ilogtail/blob/main/config_server/service/manager/config/config_manager.go#L31 ， https://github.com/alibaba/ilogtail/blob/main/config_server/service/manager/agent/agent_operator.go#L47
• 如何设置存储：https://github.com/alibaba/ilogtail/blob/main/config_server/service/setting/setting.json

丰富更新test用例

现状

随着ConfigServer不断更新，有的测试用例已经过时，或有格式错误。并且，目前的测试也并不完整、严谨。

需要做什么

• 更新并丰富ConfigServer的测试用例

从哪里入手

• 所有的test都在这里：https://github.com/alibaba/ilogtail/tree/main/config_server/service/test

支持鉴权

现状

目前，只要符合API定义，任何人/采集Agent都可以对ConfigServer发送请求。

需要做什么

• 支持鉴权功能，可以是：
  • 开发用户账号功能，不同的用户使用不同的资源。
  • 开发Agent-ConfigServer鉴权功能。

从哪里入手

• Agent-ConfigServer参考火山top网管加签算法在ConfigServer的应用：support send medata to config server #885

支持告警

现状

目前仅有Agent上报运行状态的API（心跳），不支持告警。

需要做什么

• 实现告警API，支持接收来自Agent的告警信息
  • 新建告警的数据类型
  • 定义相关API

从哪里入手

• Agent相关的行为都在：https://github.com/alibaba/ilogtail/tree/main/config_server/service/manager/agent

ConfigServer前端界面优化

数据加载优化

现状

目前每次切换页面的时候会重新拉取一次Config list或AgentGroup list，但是关联的参数（例如Config关联的组数）需要鼠标移至相关的列表才会向ConfigServer发起请求查询。

需要做什么

• 优化数据加载机制，将一些数据缓存，必要时刷新
• 数据分页

从哪里入手

• 相关代码：https://github.com/iLogtail/config-server-ui/blob/master/src/components/AgentGroupsTable.js#L45

UI优化

现状

简单UI。

需要做什么

• 美化UI

从哪里入手

• 展示你的审美吧！

展示界面优化

现状

简单平铺展示。

需要做什么

• 优化各展示界面的布局、展示信息的排列组合，优化交互体验

从哪里入手

• 相关代码：https://github.com/iLogtail/config-server-ui/tree/master/src/components

添加分析面板

现状

没有统计分析能力。

需要做什么

• 统计一些数据并制成分析图表

从哪里入手

• 自由发挥。

采集Agent优化

支持更多上报信息类型

现状

目前可以上报的信息较多，但真正存在的信息较少，有很多空白。

需要做什么

• 填补存在的空白信息，发掘并上报更多有价值的信息。

从哪里入手

• 心跳上报会携带信息：https://github.com/alibaba/ilogtail/blob/main/core/config_manager/ConfigManager.cpp#L244

ConfigServer连接机制优化

现状

iLogtail会随机选取一个ConfigServer地址尝试连接

需要做什么

• 优化选择ConfigServer的逻辑，支持自动切换到连接数较少/连接更稳定的ConfigServer。

从哪里入手

• iLogtail选择ConfigServer代码：https://github.com/alibaba/ilogtail/blob/main/core/app_config/AppConfig.cpp#L86

让更多采集Agent适配管控

现状

仅支持iLogtail管控，无法满足同时管控多种采集器的需求。

需要做什么

• 修改其他日志采集器，使其支持管控协议（长期需求，越多越好）

从哪里入手

• 参考iLogtail适配管控协议的内容（主要包括向ConfigServer发送心跳、拉取配置、加载远程配置）

[liangry]

要实现 Agent 心跳管理，我想目前应该还缺少一些属性和规则：

1. 属性：最后一次心跳时间，ConfigServer 需要根据这个时间摘除已经确认离线的 Agent
2. 属性：运行状态，分为在线和离线两种状态，或者再加上摘除状态，目前 RunningStatus 是由 Agent 上报，其实没太大必要，能够上报的都是成功的心跳，这个状态应该由 ConfigServer 根据心跳情况和规则产生
3. 需要先制定好规则，例如，连续三个周期没有心跳算离线，离线后连续两个周期有心跳算恢复在线等，这样做的话，又需要记录心跳的连续失败次数和连续成功次数两个属性

[Takuka0311]

是的。有一个初步的规则：Agent 每 10s 向目标 ConfigServer 发送心跳，通过延迟批量写入的方式记录到存储中；若 Agent 在15s 内有心跳，判定为连接良好；1分钟无心跳判定为连接丢失，认为该 ilogail 已下线；10分钟则从存储删除记录。
目前没有对心跳时间进行记录，这个需要补充。另外目前的RunningStatus是用于记录Agent的运行状态（例如低负载、高负载等更多维度的信息，等待后续完善），在线/离线状态可以根据查询到的Agent最后一次心跳时间和当前时间计算。
综上，我觉得可以做几点：

• Agent增加属性：上次心跳时间
• 根据规则（待完善）实现存储逻辑（写心跳已经具备，主要是删除）
• 查询时计算时间差值（在前端直接计算显示，还是后端修改接口、计算好传到前端显示？）

[liangry]

希望有一定防抖动保护，如果只凭一次成功或失败的心跳就判断 Agent 处于在线或者离线，可能不太保险，另外就是希望实现起来尽可能简单

[liangry]

关于分组支持，现在 AgentGroup 已经有 AgentGroupTag 形式的 tag，具体形式为 Name - Value 对的数组，而 Agent 和 HeartBeatRequest 的 tag 均为字符串数组，要开发此功能，首先要把三者的格式统一，因为 Name - Value 对比字符串有更强的表达能力，希望都改成此格式。另外，多个标签之间的关系，希望能够实现简单的逻辑与、逻辑或运算，以适应不同场景对多个标签的组合需要，此运算关系符可以放在 AgentGroup 结构中。协议文件修改部分如下：

[liangry]

同步一下信息，除了 PR #1016 （Agent心跳管理）之外，因为我们这边平台集成需要，多AgentGroup支持和分布式部署支持正在开发中