Improvement plan for obdiag 3.0 framework - obdiag 3.0框架改进方案

[wayyoungboy]

obdiag 3.0框架改进方案
本方案主要涉及在3.0版本上对于整体架构的改进方案。

3.0的改造代码，统一合并到3.0.0-dev分支，在2.6.0版本稳定后再合入master。

obdiag整体架构设计

obdiag架构设计，架构本身以分层架构触发，但是由于后期逐步壮大的功能设计，因此需要对2.x版本中引入的兼容性设计进行规范，主要分为如下部分：

obdiag整体代码结构设计

2.1 总体代码架构设计

调用obdiag指令时，环境限制

往期版本使用时未限制obdiag的指令调用的环境，因此导致~/.obdiag目录文件庞大

1. 禁止用户在~/.obdiag及子文件夹下使用obdiag指令

部分关键节点的返回值以及异常处理规范

对于异常处理目前有多个实现风格，为了实现准确的异常定位以及统一返回值处理，设定本规范。

handler

1. handle()和execute()定义上基本重合，所有的指令必须以handle方法的形式进行处理，取消所有execute()方法处理，将原有逻辑合并入handle方法；
2. 返回值必须为ObdiagResult类型(无论处理过程中是否出现了异常，且关键定位异常信息需要载入ObdiagResult中);
3. 所有的handler作为外部方法必须实现handle()方法;
4. handler方法必须实现所有的异常拦截，异常通过ObdiagResult包装后返回给上层，若是内部异常返回，必须打印堆栈，至少需要以 stdio.verbose(traceback.format_exc()) 形式

class xxxHandler:
    def handle(self):
        try:
            pass
        except Exception as e:
            # 此处增加业务处理逻辑
            # 至少需要以 stdio.verbose(traceback.format_exc()) 形式打印出来，方便进行定位
            return ObdiagResult(xxxxx)

plugins

P.S. 此大类存在争议，按程序框架设计上，理论上应该直接使用handle的方式来实现功能调用，但是本身obdiag是内核+外挂实现的方式，因此可能存在循环依赖的场景。特引入plugins结构。

plugins是对于handler的抽象实现，用于obdiag其他功能对于各个handler的调用，方便开发者进行调用。同时在后期可能引入非主功能的常用插件。目前已有样式参考rca中的gather插件。

外挂脚本管理问题

obdiag上部分不同的功能使用了同样的外挂方案，如python脚本的调用，yaml的流程编排设计。

python脚本的调用统一

1. python外挂脚本脚本的调用方式将进行统一的方式进行加载，包括命名，加载方式。
2. 加载后所使用的方法不受限制。
3. 原硬编码在内核的代码部分全部进行迁移至外部。
4. 规范每个功能的工作区，即为~/.obdiag/{功能名}/

yaml脚本公用字段统一

yaml脚本由于各个功能的方向不同，统一所有的字段并不合理，但是对于同一含义的字段，理论上不适合使用多种代称进行命名，因此需要进行规范。

1. 排查目前使用yaml外挂方案的脚本是否存在同义不同名的字段，进行整合，并纳入规范。

外挂文件路径（待定）

目前外挂文件源码位置为{源代码根目录}/handler/{功能名}/xxx

这对obdiag的外挂文件同步策略来说是不友好的，需要每次进行同步时都需要匹配对应的文件夹名

1. 迁移所有需要外挂的文件至集中文件夹；
2. 增加update的diff报告，类似git pull执行后的展示

context引用不完全

从2.x上obdiag引入了context方案，但是部分方法出于兼容性考虑未使用context进行引入，这导致部分场景的配置无法深入实现。

1. 3.0版本将尽排查应接入context但未接入的方法

配置文件加载统一

1. obdiag配置

目前obdiag的配置文件数据分为内核配置>文件配置>可选指令配置三份。三者初始化按优先级覆盖。

2. 集群配置

集群配置生成分为obdiag config 指令生成，自行编写，可选指令配置（一次性）三种。载入会预载入内核模板。计划取消内核模板。

计划将按统一方法进行规整，优化调度的方式，压入context（已有）

check优化改造

1. 不支持特定租户，增加env的值引入方式，增加租户的参数引入
2. obdiag check指令变更为obdiag check run，并分配obdiag check list完整指令结构

analyze log&gather log效率过低

1. 取消单节点过度动画
2. 改为并发执行，结果聚合

oms组件支持

1. 支持oms的配置
2. 支持oms的rca（基于oms日志）

ssh_client治理

1. 现在node中存在多种类客户端，但是由于早期的代码逻辑引入，对部分成员参数兼容性存在遗留问题

SQL诊断对接operator

1. sql诊断支持operator场景