C++ Pipeline需求和演进

[yyuuttaaoo]

现状

需求

性能

C++加速模式和Go插件模式互斥，常用场景无法享受C++加速。
希望常用场景可以使用C++加速模式，同时使用Go进行扩展处理、发送。

可扩展性

C++加速模式功能比较单一，只支持写入SLS，开源无法贡献，无法满足自定义处理需要。
希望C++加速模型也可以让开源贡献变得容易，可以扩展Input、Processor、Flusher插件，更多处理需求可以享受更高性能。

支持复杂数据处理

如根据日志内容分流到不同处理节点、再进行合并

动态扩展

单一的Binary + Plugin体积过大。
希望支持通过so动态加载插件。

跨语言

C++语言不熟悉无法贡献扩展插件
C、C++、Go、Rust、WASM

演进路线

当前的iLogtail C++部分不支持插件化，并且Input后的数据直接输入Go插件，无法利用到C++的处理能力。

Stage 1：Processor插件化 + Go可以利用C++处理能力

关键可用功能点：

1. 支持使用C和C++扩展Processor
2. 支持数据先使用C++处理后转发Go Pipeline
3. 支持动态链接库方式引入插件
4. 容器Stdout采集方式改成使用C++实现

Stage 2：Input支持插件化，且可以配置在同一个Pipeline内支持Fan-in、Fan-out（SLS only）

关键可用功能点：

1. 支持使用C和C++扩展Input
2. 流水线支持多个Input和多个Flusher
3. 增加HTTP、GRPC、Kafka、OpenTelemetry C++原生Input

Stage 3：支持一个Input多个下游，Flusher支持插件化

关键可用功能点：

1. 支持使用C和C++扩展Flusher
2. 支持简易DAG需求，一个输入的数据可以同时给多个下游处理
3. 优化内存分配、多级反馈队列机制，支持多上游和多下游反压
4. 绝大部分情况下可以将iLogtail作为统一数据处理转发层服务

Stage 4：支持DAG表达能力，利用事件模型、协程技术优化线程模型，Go和C++ Processor支持互相调用

关键可用功能点：

1. 支持完整的DAG拓普
2. Processor支持异步调用，支持耗时的Processor过程，如跨语言调用
3. 减少iLogtail线程数，提高单核性能表现