Support to flush logs to object storage such as Aliyun oss

[pj1987111]

Ref:
https://docs.fluentbit.io/manual/pipeline/outputs/s3

oss support append object
https://www.alibabacloud.com/help/zh/object-storage-service/latest/appendobject

[pj1987111]

参数	类型	是否必选	说明
Bucket	String	是	Oss Bucket名
Endpoint	String	是	Oss接口自定义Endpoint。
KeyFormat	String	是	Object key格式，支持动态变量。多节点下需要保证每次上传文件名不冲突。
ContentKey	String	是	日志数据字段名。
Encoding	String	否	声明Object的编码方式。 identity（默认值）：表示Object未经过压缩或编码。 gzip：表示Object采用Lempel-Ziv（LZ77）压缩算法以及32位CRC校验的编码方式。 compress：表示Object采用Lempel-Ziv-Welch（LZW）压缩算法的编码方式。 deflate：表示Object采用zlib结构和deflate压缩算法的编码方式。 br：表示Object采用Brotli算法的编码方式。
ObjectAcl	String	否	指定OSS创建Object时的访问权限。 default（默认）：Object遵循所在存储空间的访问权限。 private：Object是私有资源。只有Object的拥有者和授权用户有该Object的读写权限，其他用户没有权限操作该Object。 public-read：Object是公共读资源。只有Object的拥有者和授权用户有该Object的读写权限，其他用户只有该Object的读权限。 public-read-write：Object是公共读写资源。所有用户都有该Object的读写权限。
ObjectStorageClass	String	否	指定Object的存储类型。 Standard：标准存储（默认） IA：低频访问 Archive：归档存储 ColdArchive：冷归档存储 DeepColdArchive：极冷归档存储
Tagging	String	否	以键值对（Key-Value）的形式指定Object的标签信息，可同时设置多个标签，例如TagA=A&TagB=B。
MaximumFileSize	Int	否	文件上传的大小上限(MB)，当超过后会将之前的文件重命名，并上传新的文件，默认大小4096
Convert	Struct	否	ilogtail数据转换协议配置
Convert.Protocol	String	否	ilogtail数据转换协议，kafka flusher 可选值：custom_single,otlp_log_v1。默认值：custom_single
Convert.Encoding	String	否	ilogtail flusher数据转换编码，可选值：json、none、protobuf，默认值：json
Convert.TagFieldsRename	Map	否	对日志中tags中的json字段重命名
Convert.ProtocolFieldsRename	Map	否	ilogtail日志协议字段重命名，可当前可重命名的字段：contents,tags和time
Authentication	Struct	否	OSS 连接访问认证配置，优先会读取环境变量中OSS_ACCESS_KEY_ID、OSS_ACCESS_KEY_SECRET变量值，若没有才会读取 Authentication结构下的ak和sk
Authentication.PlainText.AccessKeyId	String	否	OSS AccessKeyId
Authentication.PlainText.AccessKeySecret	String	否	OSS AccessKeySecret

[messixukejia]

1、参考下Kafkav2或loki，增加下conventor
2、tagginng，保持与loki一致吧 DynamicLabels 、StaticLabels https://github.com/alibaba/ilogtail/blob/main/docs/cn/data-pipeline/flusher/loki.md
3、ForbidOverWrite false后的命名行为是？
4、前几个参数是不是应该是必选？
5、KeyFormat logtail原则的应该是前置做转换的，Content的作用是？
7、PutObject 是不是还得制定路径之类的？

[pj1987111]

1、ok
2、ok
3、false的话，使用PutObject上传的话，如果已经存在了文件，就会覆盖，true的话不会覆盖。
4、Region+Bucket或者Endpoint必须指定一组。 Region+Bucket会在后台拼接endpoint，传endpoint的话可以自定义，比如加内网、跨域等的标识。
5、KeyFormat是oss文件上传的路径。Content是写入的内容。
7、路径就是KeyFormat。

[henryzhx8]

1. 这个插件是专门给aliyun oss用的还是给通用的oss？我这边理解应该是通用的，那Region+Bucket的拼接方式可能会有风险，不如直接强制指定Endpoint
2. KeyFormat是用来指定obj的路径吗？动态变量的具体形式是怎样的？是从日志里面获取字段吗？
3. Content是用来干啥的？
4. Method改名叫UploadMethod或类似的，稍微指明一下是什么方法
5. ForbidOverWrite建议改成OverwriteAllowed
6. 增加Convert模块用来对日志进行标准化转换
7. Tagging是否支持动态标签？就是从日志里面拿内容作value

[pj1987111]

1、aliyun的oss。不同服务的参数应该不一样的。
2、KeyFormat就是obj路径，动态变量就是日志里提取的字段，还有就是系统变量，比如时间。
3、发送的内容。
4、ok
5、oss官网上是ForbidOverWrite，我建议保持一致比较好？
6、ok
7、感觉意义 不是特别大，也可以支持。

[yyuuttaaoo]

1. 看了一下fluentbit的S3上传插件文档，这个插件还是比较复杂的，因此第一目标是能在各种情况下正常工作。
   比如
   Use the S3 PutObject API, instead of the multipart upload API. When this option is on, key extension is only available when $UUID is specified in s3_key_format. If $UUID is not included, a random string will be appended at the end of the format string and the key extension cannot be customized in this case.
   就考虑了多个fluentbit配置了相同的bucket+key format同时往一个object put是不可以的，必须有uuid或者主动加上随机。
   而对于aliyun oss，看上去append接口使用的时候需要给offset，这个对于多个logtail实例append一个object也不清楚是否可行。

2. 对于Object存储，本地需要缓存较多数据才能上报，是否需要设置一个本地目录存储数据，如果全内存，会不会占用太多。对于积攒一批才能上报的object flusher，类似total_file_size，upload_chunk_size，upload_timeout是不能没有的，否则我无法想象这个flusher到底会是什么行为。

3. 如@henryzhx8评论的，不太清楚是不是这个flusher想通过extension机制实现对各个云厂商的object store支持。其实我是觉得可以后面逐步改造的，因为这个extension本身的接口就至少要调研国内5家云厂商，国外3家云厂商的OS。

4. 这个flusher的use case是什么，我们期待他有什么样的行为？我感觉至少有2个吧，否则难以判断最后能否用得起来，设计是否满足需求。

[pj1987111]

1、按道理来说，一个ilogtail实例应只能对应一个文件，如果有多实例写的情况的话，KeyFormat这里确实需要参考fluentbit一样，加上$UUID做区分。类似static_file_path参数决定是否加上$UUID后缀。
2、fluentbit的s3中有这些参数，因为s3不支持append，oss支持所以感觉默认情况下用append既实时，又没有本地缓存带来的各种问题。
3、目前我们主要用oss、其他的后续也会调研下，flusher插件我觉得每个云厂商的实现一个独立的flusher比较好，因为每个云厂商对象存储的特性不同，比如oss、ceph支持追加写s3和minio不支持追加写，这对于代码实现有非常大的区别。
4、case1 是数据冷存和归档，主要是日志类的数据写oss，类似于现在sls的oss数据投递的功能。
case2 是把对象存储当kv数据库用。
这两种现在我们都有业务场景。

[messixukejia]

找个时间我们线上讨论下吧

[pj1987111]

经过调研，国内云厂商 腾讯、华为、字节文件上传都支持APPEND方式，归档日志的方式一致。
腾讯： https://cloud.tencent.com/document/product/436/7741
华为：https://support.huaweicloud.com/api-obs/obs_04_0088.html
字节：https://www.volcengine.com/docs/6349/93462

[pj1987111]

讨论更新内容：
采用路径来区分不同实例，需要加上一些环境变量
%{ilogtail.hostname} 表示本机hostname
%Y %M %D %h %m %s %ts 分别表示年月日时分秒和10位时间戳

APPEND有存储上限，一般5G，需要加一个参数表示写入文件最大的大小，当超过的话需要分裂文件，加后缀。

[liangry]

flusher_oss 这个正在做了吗

[pj1987111]

嗯，是的，在开发中了

[pj1987111]

估计6月可以完成