[QUESTION]: iLogtail 如何配置才能采集历史日志？

[gohonsen]

iLogtail 默认只采集增量的日志，对于安装 iLogtail 时已经产生很多历史日志的场景，如何配置才能让 iLogtail 采集历史的日志？

[linrunqi08]

在/usr/local/ilogtail目录下创建local_event.json文件，文件的配置包含三个字段，config（采集配置的标识，格式为config#${配置文件绝对路径}），dir（要采集历史文件的目录）和name（要采集的历史文件的名字）
样例如下
[
{
"config": "config#/usr/local/ilogtail/./user_yaml_config.d/test_sample.yaml",
"dir": "/data/log",
"name": "*.log"
}
]

可以通过以下步骤检查是否加载该local_event配置。

1. local_event.json文件中的内容被清空，则说明Logtail已读取到事件信息。
2. 检查Logtail安装目录中的ilogtail.LOG文件中是否包含process local event参数。如果local_event.json文件被清空但未查询到process local event参数，可能是因为local_event.json文件内容不合法而被过滤。

[gohonsen]

事件被加载了，但是没有生效，报 can not find config:
如local_event.json 配置为:

[
  {
    "config":"config#/home/tomcat/ilogtail/user_yaml_config.d/app_log.yaml",
    "dir":"/logs/kernel/app",
    "name":"app.*.domain.ing"
  }
]

文件会被清空，
ilogtail.LOG 日志显示：

[2023-03-15 16:29:39.017999]	[info]	[000723]	/src/core/event_handler/LogInput.cpp:225		load local events:local_event.json	event count:1
[2023-03-15 16:29:39.018028]	[warning]	[000723]	/src/core/event_handler/LogInput.cpp:268		can not find config:config#/home/tomcat/ilogtail/user_yaml_config.d/app_log.yaml

实际文件是存在的：

# ll /home/tomcat/ilogtail/user_yaml_config.d/app_log.yaml
-rw-r--r-- 1 root root 668 3月  15 15:40 /home/tomcat/ilogtail/user_yaml_config.d/app_log.yaml

系统环境版本信息如下：

# uname -r
2.6.32-754.35.1.el6.x86_64
# cat /etc/centos-release
CentOS release 6.10 (Final)
# ldd --version
ldd (GNU libc) 2.17
# gcc --version
gcc (GCC) 4.4.7 20120313 (Red Hat 4.4.7-4)
# strings /lib64/libc.so.6 | grep  'GLIBC_' | grep -P '[0-9]+' | sort -V | sed -n '$'p | awk -F'_' '{print $2}'
2.17
# strings /usr/lib64/libstdc++.so.6 | grep GLIBCXX | grep -P '[0-9]+' | sort -V | sed -n '$'p | awk -F'_' '{print $2}'
3.4.26

请问可能是哪里的问题呢 ？

[gohonsen]

找到原因了，local_event.json 中 config 的文件路径不能是软链接，必须是绝对路径

[sunshare]

Pay attention to local_event.json.

 [
  {
    "config":"config#/home/tomcat/ilogtail/user_yaml_config.d/app_log.yaml",
    "dir":"/logs/kernel/app",
    "name":"app.*.domain.ing"
  }
]

compare:

1. "config": "config#/home/tomcat/ilogtail/user_yaml_config.d/app_log.yaml",
2. "config": "config#/home/tomcat/ilogtail/./user_yaml_config.d/app_log.yaml",

Add "./" after '.../ilogtail/' as line 2, this works for me.

[messixukejia]

👍🏻

1. 是否可以帮忙加到文档？
2. 如果在使用ilogtail，欢迎将使用场景登记到：Wanted: Who is using iLogtail?  #693