本程序用于批量从E站与Ex站下载学习资料,支持自动生成下载列表,列表内容自动化下载,定时下载,错误日志提醒,多线程下载的功能。
重要 请在Doujinshi.py
中配置cookie以访问Ex站,否则只能访问E站,同时确保电脑已经翻墙
2.1 修改config.ini
文件中的下载目录,多线程下载的线程数,其余信息目前暂时用不到,可以忽略,下载地址不填则自动下载至程序所在目录的Download文件夹下,线程不填默认15。
2.2 将资料的网站填入download.txt文件中,一行写一个网址,否则会出错;或者使用gen_download_list
函数,传入网站过滤后的页面的url,即可自动抓取所有资料的url并生成下载列表。
2.3 在PyCharm或其他IDE中运行main.py
即可,错误与警告信息会写入log.txt
文件夹下,也可通过将诸如'2021-01-20 20:00:00'的时间传入main函数,达到定时下载的目的。
日志部分有3种警告级别:
1.INFO:如果该资料已经下载过(仅检测下载目录),则不再下载,并输出INFO信息;
2.WARNING:如果一个资料中的某张图片下载出错,报警告,会打印出文件的网址与页码;
3.ERROR:如果资料本身存在问题(网址错误等)会报错误,打印资料的网址以供检查。
如果出现下载错误,可能是网络问题,请确保电脑可以翻墙,或在代码里加入代理。如果遇到个别资料下载错误,可以用浏览器打开,复制请求头中的cookie复制到代码的header中即可。