Skip to content
This repository has been archived by the owner on Oct 31, 2023. It is now read-only.

Latest commit

 

History

History
33 lines (30 loc) · 1.34 KB

README.md

File metadata and controls

33 lines (30 loc) · 1.34 KB
Raw

XMQ-BackUp

小密圈备份，圈子/话题/图片/文件。

Usage

  1. 安装 chromedriver

仅用于自动登录，如果你愿意自己抓包，则不需要安装

  • brew install chromedriver
  • 或前往官网/镜像下载
    • 将包含可执行文件的目录添加至环境变量
    • 或设置settings.py/CHROME_DRIVER_PATH为完整执行路径
  1. 安装 XMQ-BackUp
git clone git@github.com:Lodour/XMQ-BackUp.git
cd XMQ-BackUp
mv xmq/settings.exammple.py xmq/settings.py
virtualenv env -p python3.5
source ./env/bin/activate
pip install -r requirements.txt
  1. 运行
  • scrapy crawl backup
  • 手动指定token及User-Agent
    • 浏览器端登录后抓包获取request headers中的authorization和User-Agent字段
    • 在xmq/settings.py末尾将其设置为XMQ_ACCESS_TOKEN和XMQ_USER_AGENT  

Note

  • phantomjs渲染所得到的access_token不合法，所以换成了chromedriver
  • virtualenv下使用scrapy有问题的请参照这里
  • 如果你的浏览器版本有更新，是需要重新设置UA的。
  • 欢迎交流