pythonSpider

some python spiders with BeautifulSoup & requests or scrapy

##by-bs4

github

爬取关注或粉丝列表 followXXXList.py
爬取用户个人信息 userInfo.py

58同城

获取所有的二级菜单列表 urlLists.py
获取每一个url下的具体信息 itemInfo.py

豆瓣

获取单个电影的短评 comment.py
获取单个电影的所有大图海报 photosR.py

知乎

获取单个问题下面的回答所有图片，并存在以问题的名字命名的文件夹中 quesImg.py 例子：问题：你收藏的最美的萝莉图片是怎样的
获取知乎用户的个人信息 userInfo.py

股票交易数据

获取该支股票的指定年度指定季度的数据并写入csv stock2csv.py
获取该支股票的所有交易数据并写入txt stock2txt.py
获取该支股票的所有交易数据并写入以其股票代码命名的csv中 stock2csvALL.py
获取该支股票的所有交易数据并写入以其股票代码和名字命名的csv中 stock2csvALLWithName.py

##scrapy

wiki