Skip to content

📚 NodeJS爬虫 + percollate获取网络教程并转成PDF电子书,持续更新

Notifications You must be signed in to change notification settings

ranshaw/HtmlOrMarkdownConvertedToPdf

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

42 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

项目介绍

本项目旨在收集和整理网络上优秀和免费的教程,将其转为PDF文件,以便在阅读器上阅读,项目中提供的PDF文件为A6大小,适合在IReader T6中阅读,如果不能适配你的阅读器,请Fork源代码,自行修改导出的参数。如果大家有优秀的课程想要分享,欢迎在Issues中提出,我会及时更新出PDF文件。

新增大量.mobi和.epub格式电子书,内容收集于网络,如有侵权,请联系我删除。

  • 🎉 标记的为收集于网络
  • 🔨 标记的为自己生成

PDF文件

本项目导出的PDF文件都放在百度网盘中,下面为分享的链接

链接: https://pan.baidu.com/s/1wYjuReCI1_Zoqa4LbDADGg 提取码: 43cv

JavaScript

🌐 网盘位置:PDFS > JavaScript

  • 🔨 阮一峰JavaScript教程.pdf
  • 🔨 阮一峰ES6教程.pdf
  • 🔨 TypeScript入门教程.pdf
  • 🔨 廖雪峰JavaScript教程.pdf
  • 🎉 第三方JavaScript编程.epub
  • 🎉 精通D3.js:交互式数据可视化高级编程.epub
  • 🎉 JavaScript框架设计.epub
  • 🎉 JavaScript高级程序设计(第3版) - 泽卡斯.mobi
  • 🎉 JavaScript语言精粹(修订版).epub
  • 🎉 超实用的JavaScript代码段 (代码逆袭).epub
  • 🎉 JavaScript权威指南(原书第6版).mobi
  • 🎉 JavaScript设计模式与开发实践(图灵原创).epub
  • 🎉 超实用的jQuery代码段.epub
  • 🎉 JavaScript函数式编程
  • 🎉 学习JavaScript数据结构与算法(第2版).epub
  • 🎉 AngularJS实战 - 陶国荣 著.mobi
  • 🎉 揭秘Angular 2.pdf
  • 🎉 TypeScript Deep Dive.epub

HTML5+CSS

🌐 网盘位置:PDFS > H5+Css3

  • 🎉 HTML5与CSS3基础教程(第8版)(图灵程序设计丛书).epub
  • 🎉 H5+移动营销设计宝典.epub
  • 🎉 现代前端技术解析.epub
  • 🎉 HTML5权威指南.pdf
  • 🎉 《HTML5 canvas开发详解(第2版)》富尔顿 等(作者)epub
  • 🎉 《CSS高效开发实战:CSS 3、LESS、SASS、Bootstrap、Foundation》谢郁(作者)mobi
  • 🎉 CSS设计指南 (第3版).epub
  • 🎉 HTML5实战.epub
  • 🎉 CSS世界(异步图书)张鑫旭.epub

ReactJs

🌐 网盘位置:PDFS > ReactJs

  • 🔨 ReactJs小书
  • 🔨 九部知识库之ReactJS精选文章

NodeJS

🌐 网盘位置:PDFS > NodeJs

  • 🔨 七天学会NodeJS.pdf
  • 🎉 Node.js权威指南(实战).epub
  • 🎉 Node即学即用(图灵程序设计丛书).epub
  • 🎉 超实用的Node.js代码段(代码逆袭).epub

前端面试复习

🌐 网盘位置:PDFS > 面试复习

  • 🔨 前端面试复习知识点集合
  • 🔨 计算机通识
  • 🔨 各种常见布局实现和案例分析

计算机基础理论与原理

🌐 网盘位置:PDFS > 计算机基础理论与原理

  • 🎉 编译原理.pdf
  • 🎉 计算机科学概论(原书第3版).pdf
  • 🎉 离散数学及其应用 原书第6版(美)罗森 第六版中文版.pdf
  • 🎉 《计算机图形学》.pdf
  • 🎉 《并行程序设计 (第二版)》.pdf
  • 🎉 《操作系统概念:JAVA实现》.pdf
  • 🎉 [现代编译原理C语言描述].(美国)Andrew.W.Appel.清晰版.pdf
  • 🎉 高级编译器设计与实现(Steven.S.Muchnick).(中文版).pdf
  • 🎉 深入理解计算机系统(原书第三版)
  • 🎉 [计算机网络第五版]计算机网络第五版.pdf
  • 🎉 计算机网络[第7版].pdf

数据库相关

🌐 网盘位置:PDFS > 数据库相关

  • 🎉 MySQL.Cookbook(第2版)].(美)迪布瓦.中文版.扫描版.pdf
  • 🎉 [Oracle.PL.SQL程序设计_第五版_上册].Steven.Feuerstein&Bill.Pribyl.扫描版.pdf
  • 🎉 高性能MySQL(第3版).epub
  • 🎉 高性能MySQL第2版中文版.施瓦茨.扫描版.pdf
  • 🎉 数据库系统概念_中文第六版.pdf.crdownload
  • 🎉 数据库系统实现(第二版).pdf
  • 🎉 MySQL技术内幕:InnoDB存储引擎(第2版) (数据库技术丛书) - 姜承尧.mobi
  • 🎉 MySQL技术内幕(第4版) - 杜波依斯.mobi
  • 🎉 MySQL性能调优与架构设计 - 简朝阳.mobi
  • 🎉 PL_SQL_Oracle基础教程.pdf
  • 🎉 SQL Server从入门到精通.pdf
  • 🎉 SQL经典实例_高清_带书签.pdf

Java

🌐 网盘位置:PDFS > Java

  • 🎉 Spring Cloud微服务实战.pdf
  • 🎉 Maven实战.epub
  • 🎉 Netty实战.epub
  • 🎉 深入理解Android:WebKit卷(移动开发).epub
  • 🎉 Android群英传(套装共2册).epub
  • 🎉 Java编程思维(图灵程序设计丛书).epub
  • 🎉 Scala编程实战(O’Reilly精品图书系列).epub
  • 🎉 Java性能权威指南(图灵程序设计丛书).epub
  • 🎉 深入理解Java虚拟机:JVM高级特性与最佳实践(第2版) - 周志明.mobi
  • 🎉 Hadoop权威指南(第二版)中文.pdf
  • 🎉 编写高质量代码:改善Java程序的151个建议.mobi
  • 🎉 Head First Java 中文高清版.pdf
  • 🎉 Java核心技术 卷1 基础知识 原书第9版-.pdf
  • 🎉 Java核心技术 卷II 高级特性(原书第9版).pdf
  • 🎉 Java程序设计语言-第4版.pdf
  • 🎉 Java编程思想-第4版.mobi
  • 🎉 实战Java高并发程序设计.epub
  • 🎉 Java 8实战.epub
  • 🎉 Spring实战(第4版).epub
  • 🎉 Spring+MYBatis企业应用实战.pdf
  • 🎉 SpringBoot实战.pdf

其他

添加方法

更改node_modules中percollate里面index.js中的cleanup方法,将

const content = (await got(encodeURI(decodeURI(url)), {
				 
			})).body;

改为

let content
		if(options.usePup) {
			const browser = await pup.launch();
			const page = await browser.newPage();
			await page.goto(url, { waitUntil: "networkidle0" });
		
			content = await page.content().then(v => {
				return v
			}).catch((err) => {
				spinner.fail('获取页面内容失败!')
			});
			await browser.close();
		} else {
			content = (await got(encodeURI(decodeURI(url)), {
				 
			})).body;
		}

如果网页内容是动态生成的,设置usePup为true即可

依赖模块

  • cheerio

    cheerio 是 nodejs 的抓取页面模块,为服务器特别定制的,快速、灵活、实施的 jQuery 核心实现。适合各种 Web 爬虫程序

  • request

    Request 是 Node.js 中的一个模块,目标是用最可能简单的方式,在 Node.js 发起 HTTP 请求。此外也支持最新的 HTTPS 协议

  • percollate

    一个通过网址将网页转成 PDF 的命令行工具,NodeJS 版本要大于 8.6.0,如果出现安装失败,请翻墙后再安装

  • markdown-pdf

    将 markdown 文件转成 PDF 文件

启动

安装依赖

npm install

启动项目

node index

PS

点击右上角的Watch,会收到项目的最新动态,如果通过本项目生成的电子书不能适配你的阅读器,请Fork代码,自行修改配置然后从新生成, 项目会持续更新,喜欢的请Star!

Releases

No releases published

Packages

No packages published