NOTES & IDEAS

文章

数据、代码,以及一路整理下来的思考。

9 篇文章

JS逆向

JS逆向基础理论

编码与加解密

爬虫相关加密与解密理论

分布式爬取

Scrapy结合Redis进行分布式爬取

Scrapy

Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。

验证识别

利用selenium和像素比较进行基本的验证自动化执行

Selenium 自动化工具

Selenium库对各浏览器执行自动化处理

页面解析工具

利用beautifulsoup4 Xpath JSONPath等工具对各网站进行基本的解析

Requests

Python Requests库介绍和基本使用

爬虫与网络基础理论

爬虫基本网络架构,协议和代理的基础理论