Scrapy

十多年的工业级爬虫框架，爬百万页面、干净导出、稳定可靠。

项目 scrapy/scrapy · 语言 Python · 协议 BSD-3-Clause

pip

1. pip install scrapy
2. startproject
3. 写 spider

安装：

pip install scrapy

使用 / 启动：

scrapy startproject my && scrapy genspider example example.com

十多年的工业级爬虫框架，爬百万页面、干净导出、稳定可靠。

Python 爬虫框架,大规模抓取+结构化提取

• BSD 随便用。国内无障碍。对新手有学习曲线，配管道稍复杂。

• GitHub：scrapy/scrapy
• 更多用法看官方 README 与 docs，踩坑搜 GitHub Issues