Scrapy简单介绍和使用

spider

什么是scrapy?

Scrapy是基于Python开发的一个高效、轻量级的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结 构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。

Scrapy可使用的场景非常多,试想一下,如果你想做一个电影收录的网站或者APP,这么多的电影资料,手动录入基本是不可行的,这时候用爬虫来获取数据就显得非常的便利了。再比如,要做一个小区的应用,上海大大小小的社区不下两三万个,一个个的收集小区信息工作量也是非常大的。使用Scrapy的话,只要花几个小时,写一个非常简单的爬虫,分分钟就能获取你想要的数据。Continue Reading