Python爬虫源代码分享-pycharm激活码-几十套小程序源码（直接拿走(python3小程序,关键词优化)

...

作为一种便捷地收集网上信息并从中抽取出可用信息的方式，网络爬虫技术变得越来越有用。使用Python这样的简单编程语言，你可以使用少量编程技能就可以爬取复杂的网站。

《用Python写网络爬虫》作为使用Python来爬取网络数据的杰出指南，讲解了从静态页面爬取数据的方法以及使用缓存来管理服务器负载的方法。此外，本书还介绍了如何使用AJAX URL和Firebug扩展来爬取数据，以及有关爬取技术的更多真相，比如使用浏览器渲染、管理cookie、通过提交表单从受验证码保护的复杂网站中抽取数据等。本书使用Scrapy创建了一个高级网络爬虫，并对一些真实的网站进行了爬取。

。。。

Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。

Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。

Scrap，是碎片的意思，这个Python的爬虫框架叫Scrapy。

小刮刮是一个为遍历爬行网站、分解获取数据而设计的应用程序框架，它可以应用在广泛领域:数据挖掘、信息处理和或者历史片(历史记录)打包等等

Even though Scrapy was originally designed for screen scraping (more precisely， web scraping)， it can also be used to extract data using APIs (such as Amazon Associates Web Services) or as a general purpose web crawler.

尽管小刮刮原本是设计用来屏幕抓取(更精确的说，是网络抓取)的目的，但它也可以用来访问API来提取数据，比如Amazon的AWS或者用来当作通常目的应用的网络蜘蛛

The purpose of this document is to introduce you to the concepts behind Scrapy so you can get an idea of how it works and decide if Scrapy is what you need.

如何开始

当你准备启动一个项目时，可以从这个教程开始

折叠选择网站

选择一个网站

如果你需要从某个网站提取一些信息，但是网站不提供API或者其他可编程的访问机制，那么小刮刮可以帮助你(提取信息)

让我们看下Mininova网站，需要提取的网址，名称，描述和torrent文件的大小、添加日期

下面这个列表是所有今天新增的torrents文件的页面:参考扩展阅读1

备注:torrent是洪流的意思，这里指bit torrent，比特洪流，就是我们常说的BT文件

折叠定义数据

定义你要抓取的数据

第一件事情就是定义你要抓取的数据，在小刮刮这个是通过定义Scrapy Items来实现的(本例是BT文件)

这就是要定义的Item

折叠撰写蜘蛛

撰写一个蜘蛛来抓取数据

下一步是写一个指定起始网址的蜘蛛(参考扩展阅读1)，包含follow链接规则和数据提取规则

如果你看一眼页面内容，就会发现所有的torrent网址都是类似:参考扩展阅读2的样子，其中Number是一个整数，我们将用正则表达式，例如/tor/\d+.来提取规则

我们将使用Xpath，从页面的HTML Source里面选取要要抽取的数据，选取众多数据页面中的一个，例如参考阅读3

根据页面HTML 源码，建立XPath，选取:torrent name， description ， size，这些数据。

运行蜘蛛来抓取数据

最后，我们运行蜘蛛来爬取这个网站，输出为json格式scraped_data.json

scrapy crawl 参考阅读4 -o scraped_data.json -t json

这个使用了feed exports，来生成json格式，当然，你可以很简单的更改输出格式为csv，xml，或者存储在后端(ftp或者Amazon S3)

你也可以写一段item pipeline，把数据直接写入数据库，很简单

Review一下抓取的数据

查看一下数据:scraped_data.json，内容大致如下

[{"url": "参考阅读2"， "name": ["Home[2009][Eng]XviD-ovd"]， "description": ["HOME - a documentary film by ..."]， "size": ["699.69 megabyte"]}， # ... other items ... ]

关注一下数据，你会发现，所有字段都是lists(除了url是直接赋值)，这是因为selectors返回的就是lists格式，如果你想存储单独数据或者在数据上增加一些解释或者清洗，可以使用Item Loaders

折叠更多

你也看到了如何使用小刮刮从一个网站提取和存储数据，但，这只是表象，实际上，小刮刮提供了许多强大的特性，让它更容易和高效的抓取:

1>内建 selecting and extracting，支持从HTML，XML提取数据

2>内建Item Loaders，支持数据清洗和过滤消毒，使用预定义的一个过滤器集合，可以在所有蜘蛛间公用

3>内建多格式generating feed exports支持(JSON， CSV， XML)，可以在后端存储为多种方式(FTP， S3， local filesystem)

4>针对抓取对象，具有自动图像(或者任何其他媒体)下载automatically downloading images的管道线

5>支持扩展抓取extending Scrap，使用signals来自定义插入函数或者定义好的API(middlewares， extensions， and pipelines)

所有文件已经打包，直接提取。

至于所谓的关注问题，随大家的便，想关注加就关注。我不需要说关注后才给大家连接，现在的头条根本不能赚钱，除非有几十万的粉丝。

我只是分享一些自认为有用的干货，满足一下知识传播者的成就感。

—————————————————————————————————————

欢迎大家一起留言讨论和交流，谢谢！