如何在Pycharm中安装Scrapy(pycharm,scrapy,开发技术)

时间:2024-05-09 18:12:23 作者 : 石家庄SEO 分类 : 开发技术
  • TAG :

Scrapy是一个开源的网络爬虫框架,Python编写的。最初设计用于网页抓取,也可以用来提取数据使用API或作为一个通用的网络爬虫。是数据采集不可必备的利器。

安装

pipinstallscrapy

如果使用上面的命令太慢。国内可以使用豆瓣源进行加速。

pipinstall-ihttps://pypi.douban.com/simplescrapy

注意要写错了,是 https://pypi.douban.com/simple 很多包都可以使用这个源进行加速,这也是pip的一个技巧,还可以使用阿里云进行加速。

安装完成之后在命令行输入

scrapy-v

如果出现了相应的版本号就说明安装成功。

创建项目

目前还没有IDE 能够创建scrapy的项目,我们必须手动初始化项目。

1、找一个目录

输入命令

scrapystartprojectSpiderObject

命令行出现这样的结果说明创建成果

Youcanstartyourfirstspiderwith:cdSpiderObjectscrapygenspiderexampleexample.com

去文件夹中看看

如何在Pycharm中安装Scrapy

初始化项目

使用pycharm打开该项目

如何在Pycharm中安装Scrapy

如果出现这个页面就说明对了。

如何在Pycharm中安装Scrapy

下面生成一个模板

打开pycharm的terminal

如何在Pycharm中安装Scrapy

输入

scrapygenspiderBiduSpiderhttp://www.baidu.com

我们的spider 包下面会多一个文件

如何在Pycharm中安装Scrapy

 </div> <div class="zixun-tj-product adv-bottom"></div> </div> </div> <div class="prve-next-news">
本文:如何在Pycharm中安装Scrapy的详细内容,希望对您有所帮助,信息来源于网络。
上一篇:VsCode下编写怎么Python下一篇:

16 人围观 / 0 条评论 ↓快速评论↓

(必须)

(必须,保密)

阿狸1 阿狸2 阿狸3 阿狸4 阿狸5 阿狸6 阿狸7 阿狸8 阿狸9 阿狸10 阿狸11 阿狸12 阿狸13 阿狸14 阿狸15 阿狸16 阿狸17 阿狸18