【PythonEasySpider:一个很强大的可视化网络爬虫工具,

2023年 8月 26日 69.8k 0

EasySpider是一个可视化爬虫软件,可以使用图形化界面,无代码可视化的设计和执行爬虫任务。只需要在网页上选择自己想要爬的内容并根据提示框操作即可完成爬虫设计和执行。同时软件还可以单独以命令行的方式进行执行,从而可以很方便的嵌入到其他系统中。自发布以来,已经有3.9K Star

一、下载安装EasySpider

支持Windows、MacOS、Linux系统安装。

下载地址:
github.com/NaiboWang/E…
在这里插入图片描述

下载完成后,如下图所示(macos安装为例):
在这里插入图片描述

二、体验初探:获取ebay网站数据

1、设计任务

1)打开EasySpider主程序

在这里插入图片描述

2)点击【中文】

在这里插入图片描述

3)点击【设计任务】

在这里插入图片描述
然后这里选择【使用纯净版浏览器设计】,无需用户登录信息。
在这里插入图片描述

4)进入EasySpider设计窗口,大概过5秒钟后,会同时打开一个浏览器窗口

在这里插入图片描述

5)点击【新建任务】,输入ebay网址地址www.ebay.com,点击【开始设计】,打开ebay官网

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

6)输入搜索关键字:右击搜索框,点击【输入文字】按钮;输入搜索关键字,然后点击【确定】按钮

在这里插入图片描述
在这里插入图片描述

7)搜索:右击【搜索】按钮,点击【点击该按钮】,搜索出关于关键字“手机”的所有商品

在这里插入图片描述
在这里插入图片描述
此时会发现EasySpider主窗口的设计面板,会多出输入文字、点击元素两个动作,表示刚才的操作被加入当前任务队列中了。
在这里插入图片描述

8)采集标题:右击手机商品的标题,点击【选择全部】,这时所有的商品的标题都会选中;点击【采集数据】,则采集当前页面的手机商品标题的任务会被加入队列中

在这里插入图片描述
在这里插入图片描述

这时可以看到EasySpider主窗口的设计面板,又有新的任务加入。
在这里插入图片描述

9)循环点击下一页:页面滚动至底部,可以看到分页按钮;右击【下一页】按钮,点击【循环点击该链接】按钮

在这里插入图片描述
在这里插入图片描述

10)通过【剪切元素】调整任务顺序,实现循环点击下一页并循环相应页面的所有商品标题

在这里插入图片描述
在这里插入图片描述
最终采集步骤如下所示:
在这里插入图片描述
注意:执行步骤6至10过程中每个步骤可能会失败,单个步骤多重复操作1~2次就行

11)保存设计任务,关闭设计窗口,返回首页

在这里插入图片描述

2、执行任务

1)回到EasySpider首页,点击【查看执行任务】

在这里插入图片描述

2)点击【任务信息】

在这里插入图片描述

3)点击【调用任务】

在这里插入图片描述

4)修改执行任务条件,点击【本地直接执行】按钮;复制弹框里的执行脚本

在这里插入图片描述

在这里插入图片描述

5)打开easyspider_executestage程序,粘贴步骤5生成的脚本,然后静静地等待任务执行完成

在这里插入图片描述

6)最终获取的数据文件会保存在Data目录下

在这里插入图片描述
EasySpider官网地址:
github.com/NaiboWang/E…

相关文章

服务器端口转发,带你了解服务器端口转发
服务器开放端口,服务器开放端口的步骤
产品推荐:7月受欢迎AI容器镜像来了,有Qwen系列大模型镜像
如何使用 WinGet 下载 Microsoft Store 应用
百度搜索:蓝易云 – 熟悉ubuntu apt-get命令详解
百度搜索:蓝易云 – 域名解析成功但ping不通解决方案

发布评论