首页
手机版
您的位置:绿点软件站 > 电脑软件 > 网络工具 > 下载工具 > 八爪鱼采集器

八爪鱼采集器八爪鱼采集器v8.1.12 官方版

软件大小:65.1 MB

软件语言:简体中文

用户评分:

软件类型:国产软件

授权方式:免费版

软件官网:www.53307.com

更新时间:2020-05-20

软件分类:下载工具

运行环境:winxp/win7/win8/win10/

平台检测 无插件 360通过 腾讯通过 金山通过 瑞星通过
八爪鱼采集器

八爪鱼采集器是操作简单但是功能强大的数据采集软件,为用户提供简易方便的数据采集功能,软件内置海量模板,只需简单的设置,就可轻松快速的获取网页数据,可视化的所见即所得操作,只要能看到的就可以采集,无论是文字图片,还是贴吧论坛,都可以准确采集,支持24小时全天云采集,支持定时自动采集功能,可自己设定每天、每周或者每月定时采集,八爪鱼采集器还具得智能识别功能,用户只需输入网址即可获得数据,轻松实现数据采集,让数据采集更高效更智能。

八爪鱼采集器

软件特色

操作简单

完全可视化图形操作,无需专业IT人员,任何会使用电脑上网的人都可以轻松掌握。

云采集

采集任务自动分配到云端多台服务器同时执行,提高采集效率,可以很短的时间内获取成千上万条信息。

拖拽式采集流程

模拟人的操作思维模式,可以登陆,输入数据,点击链接,按钮等,还能对不同情况采取不同的采集流程。

图文识别

内置可扩展的OCR接口,支持解析图片中的文字,可将图片上的文字提取出来。

定时自动采集

采集任务自动运行,可以按照指定的周期自动采集,并且还支持最快一分钟一次的实时采集。

2分钟快速入门

内置从入门到精通所需要的视频教程,2分钟就能上手使用,另外还有文档,论坛,QQ群等。

免费使用

它是免费的,并且免费版本没有任何功能限制,你现在就可以试一试,立即下载安装。

软件功能

简易采集

简易采集模式内置上百种主流网站数据源,如京东天猫、大众点评等热门采集网站,只需参照模板简单设置参数,就可以快速获取网站公开数据。

智能采集

八爪鱼采集可根据不同网站,提供多种网页采集策略与配套资源,可自定义配置,组合运用,自动化处理。从而帮助整个采集过程实现数据的完整性与稳定性。

云采集

由5000多台云服务器支撑的云采集,7*24小时不间断运行,可实现定时采集,无需人员值守,灵活契合业务场景,帮你提升采集效率,保障数据时效性。

API接口

通过八爪鱼API,可以轻松获取八爪鱼任务信息和采集到的数据,灵活调度任务,比如远程控制任务启动与停止,高效实现数据采集与归档。基于强大的API体系,还可以无缝对接公司内部各类管理平台,实现各类业务自动化。

自定义采集

针对不同用户的采集需求,八爪鱼可提供自动生成爬虫的自定义模式,可准确批量识别各种网页元素,还有翻页、下拉、ajax、页面滚动、条件判断等多种功能,支持不同网页结构的复杂网站采集,满足多种采集应用场景。

便捷定时功能

简单几步点击设置,即可实现采集任务的定时控制,不论是单次采集的定时设置,还是预设某一天或是每周每月的定时采集,都可以同时对多个任务自由进行设置,根据需要对选择时间进行多重组合,灵活调配自己的采集任务。

全自动数据格式化

八爪鱼内置了强大的数据格式化引擎,支持字符串替换、正则表达式替换或匹配、去除空格、添加前缀或后缀、日期时间格式化、HTML转码等多项功能,采集过程中全自动处理,无需人工干预,即可得到所需格式数据。

多层级采集

很多主流新闻、电商类的网站,里面包含一级商品列表页,也包含二级商品详情页,还有三级评论详情页面;不论网站有多少层级,八爪鱼都可以不限制层级的采集数据,满足各类业务采集需求。

支持网站登录后采集

八爪鱼内置了采集登录模块,只需配置目标网站的账号密码,即可用该模块采集到登录后的数据;同时八爪鱼还具备采集Cookie自定义功能,首次登录以后,可以自动记住cookie,免去多次输入密码的繁琐,支持更多网站的采集。

八爪鱼使用教程

在八爪鱼采集原理中我们讲过,八爪鱼是模拟人浏览网页的行为进行数据采集的,比如打开网页、点击某个按钮等。在八爪鱼采集器客户端中,我们可以自行配置这些流程。

八爪鱼数据采集,一般有以下几个基本流程,其中打开网页、提取数据是不可或缺的,其他流程可根根据自身需求进行增删。

八爪鱼采集器

1、打开网页

本步骤根据设定的网址打开网页,一般为网页采集流程的第一个步骤,用来打开指定的网站或者网页。如果有多个类似的网址需要分别打开执行同样的采集流程,则应该放置在循环的内部,并作为第一个子步骤。即使用URL循环打开网页。

八爪鱼采集器

2、点击元素

本步骤对网页上指定的元素执行鼠标左键单击动作,比如点击按钮、点击翻页,点击跳转到其他页面等等。

八爪鱼采集器

3、输入文本

本步骤在输入框中输入指定的文本,例如输入搜索关键词,输入账号等。 将设定的文本输入到网页的某个输入框中,如使用搜索引擎时输入关键字。

八爪鱼采集器

4、循环

本步骤用来重复执行一系列步骤,根据配置不同,支持多种循环方式。1)循环单个元素:循环点击页面中的某个按钮; 2)循环固定元素列表:循环处理网页中固定数目的元素; 3)循环不固定元素列表:循环处理网页中不固定数目的元素; 4)循环URL列表:循环打开一批指定网址的网页,然后执行同样的处理步骤;5)循环文本列表:循环输入一批指定文字,然后执行同样的处理步骤。

八爪鱼采集器

5、提取数据

本步骤根据自身需求提取网页中自己所需要的数据字段,要哪个就点击选择哪个。除从网页中提取数据,同时还可添加特殊字段:当前时间、固定字段、空字段、当前网页网址等。

一个完整的采集任务必需包含“提取数据”,且提取数据中至少要有一个字段。如果没有,当启动采集时程序会报错,提示“没有配置采集字段”。

八爪鱼采集器

另外,八爪鱼的规则市场有很多已经做好的规则,可直接下载后导入八爪鱼使用。

 1、如何下载采集规则

八爪鱼采集器内置了规则市场,由用户分享配置好的采集规则,互帮互助。 使用规则市场下载规则,可以不用花费时间研究和配置采集流程。很多网站的采集规则都可以在规则市场中搜索到,下载运行即可采集。

下载规则有以下三种方式:打开八爪鱼官网(http://www.bazhuayu.com)->爬虫规则;打开八爪鱼采集器客户端->市场->爬虫规则;直接在浏览器中访问数多多官网(http://www.dataduoduo.com)->爬虫规则。

八爪鱼采集器

2、如何使用规则

一般从规则市场下载的规则是.otd为后缀的规则文件,4.*以后的版本中会自动导入下载的规则文件。以前的版本中需要手动导入下载的规则文件。将下载好的规则存储到相应位置。然后打开八爪鱼客户端->任务->导入->选择任务。从邮件或者QQ,微信接收到的规则同理。

常见问题

1、是否可以抓取百度地图、谷歌地图、高德地图?

在简易采集中有百度地图,搜狗地图等采集模版,可直接使用。

对于在地图搜索关键字出现的文本信息是可以被八爪鱼抓取的,采集规则依旧是翻页列表采集的规则。

地图网页如果是FLASH网页,则无法对FLASH网页进行采集。

2、URL循环列表最多存多少条?

URL循环的最大存放量级与自身电脑有关,官方建议最大不超过2W条

3、打开网页后页面不全?

打开网页后页面不全,此类现象一般在评论数据和天猫淘宝等网站容易出现。网速、缓存、杀毒软件、规则问题、防采集、封IP均可导致此现象出现。需一步步排查,可先尝试进行清除缓存刷新网页,然后关闭360和杀毒软件、将八爪鱼加入白名单,重做规制,重启八爪鱼甚至重启电脑。曾有用户在一段时间后网页又可以正常打开,具体原因与解决方案不明。

此外有小部分网站存在浏览器不兼容,请将网址提供我们,以便技术进行改进。

4、在八爪鱼中,关键词搜索如何实现?

八爪鱼本身不提供搜索功能,如需搜索需网页本身具有输入框能够进行输入关键词或选择关键词进行搜索。

5、什么是JSON采集?

json是一种轻量级的数据交换格式,由于一些优秀的特性比如比 XML 更小、更快,更易解析和阅读,并有效地提升网络传输效率,而得到广泛使用。

Json采集的优点:

1、无需加载图片视频等信息,采集速度更快

2、部分网站防采集限制减少,采集更加顺畅

6、广告屏蔽功能

在采集网页内容过程中,有些网页中会很多广告,甚至会弹出广告框。一是影响规则的制作,二是影响采集速度。为了改善这些情况,可使用屏蔽网页广告功能。

更新日志

 V8.1.12(正式) 2020-04-29

主要体验改进

本地采集增加了对7版本采集任务的正则兼容

优化自定义配置中在全部字段中删除字段后预览数据的刷新机制

Bug修复

解决自定义配置中添加采集步骤菜单显示位置不正确的问题

解决升级新版本后任务列表打不开的问题

解决自定义配置中拖动调整数据预览中字段顺序白屏的问题

解决自定义配置中删除数据预览中字段或数据行时提示操作框显示错误的问题

解决采集模板中列表类型的参数无法配置的问题

解决本地采集中鼠标移动到元素上不生效的问题

解决定时采集中设置日期会出错的问题

解决自定义配置中JSON任务添加字段会白屏的问题

解决任务列表中任务组模式下批量启动云采集会长时间卡住的问题

解决自定义配置中添加固定字段后修改字段名错误的问题

解决自定义配置中循环提取固定元素列表预览数据不显示的问题

解决自定义配置中部分网站无法获取Cookie的问题

解决定时采集中设置按周、按月定时采集下一次采集时间不正确的问题

解决定时采集中设置间隔时间1分钟采集不生效的问题

解决自定义配置中有时修改任务名保存不生效的问题

解决自定义配置中设置字段抓取属性值-选择属性值的时候流程图区域会隐藏的问题

解决自定义配置中第一次进入时引导提示背景出现用户调查界面的问题

解决任务列表中刷新后筛选条件重置的问题

解决自定义配置中修改任务名时标签页中的任务保存标识不正确的问题

八爪鱼采集器与相关软件的区别

抖音爬虫软件:抖音爬虫软件是一款功能丰富的抖音视频下载工具,软件绿色免费,可以批量获取抖音上视频及其它内容,支持批量采集某个主播的全部作品,采集视频下面的评论,采集某主播的粉丝,可批量查询账号总获赞、总粉丝、总作品等数据,可批量获取某个音频下的作品,支持按热门、最新排序,支持抖音长链接转短链接,支持获取抖音榜单,包括好物榜单、音乐榜单、今日最热等。

地图数据采集专家:地图数据采集专家是一款简单好用的地图数据采集软件,软件使用非常简单方便,只需可以输入想要查询的城市,就会自动采集这个城市地图范围内的商户信息,包括商户名称,电话,地址,联系信息,坐标等内容,可自行设置想要查询的关键词,支持数据过滤,可设置标题或地址想要排除的词,或标题必须包含的词,采集的数据支持到县级,可将数据导出到Excel,CSV,VCF等格式,数据来自于360、百度、高德多个地图源,数据精准而且最新。

下载地址

  • PC版
下载错误?【投诉报错】

八爪鱼采集器v8.1.12 官方版

高速下载

    用户评论

    (已有条评论)
    返回顶部
    返回顶部