火车采集器(LocoySpider)是一款专业功能功能强大的网络数据/信息挖掘软件。通过灵活的配置,您可以轻松获取任何资源,如文本、图片、文件等。从网页上。
该程序支持图片文件远程下载、网站登录后信息获取、文件真实地址检测、代理、防盗链采集、采集数据直接存储、模仿人手动发布等多项功能功能。
火车采集器支持从任何种类的网站收集您需要的信息,如各种新闻网站、论坛、电子商务网站、招聘网站等。
同时拥有强大的网站登录收藏、多页面及分页收藏、网站跨层收藏、帖子收藏、脚本页面收藏、动态页面收藏等高级收藏功能。
强大的php和c#插件支持,让你可以通过二次开发实现任何你想要的更强大的功能。
软件特色
1、通用性强
无论新闻、论坛、视频、黄页、图片、下载网站,只要是通过浏览器可以看到的结构化内容,都可以通过指定匹配规则进行收集。
2.稳定高效
五年磨一剑,软件不断更新完善,采集速度快,性能稳定,资源占用少。
3.扩展性强,适用范围广。
自定义web发布,保存和发布主流数据库,自定义本地php和。net外部编程接口来处理数据,让数据为你所用。
Menu 功能
1.创建一个新组。
创建新的任务组,选择它所属的组,并确定组名和注释。
2.创建新任务
确定组,创建新任务,填写任务名称并保存。
3.Web发布配置
Web发布配置定义了如何登录网站并向网站提交数据。
主要涉及登录信息的获取、网站代码的设置、栏目列表的获取、使用数据测试发布效果。
4.网络发布模块
可以定义网站登录、栏目列表、网页随机值、内容发布参数、上传文件、构建发布数据的高级功能。
5.数据库发布配置
数据库发布配置定义了数据库链接信息的设置和数据库模块的选择。
6.数据库发布模块
用于编辑数据库的发布模块方便我们将数据发布到配置好的数据库中。
火车采集器可以选择mysql、sqlserver、oracle、access四种数据库类型,在文本输入框中填写sql语句。
(需要有数据库的知识),可以用标签来代替相应的数据。您也可以在采集器模块文件夹中加载模块进行编辑。
7.计划任务
在列表中设置收集任务的启动计划,可以是每间隔、每天、每周、仅一次或自定义Cron表达式。
(Cron表达式的写法请参考相关术语中的介绍)。保存设置后,可以根据设置执行任务。
8.插件管理
插件是可以用来扩展火车采集器功能的程序
火车采集器V9支持PHP源代码、C#源代码和C#类库。
功能可用于扩展http请求、内容处理和文件下载,可单独测试。
9.http二级代理
网络中的服务器允许网络用户获得所需的网络信息。
代理的功能有访问国外站点和一些单位或团体内部资源的权限,可以突破自身ip的访问限制。
突破电信的ip封锁,隐藏真实ip等。
火车采集器V9支持http代理、socket4代理和socket5代理。
10.http模拟请求
您可以设置如何发起http请求,包括设置请求信息和返回头信息。并且具有自动提交的功能。
Basic 功能
1.规则定制-通过定义收集规则,您可以搜索所有网站来收集几乎任何类型的信息。
2.多任务多线程——可以同时执行多个信息采集任务,每个任务可以使用多个线程。
3.所见即所得——所见即所得在任务收集过程中。流程中遍历的链接信息、集合信息、错误信息都会及时反映在软件界面中。
4.数据保存——数据在收集的同时自动保存到关系数据库中,数据结构可以自动适应。软件可以根据采集规则自动创建数据库以及其中的表和字段,还可以通过数据库引导灵活地将数据保存到客户已有的数据库结构中。
5.在断点处继续采集——信息采集任务停止后可以从断点处继续采集,不必担心采集任务的意外中断。
6.网站登录-支持网站Cookie和网站可视化登录,即使是登录时需要验证码的网站也可以采集。
7.计划任务——通过这个功能,你可以让你的收集任务定时、定量或者循环执行。
8.收集范围限制-可以根据收集的深度和网站地址的标识来限制收集范围。
9.文件下载——可以下载收集到的二进制文件(如图片、音乐、软件、文档等。)到本地磁盘或收集结果数据库。
10.结果替换-您可以根据规则用您定义的内容替换收集的结果。
1.有条件保存——你可以根据某种条件决定保存哪些信息,过滤哪些信息。
12.过滤重复内容——软件可以根据用户设置和实际情况自动删除重复内容和重复网址。
13.特殊链接标识——使用this 功能来标识JavaScript动态生成的链接或其他更奇怪的链接。
14.数据发布-您可以通过用户定义的界面将收集的结果数据发布到任何内容管理系统和指定的数据库。现在支持的目标发布媒体包括:数据库(access、sql server、my sql、oracle)、静态htm文件。
15.预留编程接口——定义多个编程接口,用户可以使用PHP和C #语言在事件中编程,扩展采集功能。
特色功能
1.支持所有网站代码:完美支持所有编码格式的网页集合,程序还能自动识别网页代码。
2.多种发布方式:支持目前所有主流和非主流CMS、BBS等网站程序,通过系统的发布模块可以实现采集器与网站程序的完美结合。
3.全自动:无人值守工作。程序配置完成后,程序会根据你的设置自动运行,完全不需要手动干预。
4.本地编辑:可视化地本地编辑收集的数据。
5.采集测试:这是任何其他类似采集软件无法比拟的。该程序支持直接查看采集结果并测试和发布。
6.管理方便:采集节点采用站点+任务管理,任务支持批量操作,便于管理更多数据。
更新日志
1.新:用户代理支持从文本中读取和随机切换。教程:http://faq.locoy.com/q-1348.html.
2.新增:自动识别手机号码功能支持14、15、16、17、19开头的新号段。
3.优化:下载文件后,优化插件界面。
4.优化:检测文件下载时正式下载文件,提高下载速度。
5.修复:修复http请求头“头或设置名”以数字开头的问题。
6.修复:发布到word文档。如果数据包含特殊字符或本地图片异常,将导致发布失败。解决问题。
7.修复:复制任务时,不会复制任务注释。解决问题。
8.修复:标签引用支持调用“列表页面”标签。
9.修复:提取json时,如果json对象的“key”是整数,则提取错误。
10.优化:URL解析取代html问题。
1.修复:获取和发布分页。
12.修复:在“系统时间”中选择“06-16”生成固定格式数据,生成时间格式“yyyy-MM”
13.新增:数据库发布模块支持replace into语句。
火车采集器(LocoySpider)相关下载
- 查看详情视频下载转换器(TubeDigger)简体2022-12-24
- 查看详情DownZemAll!(视频文件下载工具)简体2022-12-18
- 查看详情Kigo Netflix Video Downloader(视频下载工具)简体2022-12-16
- 查看详情mSearch(网页多开下载软件)简体2022-12-06
- 查看详情WechatVideoSniffer(微信视频号视频下载工具)简体2022-12-05
- 查看详情 视频下载转换器(TubeDigger) 简体 2022-12-24
- 查看详情 DownZemAll!(视频文件下载工具) 简体 2022-12-18
- 查看详情 Kigo Netflix Video Downloader(视 多国语言[中文] 2022-12-16
- 查看详情 mSearch(网页多开下载软件) 简体 2022-12-06
- 查看详情 WechatVideoSniffer(微信视频号视 简体 2022-12-05
- 查看详情 华为云空间 简体 2022-12-25
- 查看详情 Shoviv Outlook Duplicate Remover(邮件管理工具) 英文 2022-12-25
- 查看详情 Free Dailymotion Download 英文 2022-12-25