快盘下载:好资源、好软件、快快下载吧!

快盘排行|快盘最新

当前位置:首页新闻资讯软件资讯 → Crawlab爬虫管理平台发布0.4.7新版本

Crawlab爬虫管理平台发布0.4.7新版本

时间:2020-03-01 11:12:25人气:作者:快盘下载我要评论

分布式通用爬虫管理平台Crawlab,基于Celery的爬虫分布式爬虫管理平台,支持多种编程语言以及多种爬虫框架.Crawlab的架构跟Celery非常相似,但是加入了包括前端、爬虫、Flower在内的额外模块,以支持爬虫管理的功能。

Crawlab爬虫管理平台发布0.4.7新版本

本次更新包括几个部分:

更好的支持 Scrapy 爬虫 支持 Git 仓库同步 支持长任务 更好的爬虫管理

更新日志

功能 / 优化

更好的支持 Scrapy. 爬虫识别,settings.py 配置,日志级别选择,爬虫选择. #435 Git 同步. 允许用户将 Git 项目同步到 Crawlab. 长任务支持. 用户可以添加长任务爬虫,这些爬虫可以跑长期运行的任务. 425 爬虫列表优化. 分状态任务列数统计,任务列表详情弹出框,图例. 425 版本升级检测. 检测最新版本,通知用户升级. 批量操作爬虫. 允许用户批量运行/停止爬虫任务,以及批量删除爬虫. 复制爬虫. 允许用户复制已存在爬虫来创建新爬虫. 微信群二维码.

Bug 修复

定时任务爬虫选择问题. 字段不会随着爬虫变化而响应. 定时任务冲突问题. 两个不同的爬虫设置定时任务,时间设置成相同的话,可能会有bug. #515 #565 任务日志问题. 在同一时间触发的不同任务可能会写入同一个日志文件. #577 任务列表筛选选项不全.

产品规划

结果展示 支持其他数据库 可配置爬虫 可配置爬虫支持 Splash 可配置爬虫支持 CrawlSpider 可配置爬虫支持正则表达式字段 可配置爬虫支持转化为自定义爬虫 任务 任务重试机制 定时任务 日历展示 全局 支持版本更新检测 支持版本更新日志展示 服务器 支持终端操作 docker 镜像 SDK 更多命令支持 支持 Golang、Java 插件系统

参考

Github: https://github.com/crawlab-team/crawlab Demo: https://crawlab.cn/demo

网友评论

快盘下载暂未开通留言功能。

推荐文章

关于我们| 广告联络| 联系我们| 网站帮助| 免责声明| 软件发布

Copyright 2019-2029 【快快下载吧】 版权所有 快快下载吧 | 豫ICP备10006759号公安备案:41010502004165

声明: 快快下载吧上的所有软件和资料来源于互联网,仅供学习和研究使用,请测试后自行销毁,如有侵犯你版权的,请来信指出,本站将立即改正。