Distributed web crawler admin platform for spiders management regardless of languages and frameworks. 分布式爬虫管理平台,支持任何语言…
Distributed web crawler admin platform for spiders management regardless of languages and frameworks. 分布式爬虫管理平台,支持任何语言和框架
practical-tutorials
项目驱动学习教程合集,通过一步步做完整项目来掌握一门技术。目前累计 28.8 万 star、3.7 万 fork,在本地项目库中星标排名约第 16 / 65705,主要语言为 Python,项目始于 2017 年,采用 MIT 许可。最近状态:本周仍有提交。
适合谁:推荐给想补齐某块知识的开发者:涉及 beginner-project、cpp、golang、javascript 方向。
按累计星标排序,库内共 65,707 个项目(GitHub 上星标 ≥ 1k 的公开仓库约 65,980 个)。
优先使用本地记录的星标快照计算近 7 天真实增量;快照不足 7 天时,按「创建以来日均获星」估算,数值旁会标注口径。
已收录 GitHub 星标过千的公开项目,附原始简介、语言、主题与活跃度。用一句自然语言描述需求,即可获得 AI 推荐。
Distributed web crawler admin platform for spiders management regardless of languages and frameworks. 分布式爬虫管理平台,支持任何语言…
Distributed web crawler admin platform for spiders management regardless of languages and frameworks. 分布式爬虫管理平台,支持任何语言和框架
scrapy-redis 是用 Python 编写的爬虫框架,用于网页抓取与数据采集。
Redis-based components for Scrapy.
haipproxy 是用 Python 编写的爬虫框架,用于网页抓取与数据采集,主打可伸缩。
:sparkling_heart: High available distributed ip proxy pool, powerd by Scrapy and Redis
🚀🚀🚀feapder is an easy to use, powerful crawler framework | feapder是一款上手简单,功能强大的Python爬虫框架。内置AirSpider、Spider、TaskSp…
🚀🚀🚀feapder is an easy to use, powerful crawler framework | feapder是一款上手简单,功能强大的Python爬虫框架。内置AirSpider、Spider、TaskSpider、BatchSpider四种爬虫解决不同场景的需求。…
Gerapy 是用 Python 编写的爬虫框架,用于网页抓取与数据采集,主打可伸缩。
Distributed Crawler Management Framework Based on Scrapy, Scrapyd, Django and Vue.js
Web app for Scrapyd cluster management, Scrapy log analysis & visualization, Auto packaging, Timer tasks, Monitor & Al…
Web app for Scrapyd cluster management, Scrapy log analysis & visualization, Auto packaging, Timer tasks, Monitor & Alert, and Mobile UI. Docs 文档 :p…
Python爬虫实战 - 模拟登陆各大网站 包含但不限于:滑块验证、拼多多、美团、百度、bilibili、大众点评、淘宝,如果喜欢请start ❤️
Python爬虫实战 - 模拟登陆各大网站 包含但不限于:滑块验证、拼多多、美团、百度、bilibili、大众点评、淘宝,如果喜欢请start ❤️
scrapy-splash 是用 Python 编写的爬虫框架,用于网页抓取与数据采集。
Scrapy+Splash for JavaScript integration
基于Spark的电影推荐系统,包含爬虫项目、web网站、后台管理系统以及spark推荐系统
基于Spark的电影推荐系统,包含爬虫项目、web网站、后台管理系统以及spark推荐系统
SpiderKeeper 是用 Python 编写的爬虫框架,用于网页抓取与数据采集,主打开源免费。
admin ui for scrapy/open source scrapinghub
Download images from Google, Bing, Baidu. 谷歌、百度、必应图片下载.
Download images from Google, Bing, Baidu. 谷歌、百度、必应图片下载.
🏀 Python3 网络爬虫实战(部分含详细教程)猫眼 腾讯视频 豆瓣 研招网 微博 笔趣阁小说 百度热点 B站 CSDN 网易云阅读 阿里文学 百度股票 今日头条 微信公众号 网易云音乐 拉勾 有道 unsplash 实习僧 汽车之…
🏀 Python3 网络爬虫实战(部分含详细教程)猫眼 腾讯视频 豆瓣 研招网 微博 笔趣阁小说 百度热点 B站 CSDN 网易云阅读 阿里文学 百度股票 今日头条 微信公众号 网易云音乐 拉勾 有道 unsplash 实习僧 汽车之家 英雄联盟盒子 大众点评 链家 LPL赛程 台风 梦幻西游…
webscraping-from-0-to-hero 是一个爬虫框架,用于网页抓取与数据采集。
The web scraping open project repository aims to share knowledge and experiences about web scraping with Python
advertools 是用 Python 编写的爬虫框架,用于网页抓取与数据采集。
advertools - online marketing productivity and analysis tools
scrapy-playwright 是用 Python 编写的爬虫框架,用于网页抓取与数据采集。
🎭 Playwright integration for Scrapy
scrapy-cluster 是用 Python 编写的爬虫框架,用于网页抓取与数据采集,主打可伸缩。
This Scrapy project uses Redis and Kafka to create a distributed on demand scraping cluster.
domains 是用 JavaScript 编写的爬虫框架,用于网页抓取与数据采集。
World’s single largest Internet domains dataset
django-dynamic-scraper 是用 Python 编写的爬虫框架,用于网页抓取与数据采集。
Creating Scrapy scrapers via the Django admin interface
抖音、快手、火山、皮皮虾,视频去水印程序
抖音、快手、火山、皮皮虾,视频去水印程序
项目列表来自 GitHub 官方 Search API(stars:>1000)。单个查询最多只能返回前 1000 条,所以「同步热门」取到的是星标最高的 1000 个;要拿全量必须按星标区间拆成多个查询——本站会先查各区间的真实数量再自动切分(1k–2k 约 3.2 万个,2k–5k 约 2.1 万个,5k–20k 约 1 万个,2 万以上约 2300 个)。GitHub 上星标过千的公开仓库当前约 65,980 个,本站已收录 65,707 个。星标、简介、语言与主题均为 GitHub 原始字段,未做人工逐一核验。
中文介绍分三种来源,卡片与详情页均有标注:热门项目使用本站人工维护的条目;其余项目由程序依据语言、主题、简介中的特征词与项目数据自动生成;仓库原简介本身是中文时直接引用原文。自动生成的介绍只是对公开字段的归纳,不代表项目方表述,也不构成选型结论。
每日推荐按北京时间每天从星标 6000 以上、近 18 个月仍有提交且未归档的项目中选取,排除近 120 天已推荐过的项目,同一天内结果固定。推荐结果由规则引擎(或配置的大模型)生成,不构成选型结论。
每天每台设备可免费检索 3 次,浏览、筛选和关键词查找不消耗额度。选择下方任一方案即可继续(当前为模拟支付)。
模拟支付不会接入真实渠道,也不会产生任何扣款。