colly 是用 Go 编写的爬虫框架,用于网页抓取与数据采集,主打界面美观。
Elegant Scraper and Crawler Framework for Golang
yangshun
面向忙碌工程师的面试准备资料,含算法、行为面试与简历建议。目前累计 14.3 万 star、1.7 万 fork,在本地项目库中星标排名约第 72 / 65730,主要语言为 TypeScript,项目始于 2016 年,采用 MIT 许可。最近状态:近半年有提交。
适合谁:推荐给想补齐某块知识的开发者:涉及 algorithm、algorithm-interview、algorithm-interview-questions、algorithms 方向。
按累计星标排序,库内共 65,739 个项目(GitHub 上星标 ≥ 1k 的公开仓库约 66,076 个)。
优先使用本地记录的星标快照计算近 7 天真实增量;快照不足 7 天时,按「创建以来日均获星」估算,数值旁会标注口径。
已收录 GitHub 星标过千的公开项目,附原始简介、语言、主题与活跃度。用一句自然语言描述需求,即可获得 AI 推荐。
colly 是用 Go 编写的爬虫框架,用于网页抓取与数据采集,主打界面美观。
Elegant Scraper and Crawler Framework for Golang
proxy_pool 是用 Python 编写的爬虫框架,用于网页抓取与数据采集。
Python ProxyPool for web spider
一些非常有趣的python爬虫例子,对新手比较友好,主要爬取淘宝、天猫、微信、微信读书、豆瓣、QQ等网站。(Some interesting examples of python crawlers that are friendly t…
一些非常有趣的python爬虫例子,对新手比较友好,主要爬取淘宝、天猫、微信、微信读书、豆瓣、QQ等网站。(Some interesting examples of python crawlers that are friendly to beginners. )
Photon 是用 Python 编写的爬虫框架,用于网页抓取与数据采集,主打速度快。
Incredibly fast crawler designed for OSINT.
Distributed web crawler admin platform for spiders management regardless of languages and frameworks. 分布式爬虫管理平台,支持任何语言…
Distributed web crawler admin platform for spiders management regardless of languages and frameworks. 分布式爬虫管理平台,支持任何语言和框架
新一代爬虫平台,以图形化方式定义爬虫流程,不写代码即可完成爬虫。
新一代爬虫平台,以图形化方式定义爬虫流程,不写代码即可完成爬虫。
INFO-SPIDER 是一个集众多数据源于一身的爬虫工具箱🧰,旨在安全快捷的帮助用户拿回自己的数据,工具代码开源,流程透明。支持数据源包括GitHub、QQ邮箱、网易邮箱、阿里邮箱、新浪邮箱、Hotmail邮箱、Outlook邮箱、…
INFO-SPIDER 是一个集众多数据源于一身的爬虫工具箱🧰,旨在安全快捷的帮助用户拿回自己的数据,工具代码开源,流程透明。支持数据源包括GitHub、QQ邮箱、网易邮箱、阿里邮箱、新浪邮箱、Hotmail邮箱、Outlook邮箱、京东、淘宝、支付宝、中国移动、中国联通、中国电信、知乎、哔哩…
awesome-web-scraping 是用 JavaScript 编写的爬虫框架,用于网页抓取与数据采集。
List of libraries, tools and APIs for web scraping and data processing.
pholcus 是用 Go 编写的爬虫框架,用于网页抓取与数据采集,主打可伸缩、实现清晰。
Pholcus is a distributed high-concurrency crawler software written in pure golang
awesome-crawler 是一个爬虫框架,用于网页抓取与数据采集。
A collection of awesome web crawler,spider in different languages
越来越多的网站具有反爬虫特性,有的用图片隐藏关键数据,有的使用反人类的验证码,建立反反爬虫的代码仓库,通过与不同特性的网站做斗争(无恶意)提高技术。(欢迎提交难以采集的网站)(因工作原因,项目暂停)
越来越多的网站具有反爬虫特性,有的用图片隐藏关键数据,有的使用反人类的验证码,建立反反爬虫的代码仓库,通过与不同特性的网站做斗争(无恶意)提高技术。(欢迎提交难以采集的网站)(因工作原因,项目暂停)
node-crawler 是用 TypeScript 编写的爬虫框架,用于网页抓取与数据采集。
Web Crawler/Spider for NodeJS + server-side jQuery ;-)
一键同步文章到多个内容平台,支持今日头条、WordPress、知乎、简书、掘金、CSDN、typecho各大平台,一次发布,多平台同步发布。解放个人生产力
一键同步文章到多个内容平台,支持今日头条、WordPress、知乎、简书、掘金、CSDN、typecho各大平台,一次发布,多平台同步发布。解放个人生产力
haipproxy 是用 Python 编写的爬虫框架,用于网页抓取与数据采集,主打可伸缩。
:sparkling_heart: High available distributed ip proxy pool, powerd by Scrapy and Redis
novel-plus 是一个多端(PC、WAP)阅读 、功能完善的小说 CMS 系统。包括小说推荐、小说检索、小说排行、小说阅读、小说书架、小说评论、小说爬虫、会员中心、作家专区、充值订阅、新闻发布等功能。
novel-plus 是一个多端(PC、WAP)阅读 、功能完善的小说 CMS 系统。包括小说推荐、小说检索、小说排行、小说阅读、小说书架、小说评论、小说爬虫、会员中心、作家专区、充值订阅、新闻发布等功能。
今日热榜,一个获取各大热门网站热门头条的聚合网站,使用Go语言编写,多协程异步快速抓取信息,预览:https://mo.fish
今日热榜,一个获取各大热门网站热门头条的聚合网站,使用Go语言编写,多协程异步快速抓取信息,预览:https://mo.fish
🚀🚀🚀feapder is an easy to use, powerful crawler framework | feapder是一款上手简单,功能强大的Python爬虫框架。内置AirSpider、Spider、TaskSp…
🚀🚀🚀feapder is an easy to use, powerful crawler framework | feapder是一款上手简单,功能强大的Python爬虫框架。内置AirSpider、Spider、TaskSpider、BatchSpider四种爬虫解决不同场景的需求。…
toapi 是用 Python 编写的爬虫框架,用于网页抓取与数据采集。
Every web site provides APIs.
Gerapy 是用 Python 编写的爬虫框架,用于网页抓取与数据采集,主打可伸缩。
Distributed Crawler Management Framework Based on Scrapy, Scrapyd, Django and Vue.js
微信公众号文章的爬虫
微信公众号文章的爬虫
Python爬虫实战 - 模拟登陆各大网站 包含但不限于:滑块验证、拼多多、美团、百度、bilibili、大众点评、淘宝,如果喜欢请start ❤️
Python爬虫实战 - 模拟登陆各大网站 包含但不限于:滑块验证、拼多多、美团、百度、bilibili、大众点评、淘宝,如果喜欢请start ❤️
gospider 是用 Go 编写的爬虫框架,用于网页抓取与数据采集,主打速度快、实现清晰。
Gospider - Fast web spider written in Go
短视频去水印:抖音,皮皮虾,火山,微视,微博,绿洲,最右,轻视频,快手,全民小视频,巴塞电影,陌陌,Before避风,开眼,Vue Vlog 小咖秀,皮皮搞笑,全民K歌,西瓜视频,逗拍,虎牙,6间房,梨视频,新片场,acfun,美拍...
短视频去水印:抖音,皮皮虾,火山,微视,微博,绿洲,最右,轻视频,快手,全民小视频,巴塞电影,陌陌,Before避风,开眼,Vue Vlog 小咖秀,皮皮搞笑,全民K歌,西瓜视频,逗拍,虎牙,6间房,梨视频,新片场,acfun,美拍...
项目列表来自 GitHub 官方 Search API(stars:>1000)。单个查询最多只能返回前 1000 条,所以「同步热门」取到的是星标最高的 1000 个;要拿全量必须按星标区间拆成多个查询——本站会先查各区间的真实数量再自动切分(1k–2k 约 3.2 万个,2k–5k 约 2.1 万个,5k–20k 约 1 万个,2 万以上约 2300 个)。GitHub 上星标过千的公开仓库当前约 66,076 个,本站已收录 65,739 个。星标、简介、语言与主题均为 GitHub 原始字段,未做人工逐一核验。
中文介绍分三种来源,卡片与详情页均有标注:热门项目使用本站人工维护的条目;其余项目由程序依据语言、主题、简介中的特征词与项目数据自动生成;仓库原简介本身是中文时直接引用原文。自动生成的介绍只是对公开字段的归纳,不代表项目方表述,也不构成选型结论。
每日推荐按北京时间每天从星标 6000 以上、近 18 个月仍有提交且未归档的项目中选取,排除近 120 天已推荐过的项目,同一天内结果固定。推荐结果由规则引擎(或配置的大模型)生成,不构成选型结论。
每天每台设备可免费检索 3 次,浏览、筛选和关键词查找不消耗额度。选择下方任一方案即可继续(当前为模拟支付)。
模拟支付不会接入真实渠道,也不会产生任何扣款。