Scrapling 是用 Python 编写的爬虫框架,用于网页抓取与数据采集。
🕷️ The BEST Web Scraping framework that handles everything from a single request to a full-scale crawl! Don't be shy, join here: https://discord.gg…
practical-tutorials
项目驱动学习教程合集,通过一步步做完整项目来掌握一门技术。目前累计 28.8 万 star、3.7 万 fork,在本地项目库中星标排名约第 16 / 65705,主要语言为 Python,项目始于 2017 年,采用 MIT 许可。最近状态:本周仍有提交。
适合谁:推荐给想补齐某块知识的开发者:涉及 beginner-project、cpp、golang、javascript 方向。
按累计星标排序,库内共 65,707 个项目(GitHub 上星标 ≥ 1k 的公开仓库约 65,980 个)。
优先使用本地记录的星标快照计算近 7 天真实增量;快照不足 7 天时,按「创建以来日均获星」估算,数值旁会标注口径。
已收录 GitHub 星标过千的公开项目,附原始简介、语言、主题与活跃度。用一句自然语言描述需求,即可获得 AI 推荐。
Scrapling 是用 Python 编写的爬虫框架,用于网页抓取与数据采集。
🕷️ The BEST Web Scraping framework that handles everything from a single request to a full-scale crawl! Don't be shy, join here: https://discord.gg…
Python 的快速爬虫框架,内置请求调度、数据提取与导出,适合规模化采集。
Scrapy, a fast high-level web crawling & scraping framework for Python.
crawlee 是用 TypeScript 编写的爬虫框架,用于网页抓取与数据采集。
Crawlee—A web scraping and browser automation library for Node.js to build reliable crawlers. In JavaScript and TypeScript. Extract data for AI, LLM…
colly 是用 Go 编写的爬虫框架,用于网页抓取与数据采集,主打界面美观。
Elegant Scraper and Crawler Framework for Golang
maxun 是用 TypeScript 编写的自动化工具,用于流程自动化编排。
Turn any website into a structured API. Extract, automate, search and monitor the web.
newspaper 是用 Python 编写的爬虫框架,用于网页抓取与数据采集。
newspaper3k is a news, full-text, and article metadata extraction in Python 3. Advanced docs:
crawlee-python 是用 Python 编写的爬虫框架,用于网页抓取与数据采集,主打界面美观。
Crawlee—A web scraping and browser automation library for Python to build reliable crawlers. Extract data for AI, LLMs, RAG, or GPTs. Download HTML,…
awesome-web-scraping 是用 JavaScript 编写的爬虫框架,用于网页抓取与数据采集。
List of libraries, tools and APIs for web scraping and data processing.
rod 是用 Go 编写的实用工具,用于提升日常效率。
A Chrome DevTools Protocol driver for web automation and scraping.
headless-chrome-crawler 是用 JavaScript 编写的爬虫框架,用于网页抓取与数据采集,主打可伸缩。
Distributed crawler powered by Headless Chrome
hakrawler 是用 Go 编写的测试工具,用于自动化测试与验证,主打速度快、易用。
Simple, fast web crawler designed for easy, quick discovery of endpoints and assets within a web application
exa-mcp-server 是用 TypeScript 编写的爬虫框架,用于网页抓取与数据采集。
Exa MCP for web search and web crawling!
ai.robots.txt 是用 Python 编写的爬虫框架,用于网页抓取与数据采集。
A list of AI agents and robots to block.
puppeteer-sharp 是用 C# 编写的测试工具,用于自动化测试与验证。
Headless Chrome .NET API
cariddi 是用 Go 编写的测试工具,用于自动化测试与验证。
Take a list of domains, crawl urls and scan for endpoints, secrets, api keys, file extensions, tokens and more
nutch 是用 Java 编写的爬虫框架,用于网页抓取与数据采集,主打可扩展、可伸缩。
Apache Nutch is an extensible and scalable web crawler
awesome-puppeteer 是一个资源清单,按主题汇总同类优质资源。
A curated list of awesome puppeteer resources.
grab 是用 Python 编写的爬虫框架,用于网页抓取与数据采集。
Web Scraping Framework
📅🇨🇳中国法定节假日数据 自动每日抓取国务院公告
📅🇨🇳中国法定节假日数据 自动每日抓取国务院公告
蓝天采集器是一款开源免费的爬虫系统,仅需点选编辑规则即可采集数据,可运行在本地、虚拟主机或云服务器中,几乎能采集所有类型的网页,无缝对接各类CMS建站程序,免登录实时发布数据,全自动无需人工干预!是网页大数据采集软件中完全跨平台的云端爬…
蓝天采集器是一款开源免费的爬虫系统,仅需点选编辑规则即可采集数据,可运行在本地、虚拟主机或云服务器中,几乎能采集所有类型的网页,无缝对接各类CMS建站程序,免登录实时发布数据,全自动无需人工干预!是网页大数据采集软件中完全跨平台的云端爬虫系统
core 是用 PHP 编写的爬虫框架,用于网页抓取与数据采集。
The complete web scraping toolkit for PHP.
rebrowser-patches 是用 JavaScript 编写的爬虫框架,用于网页抓取与数据采集,主打易用。
Collection of patches for puppeteer and playwright to avoid automation detection and leaks. Helps to avoid Cloudflare and DataDome CAPTCHA pages. Ea…
mlscraper 是用 Python 编写的爬虫框架,用于网页抓取与数据采集。
🤖 Scrape data from HTML websites automatically by just providing examples
browsertrix-crawler 是用 TypeScript 编写的爬虫框架,用于网页抓取与数据采集。
Run a high-fidelity browser-based web archiving crawler in a single Docker container
项目列表来自 GitHub 官方 Search API(stars:>1000)。单个查询最多只能返回前 1000 条,所以「同步热门」取到的是星标最高的 1000 个;要拿全量必须按星标区间拆成多个查询——本站会先查各区间的真实数量再自动切分(1k–2k 约 3.2 万个,2k–5k 约 2.1 万个,5k–20k 约 1 万个,2 万以上约 2300 个)。GitHub 上星标过千的公开仓库当前约 65,980 个,本站已收录 65,707 个。星标、简介、语言与主题均为 GitHub 原始字段,未做人工逐一核验。
中文介绍分三种来源,卡片与详情页均有标注:热门项目使用本站人工维护的条目;其余项目由程序依据语言、主题、简介中的特征词与项目数据自动生成;仓库原简介本身是中文时直接引用原文。自动生成的介绍只是对公开字段的归纳,不代表项目方表述,也不构成选型结论。
每日推荐按北京时间每天从星标 6000 以上、近 18 个月仍有提交且未归档的项目中选取,排除近 120 天已推荐过的项目,同一天内结果固定。推荐结果由规则引擎(或配置的大模型)生成,不构成选型结论。
每天每台设备可免费检索 3 次,浏览、筛选和关键词查找不消耗额度。选择下方任一方案即可继续(当前为模拟支付)。
模拟支付不会接入真实渠道,也不会产生任何扣款。