awesome-web-scraping 是用 JavaScript 编写的爬虫框架,用于网页抓取与数据采集。
List of libraries, tools and APIs for web scraping and data processing.
microsoft
Windows 效率工具集,提供窗口管理、批量重命名、取色器等系统增强功能。目前累计 14 万 star、8.7k fork,在本地项目库中星标排名约第 76 / 65722,主要语言为 C,项目始于 2019 年,采用 MIT 许可。最近状态:本周仍有提交。
适合谁:推荐给需要桌面端软件的团队:涉及 advanced-paste、color-picker、command-palette、desktop 方向。
按累计星标排序,库内共 65,724 个项目(GitHub 上星标 ≥ 1k 的公开仓库约 66,033 个)。
优先使用本地记录的星标快照计算近 7 天真实增量;快照不足 7 天时,按「创建以来日均获星」估算,数值旁会标注口径。
已收录 GitHub 星标过千的公开项目,附原始简介、语言、主题与活跃度。用一句自然语言描述需求,即可获得 AI 推荐。
awesome-web-scraping 是用 JavaScript 编写的爬虫框架,用于网页抓取与数据采集。
List of libraries, tools and APIs for web scraping and data processing.
autoscraper 是用 Python 编写的爬虫框架,用于网页抓取与数据采集,主打速度快、轻量。
A Smart, Automatic, Fast and Lightweight Web Scraper for Python
Python API for JMComic | 提供Python API访问禁漫天堂,同时支持网页端和移动端 | 禁漫天堂GitHub Actions下载器🚀
Python API for JMComic | 提供Python API访问禁漫天堂,同时支持网页端和移动端 | 禁漫天堂GitHub Actions下载器🚀
awesome-crawler 是一个爬虫框架,用于网页抓取与数据采集。
A collection of awesome web crawler,spider in different languages
trafilatura 是用 Python 编写的爬虫框架,用于网页抓取与数据采集。
Python & Command-line tool to gather text and metadata on the Web: Crawling, scraping, extraction, output as CSV, JSON, HTML, MD, TXT, XML
node-crawler 是用 TypeScript 编写的爬虫框架,用于网页抓取与数据采集。
Web Crawler/Spider for NodeJS + server-side jQuery ;-)
实战🐍多种网站、电商数据爬虫🕷。包含🕸:淘宝商品、微信公众号、大众点评、企查查、招聘网站、闲鱼、阿里任务、博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之…
实战🐍多种网站、电商数据爬虫🕷。包含🕸:淘宝商品、微信公众号、大众点评、企查查、招聘网站、闲鱼、阿里任务、博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣…
scrapy-redis 是用 Python 编写的爬虫框架,用于网页抓取与数据采集。
Redis-based components for Scrapy.
headless-chrome-crawler 是用 JavaScript 编写的爬虫框架,用于网页抓取与数据采集,主打可伸缩。
Distributed crawler powered by Headless Chrome
haipproxy 是用 Python 编写的爬虫框架,用于网页抓取与数据采集,主打可伸缩。
:sparkling_heart: High available distributed ip proxy pool, powerd by Scrapy and Redis
browser-fingerprinting 是用 JavaScript 编写的前端库,用于构建 Web 页面与界面。
Analysis of Bot Protection systems with available countermeasures 🚿. How to defeat anti-bot system 👻 and get around browser fingerprinting scripts…
TorBot 是用 Python 编写的学习资料,用于系统学习与查阅。
Dark Web OSINT Tool
Collection of China illegal cases about web crawler 本项目用来整理所有中国大陆爬虫开发者涉诉与违规相关的新闻、资料与法律法规。致力于帮助在中国大陆工作的爬虫行业从业者了解我国相关法律,…
Collection of China illegal cases about web crawler 本项目用来整理所有中国大陆爬虫开发者涉诉与违规相关的新闻、资料与法律法规。致力于帮助在中国大陆工作的爬虫行业从业者了解我国相关法律,避免触碰数据合规红线。
新浪微博爬虫,用python爬取新浪微博数据,并下载微博图片和微博视频
新浪微博爬虫,用python爬取新浪微博数据,并下载微博图片和微博视频
myGPTReader 是用 Python 编写的 AI 工具,用于大模型与智能体应用开发。
A community-driven way to read and chat with AI bots - powered by chatGPT.
Download comics novels 小说漫画下载工具 小説漫画のダウンローダ 小說漫畫下載:腾讯漫画 大角虫漫画 有妖气 咪咕 SF漫画 哦漫画 看漫画 漫画柜 汗汗酷漫 動漫伊甸園 快看漫画 微博动漫 733动漫网 大古漫画…
Download comics novels 小说漫画下载工具 小説漫画のダウンローダ 小說漫畫下載:腾讯漫画 大角虫漫画 有妖气 咪咕 SF漫画 哦漫画 看漫画 漫画柜 汗汗酷漫 動漫伊甸園 快看漫画 微博动漫 733动漫网 大古漫画网 漫画DB 無限動漫 動漫狂 卡推漫画 动漫之家 动漫屋 …
ProxyBroker 是用 Python 编写的爬虫框架,用于网页抓取与数据采集。
Proxy [Finder | Checker | Server]. HTTP(S) & SOCKS :performing_arts:
DotnetSpider 是用 C# 编写的爬虫框架,用于网页抓取与数据采集,主打速度快、轻量。
DotnetSpider, a .NET standard web crawling library. It is lightweight, efficient and fast high-level web crawling & scraping framework
arachni 是用 Ruby 编写的测试工具,用于自动化测试与验证,主打注重安全。
Web Application Security Scanner Framework
proxypool 是用 Go 编写的爬虫框架,用于网页抓取与数据采集。
Automatically crawls proxy nodes on the public internet, de-duplicates and tests for usability and then provides a list of nodes
scylla 是用 Python 编写的爬虫框架,用于网页抓取与数据采集。
Intelligent proxy pool for Humans™ to extract content from the internet and build your own Large Language Models in this new AI era
puppeteer-sharp 是用 C# 编写的测试工具,用于自动化测试与验证。
Headless Chrome .NET API
cariddi 是用 Go 编写的测试工具,用于自动化测试与验证。
Take a list of domains, crawl urls and scan for endpoints, secrets, api keys, file extensions, tokens and more
项目列表来自 GitHub 官方 Search API(stars:>1000)。单个查询最多只能返回前 1000 条,所以「同步热门」取到的是星标最高的 1000 个;要拿全量必须按星标区间拆成多个查询——本站会先查各区间的真实数量再自动切分(1k–2k 约 3.2 万个,2k–5k 约 2.1 万个,5k–20k 约 1 万个,2 万以上约 2300 个)。GitHub 上星标过千的公开仓库当前约 66,033 个,本站已收录 65,724 个。星标、简介、语言与主题均为 GitHub 原始字段,未做人工逐一核验。
中文介绍分三种来源,卡片与详情页均有标注:热门项目使用本站人工维护的条目;其余项目由程序依据语言、主题、简介中的特征词与项目数据自动生成;仓库原简介本身是中文时直接引用原文。自动生成的介绍只是对公开字段的归纳,不代表项目方表述,也不构成选型结论。
每日推荐按北京时间每天从星标 6000 以上、近 18 个月仍有提交且未归档的项目中选取,排除近 120 天已推荐过的项目,同一天内结果固定。推荐结果由规则引擎(或配置的大模型)生成,不构成选型结论。
每天每台设备可免费检索 3 次,浏览、筛选和关键词查找不消耗额度。选择下方任一方案即可继续(当前为模拟支付)。
模拟支付不会接入真实渠道,也不会产生任何扣款。