★
pathway 是用 Python 编写的学习资料，用于系统学习与查阅，主打实时。
Python ETL framework for stream processing, real-time analytics, LLM pipelines, and RAG.
istresearch / scrapy-cluster
scrapy-cluster
This Scrapy project uses Redis and Kafka to create a distributed on demand scraping cluster.
scrapy-cluster 是用 Python 编写的爬虫框架，用于网页抓取与数据采集，主打可伸缩。
目前累计 1.2k star、317 fork，主要语言为 Python，项目始于 2015 年，采用 MIT 许可。最近状态：已有一段时间未更新。适合：需要数据采集的开发者。
中文介绍优先采用本站人工维护条目；无维护条目时依据 GitHub 公开字段（语言、主题、星标、提交时间）自动生成，未经项目方确认，不构成选型结论。istresearch/scrapy-cluster 是一个以 Python 为主的开源项目，目前累计 1.2k star、317 fork，较长时间未更新。主要方向：distributed、kafka、Python、Redis、scraping、爬虫。
依据 GitHub 公开字段（语言、主题、星标、提交时间）自动生成，未经人工逐项核实。README
正在加载…相关项目
★
Python 的快速爬虫框架，内置请求调度、数据提取与导出，适合规模化采集。
Scrapy, a fast high-level web crawling & scraping framework for Python.
★
python-cheatsheet 是用 Python 编写的学习资料，用于系统学习与查阅，主打功能完整。
Comprehensive Python Cheatsheet
★
sqlmap 是用 Python 编写的安全工具，面向安全研究与防护。
Automatic SQL injection and database takeover tool
★
searxng 是用 Python 编写的开源项目，主题标签有限，建议打开仓库查看具体用途，主打开源免费。
SearXNG is a free internet metasearch engine which aggregates results from various search services and databases. Users are neither tracked nor prof…
★
langextract 是用 Python 编写的 AI 工具，用于大模型与智能体应用开发。
A Python library for extracting structured information from unstructured text using LLMs with precise source grounding and interactive visualization.