★
开源星图GITHUB / DISCOVERY
今日免费检索 3 次
ai-robots-txt / ai.robots.txt

ai.robots.txt

A list of AI agents and robots to block.

Python★ 4.2k⑂ 189MIT创建于 2024-03-27最近提交 2026-10-14
中文介绍 · 自动生成

ai.robots.txt 是用 Python 编写的爬虫框架,用于网页抓取与数据采集。

目前累计 4.2k star、189 fork,主要语言为 Python,项目始于 2024 年,采用 MIT 许可。最近状态:近一个月有提交。适合:需要数据采集的开发者。

中文介绍优先采用本站人工维护条目;无维护条目时依据 GitHub 公开字段(语言、主题、星标、提交时间)自动生成,未经项目方确认,不构成选型结论。
一句话解读

ai-robots-txt/ai.robots.txt 是一个以 Python 为主的开源项目,目前累计 4.2k star、189 fork,近 30 天内有提交。主要方向:人工智能、crawlers、crawling、privacy。

依据 GitHub 公开字段(语言、主题、星标、提交时间)自动生成,未经人工逐项核实。
人工智能crawlerscrawlingprivacy

README

正在加载…

相关项目