📰 last30days-cn — 中国平台深度研究引擎
🚀 30 天的研究，30 秒的结果。8 大平台。零过时信息。
last30days-cn 是一个 AI Agent 技能（Skill），能够自动搜索中国互联网 8 大主流平台最近 30 天的内容，综合分析后生成有据可查的研究报告。
🔗 本项目基于 mvanhorn/last30days-skill 进行深度本土化改造，完全面向中国用户和中文互联网平台。
🕷️ v2.0 集成 MediaCrawler 爬虫引擎思路，大幅减少 API Key 依赖。v2.1 修复百度/小红书反爬问题，XHR 拦截替代 DOM 解析，Bing 兜底搜索，已移除无效的 ScrapeCreators 小红书集成。
当前版本：v3.0.0
👤 作者 / Author: Jesse (@Jesseovo)
✨ v3.0.0 升级内容
- 追平原版 v3 的 Agent Skills 包结构：
skills/last30days 现在是可独立安装的运行载荷。
- 中文 CLI 统一使用单入口
last30days.py，根目录和 Skill 载荷保持同名结构。
- 新增
--emit html 和 --emit html-path，可生成离线可打开的 report.html。
- HTML 报告融入 op7418/guizang-ppt-skill 的 Swiss/IKB 视觉语言，适合浏览、归档、打印。
- 小红书和知乎搜索增加空结果兜底说明，失败时会标注已尝试路径与可能原因。
- 根目录
scripts/ 继续保留，方便本地开发和旧路径调用；Agent Skills 安装使用 skills/last30days/scripts 下的自包含载荷。
✅ v3.0.0 质量验证
本次发布前已完成以下质检：
main、origin/main、upgrade/v3-cn-guizang-html、origin/upgrade/v3-cn-guizang-html 均指向同一提交，保留分支但不再产生待合并提示。- 远端发布 tag 统一为
v3.0.0，没有额外 v3 派生 tag。
- 根目录与 Skill 载荷均统一使用
last30days.py 单入口，没有额外入口文件。
- 全量测试通过：
py -m pytest，共 172 passed。
- 根目录入口和 Skill 载荷入口均已验证：
py scripts/last30days.py --diagnose 与 py skills/last30days/scripts/last30days.py --diagnose 均可正常输出平台可用性诊断。
⚠️ 免责声明 / Disclaimer
请务必仔细阅读以下内容。使用本项目即表示您同意以下所有条款。
法律合规声明
- 本项目仅供学习和研究目的。所有爬虫功能仅用于技术学习与研究交流，严禁用于商业用途。
- 使用者必须严格遵守中华人民共和国相关法律法规，包括但不限于：
- 《中华人民共和国网络安全法》
- 《中华人民共和国数据安全法》
- 《中华人民共和国个人信息保护法》
- 《中华人民共和国反不正当竞争法》
- 使用者必须遵守各平台的**服务条款（ToS）**和 robots.txt 规定。
- 禁止将本项目用于以下行为：
- 大规模、高频率地抓取平台数据
- 收集、存储或传播他人个人隐私信息
- 破坏或干扰平台正常运营
- 任何形式的非法数据倒卖或商业牟利
- 对外提供自动化数据采集服务
- 本项目开发者不承担因使用本项目而产生的任何法律责任。用户应自行承担使用本项目的全部法律风险。
- 如有侵权，请联系作者，将在第一时间处理。
技术免责
- 爬虫功能依赖 Playwright 浏览器自动化，模拟正常用户浏览行为，不涉及逆向加密算法或破解安全机制。
- 各平台接口随时可能变更，本项目不保证所有功能始终可用。
- 建议将请求频率控制在合理范围内（如每次搜索间隔 ≥ 5 秒），避免被平台封禁。
💡 爬虫违法违规的案例频发，请务必合法合规使用。
参考：中国爬虫相关法律案例汇总
✨ v2.0 新特性
🆕 v2.0 vs v1.0 对比
| 特性 | v1.0 | v2.0 |
|---|
| 免费可用平台数 | 4 个 | 7 个（安装 Playwright 后） |
| 需要 API Key 的平台 | 微博、小红书、抖音、微信 | 仅微信（其余可用爬虫替代） |
| 数据获取方式 | 仅 API + 公开接口 | API + 爬虫引擎 + 公开接口 |
| 安装难度 | 需配置多个 API Key | pip install playwright 即可 |
| marketplace.json | 缺少 owner 字段（Bug） | ✅ 已修复 |
核心升级
- 集成 MediaCrawler 爬虫引擎 — 基于 Playwright 浏览器自动化，无需逆向加密算法，大幅降低使用门槛
- 7/8 平台零配置可用 — 除微信外，所有平台均可无需 API Key 使用
- 智能降级策略 — API 优先 → 爬虫模式 → 公开接口，三级自动降级
- 修复 Issue #1 — 修复 marketplace.json 缺少 owner 字段导致 Claude Code 安装失败的 bug
- 登录态缓存 — 爬虫模式支持 Cookie 持久化，减少重复登录
📋 平台支持
| 平台 | 模块 | 数据获取方式 | 需要配置 |
|---|
| 🔴 微博 | weibo.py | API / 🕷️爬虫 / 公开接口 | ✅ 爬虫模式无需配置 |
| 📕 小红书 | xiaohongshu.py | API / 🕷️爬虫 / 公开接口 | ✅ 爬虫模式无需配置 |
| 📺 B站 | bilibili.py | 公开 API / 🕷️爬虫备用 | ✅ 无需配置 |
| 💬 知乎 | zhihu.py | 公开搜索 / 🕷️爬虫备用 | ✅ 无需配置 |
| 🎵 抖音 | douyin.py | API / 🕷️爬虫 / 公开接口 | ✅ 爬虫模式无需配置 |
| 💚 微信 | wechat.py | API / 搜狗搜索 | WECHAT_API_KEY（可选） |
| 🔵 百度 | baidu.py | 公开搜索 / API | ✅ 基础搜索无需配置 |
| 📰 头条 | toutiao.py | 公开接口 | ✅ 无需配置 |
🕷️ = 需要安装 Playwright（pip install playwright && playwright install chromium）
🤖 Agent 平台安装
Agent Skills（推荐）
npx skills add Jesseovo/last30days-skill-cn -g
Cursor（推荐）
将项目克隆到 Cursor 技能目录：
git clone https://github.com/Jesseovo/last30days-skill-cn.git
然后在 Cursor 中将 SKILL.md 添加为项目技能。
Claude Code
# 方式一：通过 Agent Skills 安装（推荐）
npx skills add Jesseovo/last30days-skill-cn -g
# 方式二：手动安装
git clone https://github.com/Jesseovo/last30days-skill-cn.git ~/.claude/skills/last30days-cn
OpenClaw / ClawHub
git clone https://github.com/Jesseovo/last30days-skill-cn.git ~/.agents/skills/last30days-cn
Gemini CLI
git clone https://github.com/Jesseovo/last30days-skill-cn.git
# 在 Gemini CLI 中作为扩展加载
通用 Agent
任何支持 Bash / Read / Write 工具的 AI Agent 都可以使用本技能。
⚙️ 配置指南
📍 第一步：安装依赖
pip install jieba
📍 第二步：安装爬虫引擎（推荐，可获取 7/8 平台数据）
pip install playwright
playwright install chromium
安装 Playwright 后，微博、小红书、抖音、B站（备用）、知乎（备用）均可无需 API Key 使用。
📍 第三步：创建配置文件（可选）
如果您希望使用 API 模式获取更稳定的数据，或需要使用微信公众号搜索：
mkdir -p ~/.config/last30days-cn
touch ~/.config/last30days-cn/.env
chmod 600 ~/.config/last30days-cn/.env
Windows（PowerShell）等价： 创建目录与空配置文件可用 New-Item -ItemType Directory -Force -Path "$env:USERPROFILE\.config\last30days-cn" 与 New-Item -ItemType File -Path "$env:USERPROFILE\.config\last30days-cn\.env" -Force。限制 .env 仅当前用户可读写可近似使用 icacls "$env:USERPROFILE\.config\last30days-cn\.env" /inheritance:r /grant:r "$($env:USERNAME):(R,W)"（与 Unix chmod 600 意图相近，权限模型不同）。
编辑 ~/.config/last30days-cn/.env，按需填入 API Key：
