NewsCrawler

安装 News Extractor 技能

本文档指导 AI 助手（如 Claude Code）将 news-extractor 技能安装到目标项目中。

技能概述

news-extractor 是一个独立可迁移的新闻内容提取技能，支持从 12 个主流新闻平台提取文章内容，输出 JSON 和 Markdown 格式。

支持平台

| 分类 | 平台 | ID | |------|------|----| | 中文 | 微信公众号 | wechat | | 中文 | 今日头条 | toutiao | | 中文 | 网易新闻 | netease | | 中文 | 搜狐新闻 | sohu | | 中文 | 腾讯新闻 | tencent | | 国际 | BBC News | bbc | | 国际 | CNN News | cnn | | 国际 | Twitter/X | twitter | | 国际 | Lenny's Newsletter | lenny | | 国际 | Naver Blog | naver | | 国际 | Detik News | detik | | 国际 | Quora | quora |

安装步骤

1. 克隆技能源仓库

git clone https://github.com/NanmiCoder/NewsCrawler.git

2. 复制技能目录到目标项目

将克隆下来的仓库中 .claude/skills/news-extractor/ 目录复制到你的目标项目：

# 确保目标项目的技能目录存在
mkdir -p <目标项目>/.claude/skills/

# 从克隆的仓库中复制技能
cp -r NewsCrawler/.claude/skills/news-extractor <目标项目>/.claude/skills/news-extractor

3. 安装依赖

前置条件: 需要安装 uv 包管理器。

安装方式: curl -LsSf https://astral.sh/uv/install.sh | sh

cd <目标项目>/.claude/skills/news-extractor
uv sync

4. 验证安装

# 列出支持的平台
uv run scripts/extract_news.py --list-platforms

# 测试提取（使用任意支持平台的 URL）
uv run scripts/extract_news.py "https://www.bbc.com/news/articles/c797qlx93j0o"

5. 清理（可选）

安装完成后可删除克隆的源仓库：

rm -rf NewsCrawler

使用方式

所有命令在 .claude/skills/news-extractor/ 目录下执行：

# 基本提取（自动检测平台，输出 JSON + Markdown）
uv run scripts/extract_news.py "URL"

# 指定输出目录
uv run scripts/extract_news.py "URL" --output ./output

# 仅输出 JSON
uv run scripts/extract_news.py "URL" --format json

# 仅输出 Markdown
uv run scripts/extract_news.py "URL" --format markdown

# Twitter 受保护推文（需要 Cookie）
uv run scripts/extract_news.py "URL" --cookie "auth_token=xxx; ct0=yyy"

目录结构

.claude/skills/news-extractor/
├── SKILL.md                      # 技能定义文件（Claude Code 自动读取）
├── pyproject.toml                # 依赖管理
├── references/
│   └── platform-patterns.md      # 平台 URL 模式说明
└── scripts/
    ├── extract_news.py           # CLI 入口脚本
    ├── models.py                 # 数据模型
    ├── detector.py               # 平台检测
    ├── formatter.py              # Markdown 格式化
    └── crawlers/                 # 爬虫模块
        ├── __init__.py
        ├── base.py               # BaseNewsCrawler 基类
        ├── fetchers.py           # HTTP 获取策略
        ├── wechat.py             # 微信公众号
        ├── toutiao.py            # 今日头条
        ├── netease.py            # 网易新闻
        ├── sohu.py               # 搜狐新闻
        ├── tencent.py            # 腾讯新闻
        ├── bbc.py                # BBC News
        ├── cnn.py                # CNN News
        ├── twitter.py            # Twitter/X
        ├── twitter_client.py     # Twitter API 客户端
        ├── twitter_types.py      # Twitter 数据类型
        ├── lenny.py              # Lenny's Newsletter
        ├── naver.py              # Naver Blog
        ├── detik.py              # Detik News
        └── quora.py              # Quora

依赖说明

| 包名 | 用途 | |------|------| | pydantic | 数据模型验证 | | requests | HTTP 请求 | | curl_cffi | 浏览器模拟抓取 | | tenacity | 重试机制 | | parsel | HTML/XPath 解析 | | demjson3 | 非标准 JSON 解析 |

注意事项

• 所有脚本必须使用 uv run 执行，不要直接用 python
• 技能完全自包含，不依赖外部项目代码
• 微信公众号可能需要有效的 Cookie（默认配置通常可用）
• Twitter 公开推文无需认证，受保护推文需要 auth_token + ct0 Cookie
• 仅用于教育和研究目的，请遵守目标网站的 robots.txt 和服务条款