Wechat article ingest

微信公众号文章处理 Skill

将微信公众号文章转换为 Markdown，生成 A 层观点提取 + B 层问题链，存入知识库。

两种模式

模式 1：直接链接抓取（推荐）

python scripts/fetch_article.py "https://mp.weixin.qq.com/s/xxxxx"

公众号文章 URL 是公开的，不需要登录，直接抓取即可。

模式 2：PDF 提取

python scripts/extract.py "path/to/article.pdf"

适用于通过「笔记同步助手」等工具导出的 PDF。

环境要求

# Python 3.10+
pip install beautifulsoup4 markitdown pymupdf

# 或者用 uv
uv pip install beautifulsoup4 markitdown pymupdf

使用方法

单篇处理（链接）

python scripts/fetch_article.py "https://mp.weixin.qq.com/s/xxxxx" --output ./output

链接模式会尽量保留：

• 标题层级：h1/h2/h3 会转成 Markdown 标题
• 图片：data-src / src 会转成 Markdown 图片引用
• 链接：正文里的 <a> 会转成 Markdown 链接

单篇处理（PDF）

python scripts/extract.py "path/to/article.pdf" --output ./output

A+B 处理（需要 Agent）

帮我处理这篇文章：https://mp.weixin.qq.com/s/xxxxx
提取观点 + 问题链

核心流程

公众号链接/PDF → 提取内容 → A层观点提取 + B层问题链 → 存入知识库

A层：观点提取

生成 观点提取-{作者}-{主题}.md：

• 🔴 支柱观点（P1-P6）：文章最核心的论点
• 🟡 支撑观点（S1-S8）：支撑支柱的论据
• 🟢 延伸观点（E1-E4）：可以延伸思考的方向
• Takeaway：每条含核心观点 + 行动指向

B层：问题链

生成 问题链-{作者}-{主题}.md：

• 3-5 条问题链，每条对应一个核心主题
• 每条链分 L1（安全区）→ L2（边缘区）→ L3（核心区）
• 每条链 6 道问题
• 终局种子：一个带回家的问题

知识库目录结构

知识库/
├── 素材库/
│   └── 公众号文章/
│       └── {公众号名}/
│           └── article.md
└── wiki/
    └── 外部输入/
        └── 公众号/
            └── {公众号名}/
                └── {主题}/
                    ├── 观点提取.md
                    └── 问题链.md

已知限制

• 部分公众号文章有防盗链，可能抓取失败
• 纯图片文章无法提取文字
• MarkItDown 需要 Python ≥ 3.10
• PDF 提取质量取决于原文排版；链接模式比 PDF 模式更能保留图片和链接
• 长文档拆分需要 Agent 判断

参考项目

• microsoft/markitdown - PDF/文档转 Markdown
• pymupdf/PyMuPDF - PDF 处理库
• beautifulsoup4 - HTML 解析

⚖️ 合规声明

仅供个人学习与研究使用。请遵守目标平台的服务条款（ToS）与 robots 规则，控制请求频率，不要用于批量抓取、商用爬取或侵犯他人权益的场景。下载内容的版权归原作者所有。