Paper review

Paper Summary & Review Skill

功能描述

对学术论文进行深度总结和多维度评估，生成结构化的 summary.md 和 scores.md。

论文去重检查流程

步骤0: 检查论文是否已评估

在开始评估前，必须先检查论文是否已被评估：

# 检查已评估论文列表
cat workspace/papers/evaluated_papers.json

去重策略：

1. arXiv ID 去重：唯一标识，如果 arXiv ID 已存在，跳过评估
2. 标题完全匹配去重：同一论文的不同版本
3. 标准化标题匹配：保留版本标识符（++、-2、-3等），避免系列论文误判

重要说明：

• Transolver、Transolver++、Transolver-3 是三篇不同的论文
• 版本标识符（++、-数字）不会被移除，避免误判

如果论文已存在：

• 输出提示：论文 [标题] (arXiv: [ID]) 已于 [日期] 评估，跳过重复评估
• 不执行后续步骤

如果论文未评估：

• 继续执行数据获取流程
• 评估完成后，将论文信息添加到 evaluated_papers.json

数据获取流程

核心原则

Semantic Scholar 数据只允许调用一次。 后续所有评分计算必须基于第一次获取的数据。 禁止在影响力计算阶段再次调用 API。

Semantic Scholar 数据集成

在进行论文评估前，必须先通过 Semantic Scholar API 获取完整metadata，包含准确的引用数据和作者信息：

步骤1: 获取论文数据

# 通过 arXiv ID 获取（推荐，最准确）
python skills/semantic-scholar/semantic_scholar_api.py paper-by-arxiv "arxiv-id" --format json > metadata.json

# 通过标题搜索
python skills/semantic-scholar/semantic_scholar_api.py paper-by-title "paper-title" --format json > metadata.json

输出要求

必须保存为：metadata.json

该文件将作为后续所有评分计算的唯一数据来源

步骤2: 从 metadata.json 提取字段

必须提取以下字段：

字段	用途	说明
citationCount	影响力评估	论文被引用次数
publicationDate	Date-Citation计算	论文发表日期
year	论文年龄计算	发表年份
authors	作者影响力	作者列表和ID
venue / journal	发表场所评估	会议/期刊名称
openAccessPdf.url	PDF下载	开放获取链接

步骤3: 写入 summary.md 基本信息

将获取的数据记录到 summary.md 的基本信息部分：

## 基本信息
- **标题**: [论文标题]
- **作者**: [作者列表]
- **发表时间**: ...
- **arXiv ID**: ...
- **Semantic Scholar ID**: ...
- **引用数量**: number (截至 当前日期)
- **发表场所**: ...
- **PDF路径**: [本地PDF路径]
- **检索日期**: [当前日期]

论文总结模板

summary.md 模板

## 基本信息
...

## 1. 论文试图解决什么问题？

[描述论文研究的核心问题，包括问题背景、挑战和重要性]

## 2. 这是一个新问题吗？以前的研究工作有没有解决相同或类似的问题？

[分析问题的历史背景，对比现有工作，说明本文的创新点]

## 3. 这篇文章要验证一个什么科学假设？

[明确论文的核心假设或研究问题]

## 4. 有哪些相关研究？如何归类？谁是这一课题在领域内值得关注的研究员？

[文献综述，分类介绍相关工作，列出关键研究者]

### 相关研究分类
1. **类别A**: [相关工作]
2. **类别B**: [相关工作]
3. **类别C**: [相关工作]

### 关键研究者
- [研究者姓名] - [机构] - [主要贡献]

## 5. 论文中提到的解决方案之关键是什么？

### 核心方法
[描述方法的整体架构和关键创新]

### 技术细节
[关键技术点，数学公式用 LaTeX 格式]

### 算法流程
[算法步骤或模型架构]

## 6. 论文中的实验是如何设计的？

### 数据集
[描述使用的数据集]

### 实验设置
[实验参数、基线方法、评估指标]

### 对比实验
[与现有方法的对比]

## 7. 用于定量评估的数据集是什么？代码有没有开源？

### 数据集详情
- **数据集名称**: [名称]
- **数据规模**: [样本数量]
- **数据特征**: [特征描述]

### 开源情况
- **代码仓库**: [GitHub 链接或 "未开源"]
- **数据可用性**: [是否公开]

## 8. 论文中的实验及结果有没有很好地支持需要验证的科学假设？

[分析实验结果是否充分验证了假设，指出优势与不足]

## 9. 这篇论文到底有什么贡献？

### 主要贡献
1. [贡献1]
2. [贡献2]
3. [贡献3]

### 局限性
1. [局限1]
2. [局限2]

## 10. 下一步怎么做？有什么工作可以继续深入？

### 潜在研究方向
1. [方向1]
2. [方向2]
3. [方向3]

### 改进建议
[对方法的改进建议]

---

## 潜在弱点 (Pitfalls)

1. **[弱点类型]**: [详细描述]
2. **[弱点类型]**: [详细描述]

## 实施难点

1. **[难点类型]**: [详细描述]
2. **[难点类型]**: [详细描述]

---

*总结生成时间: [时间戳]*
*生成工具: Surrogate-Modeling Expert Agent*

论文评估模板

scores.md 模板

# 论文评估报告

## 论文信息
- **标题**: [论文标题]
- **发表日期**: [YYYY-MM-DD]
- **Semantic Scholar ID**: [论文ID]
- **引用数量**: [数量] (来源: Semantic Scholar, 查询日期: [日期])
- **引用密度**: [引用数/月数] 次/月
- **发表场所**: [会议/期刊名称]
- **评估日期**: [日期]
- **评估者**: Surrogate-Modeling Expert Agent

---

## 评分维度

### 1. 工程应用价值 (Engineering Application)

**评分**: [1-10]

**评分理由**:
[详细说明论文在工程应用方面的价值]

---

### 2. 网络架构创新 (Architecture Innovation)

**评分**: [1-10]

**评分理由**:
[详细说明论文在网络架构设计方面的创新]

---

### 3. 理论贡献 (Theoretical Contribution)

**评分**: [1-10]

**评分理由**:
[详细说明论文在算子学习、神经算子、PDE求解等领域的数学理论贡献]

---

### 4. 结果可靠性 (Reliability)

**评分**: [1-10]

**评分理由**:
[详细说明实验设计严谨性、可复现性、结果支持度]

---

### 5. 影响力评分 (Impact Score)

**原始影响力评分**: [1-10]

**论文年龄**: [X个月]

**引用密度**: [X次/月]

**Date-Citation 调整因子**: [调整值] (计算过程: [详细说明])

**调整后影响力评分**: [调整后分数]

**评分理由**:
[详细说明科研/应用价值，与业界前沿对比，并解释date-citation调整]

---

## 综合评价

### 四维基础评分: [工程应用 + 架构创新 + 理论贡献 + 可靠性] / 4 = [平均分]

### 影响力评分: [调整后影响力评分]

### 最终综合评分: [四维基础评分 × 0.9 + 影响力评分 × 0.1] = [最终分数]

**推荐等级**: 
- [ ] 强烈推荐 (9-10分)
- [ ] 推荐 (7-8分)
- [ ] 一般 (5-6分)
- [ ] 不推荐 (1-4分)

### 一句话总结
[用一句话概括论文的核心价值和问题]

### 适用场景
[说明该论文适合的应用场景]

### 不适用场景
[说明该论文不适合的应用场景]

---

*评估生成时间: [时间戳]*

评估完成后的操作

更新已评估论文列表

评估完成后，必须使用以下命令安全地更新 evaluated_papers.json（已处理并发锁和去重检查）：

python skills/paper-review/scripts/update_registry.py \
  --id "[arXiv ID]" \
  --title "[完整论文标题]" \
  --short_title "[简短标题]" \
  --score "[最终评分]"

示例：

python skills/paper-review/scripts/update_registry.py \
  --id "2401.12345" \
  --title "Geometry-Aware Neural Operator for 3D Mesh" \
  --short_title "GANO-3D" \
  --score "8.25"

注意事项：

• 脚本会自动检查论文是否已存在（基于 arXiv ID 和标题去重）
• 使用文件锁防止并发写入冲突
• 如果论文已存在，会跳过并提示

评分标准详细说明

工程应用价值评分标准

分数	描述
9-10	解决重大工业问题，有完整工业级验证，可直接部署应用
7-8	解决实际工程问题，有较好的实验验证，有明确应用前景
5-6	有一定工程价值，但验证有限或应用场景较窄
3-4	工程价值有限，主要是方法验证，缺乏实际应用
1-2	纯理论研究，无工程应用价值

网络架构创新评分标准

分数	描述
9-10	提出全新架构范式，开创性设计，可能引领新方向
7-8	显著架构创新，重要模块或机制创新，优于现有架构
5-6	有一定创新，在现有架构基础上有改进
3-4	微小创新，主要是现有架构的组合或微调
1-2	缺乏架构创新，直接应用现有架构

理论贡献评分标准

分数	描述
9-10	提出新的数学框架、证明重要定理、建立新的理论连接，具有开创性理论贡献
7-8	对现有理论有重要深化，提供新的理论洞察，改进理论边界
5-6	有一定理论分析，但深度有限
3-4	理论分析较浅，主要是引用现有理论
1-2	缺乏理论分析，纯实验验证

结果可靠性评分标准

分数	描述
9-10	实验严谨，代码和数据完全开源，结果可完全复现
7-8	实验设计合理，代码或数据部分开源，结果基本可信
5-6	实验基本合理，缺乏开源支持，结果有待验证
3-4	实验设计有缺陷，缺乏开源支持，结果存疑
1-2	实验设计有问题，结果不可信

影响力评分标准与 Date-Citation 权衡机制

基础影响力评分标准

分数	描述
9-10	解决重大问题，具有广泛科研和应用价值，显著超越业界前沿
7-8	解决重要问题，有明确应用价值，达到或略超业界前沿
5-6	解决一般问题，有一定应用价值，接近业界水平
3-4	问题价值有限，应用前景不明确
1-2	问题价值很小，缺乏应用前景

Date-Citation 权衡机制

设计目标：公平对比不同发表时间论文的影响力

调整规则：

论文年龄	引用情况	调整因子
≤ 3个月	-	+0.2
3-24个月	引用数 ≥ 50	+0.5
3-24个月	引用数 20-49	+0.3
3-24个月	引用数 10-19	+0.2
3-24个月	引用数 < 10	+0.1
> 24个月	引用数 ≥ 200	+0.5
> 24个月	引用数 100-199	+0.4
> 24个月	引用数 50-99	+0.3
> 24个月	引用数 20-49	+0.2
> 24个月	引用数 < 20	+0.0

引用密度奖励（适用于所有年龄段）：

• 引用密度 ≥ 10次/月：额外 +0.2
• 引用密度 5-10次/月：额外 +0.1

调整因子上限：+1.0（最终影响力评分不超过10分）