scholar-evaluation

学术评估

使用此技能以可重复的评分标准评估学术或科学作品。

何时使用

• 审查研究论文、提案、论文章节或文献综述。
• 检查声明是否有引用证据支持。
• 评估方法论、研究设计、分析或局限性。
• 比较两篇或多篇论文的质量或相关性。
• 为修订生成结构化反馈。

评估范围

首先识别产物类型：

• 实证研究论文
• 理论论文
• 技术报告
• 系统性或叙述性文献综述
• 研究提案
• 学位论文或论文章节
• 会议摘要或短论文

然后选择范围：

• 全面：所有评分维度
• 定向：一两个维度，如方法或引文
• 比较：对多个作品使用相同评分标准进行排名

评分标准

对每个适用维度从 1 到 5 打分：

• 5：优秀；清晰、严谨、达到发表水平
• 4：良好；需要小幅改进
• 3：合格；有明显差距但可用
• 2：较弱；需要大幅修改
• 1：差；存在重大有效性或清晰度问题

对不适用的维度使用 N/A。

1. 问题和研究问题

• 问题描述是否清晰具体？
• 贡献是否有意义？
• 范围和假设是否明确？
• 问题是否与声称的贡献匹配？

2. 文献和背景

• 是否涵盖了相关的先前工作？
• 是否进行了综合而非仅仅罗列来源？
• 差距是否准确识别？
• 近期和基础性来源是否平衡？

3. 方法论

• 方法是否回答了研究问题？
• 设计选择是否有论证？
• 变量、数据集、参与者或材料描述是否清晰？
• 另一个研究者是否可以重复该工作？
• 伦理和实际约束是否被承认？

4. 数据和证据

• 数据来源是否可信且合适？
• 样本量或语料覆盖是否充足？
• 纳入、排除和预处理决定是否有文档记录？
• 是否讨论了缺失数据和偏见风险？

5. 分析

• 统计、定性或计算方法是否合适？
• 基线和对照组是否公平？
• 是否在需要时包含不确定性、敏感性或稳健性检查？
• 是否考虑了替代解释？

6. 结果和解释

• 结果呈现是否清晰？
• 声明是否控制在证据范围内？
• 图表和指标是否易懂？
• 负面或无效结果是否被诚实处理？

7. 局限性和有效性威胁

• 局限性是否具体而非泛泛？
• 是否涵盖了内部、外部、构念和结论有效性风险？
• 论文是否区分了推测和已证明的结果？

8. 写作和结构

• 论点是否易于跟随？
• 各节是否围绕研究问题组织？
• 定义和符号是否清晰？
• 语调是否精确且学术？

9. 引文

• 引用论文是否支持附带的声明？
• 是否在可能的地方使用了原始来源？
• 综述是否标记为综述？
• 预印本是否标记为预印本？
• 引文元数据和链接是否正确？

审查流程

1. 阅读摘要、引言、图表和结论，了解声称的贡献。
2. 阅读方法和结果，评估证据质量。
3. 将最强声明与引用来源核对。
4. 对每个适用维度打分。
5. 区分关键阻碍问题和修订建议。
6. 以具体的下一步修改结束。

输出模板

# 学术评估：<产物>

## 总体评估

- 总体分数：<1-5 或 N/A>
- 置信度：<高 | 中 | 低>
- 摘要：<3-5 句话>

## 维度评分

| 维度 | 分数 | 证据 | 修订优先级 |
| --- | ---: | --- | --- |
| 问题和研究问题 |  |  |  |
| 文献和背景 |  |  |  |
| 方法论 |  |  |  |
| 数据和证据 |  |  |  |
| 分析 |  |  |  |
| 结果和解释 |  |  |  |
| 局限性 |  |  |  |
| 写作和结构 |  |  |  |
| 引文 |  |  |  |

## 关键问题

## 推荐修订

## 需要的证据检查

常见陷阱

• 不要用分数代替具体反馈。
• 不要因为论文省略了超出其范围的维度而惩罚它。
• 不要将引文数量、发表场所或作者声誉视为质量的证明。
• 不要仅仅因为声明出现在摘要中就接受无支撑的声明。