AI论文评分系统的效果验证研究
摘要。由机构研发的 AI 论文评估工具，现已融入众多考生日常练习流程。用户在完成 essay 或 PT 后可上传作答内容，系统将自动提供结构化反馈，涵盖问题识别、规则准确性、分析深度、写作结构、遗漏点提示、修改意见及预测得分。该系统预计于 2025 年 11 月启用；上线后，用户最关注的并非 AI 是否能生成优美的评语，而是其评分是否贴近真实考试中阅卷人的打分。
幸运的是 California 会对未通过者返还 essay/PT 答卷并公开各题得分，因此可以将 AI 盲评结果与官方成绩逐题对照验证。New York 虽不主动公开，但考生可向 New York Board of Law Examiners 申请获取答卷，因此也能在小样本中进行类似的外部复核。
本报告采用准则效度验证方法，将用户常用的 AI 自动评分与官方 essay/PT 成绩逐题配对，使用平均误差、平均绝对误差、RMSE、5 分容忍区间命中率与相关系数评估评分一致性。
需要特别说明的是：AI 评分时是严格盲评，并未获得真实官方成绩、成绩单或任何由成绩倒推出的校准信息；官方成绩只在 AI 报告生成后用于统计验证。
本评估采用 retrospective paired validation design。每一条观察值由同一篇答卷的官方成绩与 AI 报告得分组成，比较单位为单篇 essay 或 PT，而不是考生总分。该设计直接回答一个教学产品最关心的问题：AI 给出的单篇成绩是否接近真实阅卷结果。
盲测原则。在生成 AI detailed report 时，输入仅包含题号、题目/范文库数据、清理后的考生答卷正文与必要的字数信息；不包含官方成绩、成绩单、PDF 文件名中的成绩、app number 或任何二评信息。官方成绩只在 AI 输出完成后进入统计脚本，用于计算误差。
说明：California 样本来自本地已归档的 February 2026 CA essay/PT 学员答卷与 AI detailed report。New York 样本为单一匿名 UBE 考生的 February 2026 八篇答卷
AI 系统在多数题目上能够稳定复现官方阅卷的分档判断。按 California written score 规则把 PT 计为两倍，官方加权均分为 56.06，AI 加权均分为 54.83，加权偏差仅 -1.23 分，折合 -2.20%。这说明系统在 February 2026 样本上略偏严格，但偏差幅度很小。中位绝对误差为 2.5 分，意味着典型样本只偏离半个 5 分档。
批次效应。February 2026 的结果显示 AI 略低于官方；而在 July 2025 的历史批改观察中，AI 相对官方则出现偏高倾向。两次考试使用的是同一模型逻辑与同一类 detailed prompt，且均为 blind scoring，因此 AI 自身发生单向漂移的可能性较低。更合理的解释是考试批次与官方阅卷尺度存在差异。这一方向性差异与教学团队对 July 2025 加州论文“打分更严”的体感一致。
New York UBE 未通过考生本来就少，事后申请论文并交由我们复核的学员更是只有一名。因此，本节不是成熟统计结论，而是一个有代表性的 hold-out case。对该学员八篇答卷进行 blind scoring 后，AI 对低分 MEE1、MEE2 的判断尚能接近官方 scaled essay score，但对一篇官方高分 MEE4 出现明显低估：官方为 77.35，AI 为 45。按 MEE 每篇 5 分、MPT 每篇 15 分加权后，官方 weighted mean 为 46.98，AI weighted mean 为 40.42，总体低估约 13.96%。
我们随后对最大偏差项进行人工复核，认为问题主要不在于 AI 漏掉了高质量法律分析，而在于阅卷人给一篇质量并不怎么样的 MEE 答卷（MEE 4）赋予了不合理的高分。该答卷虽然覆盖了若干表层结论，但规则精度、分析密度与组织质量均不足以支持 77.35 分这种 AI 甚至被系统 prompt 禁止打出的超高分。去掉这一篇文章后，其他几篇文章AI和人工阅卷互有高低，但平均而言AI给分依然稍低。
对阅卷系统的建议是，可以考虑在目前的评分系统中上浮5分左右以接近考试体验。但在没有更多数据之前，维持目前系统的打分策略到至少 2026 年 7 月，避免学员在 July 2026 的 UBE 考试中过于乐观是更稳妥的选择。
这个结果再次表明，Legacy UBE 的阅卷尺度和通过门槛可能比 California 更友好；对符合报名与转分条件的学员，选报 Illinois、New York 等仍采用 Legacy UBE 的州，可能比直接挑战 California 更具现实通过率优势。具体考试届次、报名资格与转分规则，应以各州官方公告为准。
事实上，AI打分远比真人客观。与其说AI打分不准，不如说阅卷人打分忽高忽低，具有一定的运气成分。系统设计者需要做的仅仅是尽可能接近官方打分，但不可能完美复现。从这一点来说，加州评分系统已经把平均误差降到了1分左右，并且在2025年7月稍高，又在2026年2月稍低，平均分和方差都几乎已经没有了改进的余地。
纽约州目前AI的打分似乎平均偏低，但最大的误差还是人工阅卷的不确定性所致。纽约州的结果提醒我们：Legacy UBE 阅卷可能比 California 更宽，甚至会给文本质量一般的答卷较高分数。符合条件的学员可以严肃考虑 Illinois、New York 等 Legacy UBE 路线。
总而言之，该 AI 论文自动评分系统已经把传统上高度依赖人工经验的论文评估，推进为可盲测、可量化、可复核的教学基础设施，是目前中文加州律师考试备考中少见的高质量、数据驱动型 AI 应用。