KESAR：融合知识推理的古籍图像分割与识别新范式
论文题目：
Knowledge-Enhanced Historical Document Segmentation and Recognition
作者：En-Hao Gao、Yu-Xuan Huang、Wen-Chao Hu、Xin-Hao Zhu、Wang-Zhou Dai
作者单位：南京大学新型软件技术国家重点实验室；南京大学人工智能学院；南京大学智能科学与技术学院
发表会议：The Thirty-Eighth AAAI Conference on Artificial Intelligence，AAAI 2024
发表时间：2024 年 3 月
DOI：10.1609/aaai.v38i8.28683
代码地址：https://github.com/AbductiveLearning/ABL-HD
古籍文献往往面临页面变形、字序密集、污损印章干扰及生僻异体字繁杂等挑战，且字符级标注成本高昂、数据稀缺。鉴于纯数据驱动方法难以有效利用字形特征与排版规律，本文提出 KESAR，融合深度学习与一阶逻辑知识，在弱标注场景下协同优化历史文献的字符分割与文字识别效果。
本文介绍的 KESAR 是一种面向古籍图像分割及识别任务的知识增强学习框架。不同于仅依赖单一神经网络执行文字检测与识别，KESAR 由分割模型、识别模型及知识推理模块构成，并借助溯因学习架构将数据驱动学习与知识驱动推理紧密衔接。
分割模型以整幅古籍图像为输入，对每个像素预测字符主体、字符连接区域及背景三类标签。其中，字符区域定位文字主体，字符连接区域刻画相邻字符间的关联。模型借助分水岭算法整合字符区域像素，将文本行拆解为单字图像，同时利用连接区域将分散字符重组为完整文本行。
识别模型接收经分割模型裁剪的单字图像，进而预测字符类别。由于输入已切分为独立字符，识别任务较整行文字识别更为简便，论文采用轻量级 ResNet 网络实施字符分类。
KESAR 的基石在于溯因学习。给定观测结果 O、背景知识库 KB 及待求解的解释集合Δ，溯因推理旨在寻找一组既符合知识库又足以解释观测结果的假设：
在 KESAR 中，神经网络首先生成字符框或字符类别等伪标签，知识推理模块则依据字形、尺寸及排版规则修正其中不合逻辑的预测。修正后的结果反哺神经网络作为监督信号，构建起“预测—推理—修正—学习”的闭环。
KESAR 的完整训练流程涵盖三个阶段。第一阶段借由字符结构知识强化分割模型；第二阶段通过溯因匹配建立字符图像与标签的对应关系，进而训练识别模型；第三阶段利用识别模型习得的字形知识进一步优化字符分割结果，实现双模型协同优化。
古籍数据通常仅提供文本行级标注，即每行文本的边界框及对应文本内容，但分割模型训练需字符级区域标签。为弥合文本行级标注与字符级监督间的粒度鸿沟，KESAR 利用分割模型生成伪字符框，再依据古籍结构知识对伪框进行修正。
具体而言，每轮训练伊始，分割模型先预测字符区域，并据此提取伪字符边界框。随后，知识库依据文本行标注校验这些字符框是否符合字形、尺寸及排列规律。违背知识规则的字符框将通过溯因推理进行合并、拆分或调整，修正后的框体转换为字符区域标签，用于监督下一轮分割模型训练。
图 1：基于结构知识的分割模型训练流程
作者将中文古籍中的字符结构知识表述为一阶逻辑规则。首条规则指出单个汉字通常趋近方形。当字符框 BBB 的长宽比接近 1 时，可判定其为规则字符框：
在实际修正环节，KESAR 首先合并水平相邻的异常字符框，随后依据文本行宽高识别尺寸异常的字符框，最后利用规则字符框的平均尺寸调整异常结果。
作者未直接通过梯度优化知识一致性，鉴于字符框修正过程具备离散性与非凸性，直接求解计算开销巨大。相反，KESAR 将专家知识转化为一系列明确的字符框处理步骤，确保逻辑知识能稳定参与弱监督分割模型训练。
该策略的优势在于无需为所有古籍图像提供字符级精细标注。模型可从文本行级标注及字符结构规律中逐步获取可靠的字符区域监督，从而缓解古籍字符标注难的问题。
分割模型完成字符提取后，可从文本行图像中生成一组单字图像。然而因分割结果可能存在漏分、过分割或错误合并，预测字符图像数量常与文本行真实字符数不符，故无法直接依位置将每张字符图像与真实标签对应。
例如，某文本行真实含 6 个字符，分割模型可能仅预测出 5 个字符框。若直接按序赋予标签，某一漏分字符将导致后续所有字符图像与标签错位，致使识别模型接收大量错误监督。
为解决此难题，作者提出溯因匹配机制。识别模型首先对分割所得字符图像进行预测，生成预测字符串 PPP；随后，系统将预测字符串与文本行真实字符串 GGG 比对，通过相同字符建立初始匹配关系，再利用序列上下文推断其他字符的对应关系。
溯因匹配率先查找预测序列与真实序列中的相同字符片段，并依据这些可靠匹配点，将对应关系 propagated 至长度相等的中间区间。该方法可处理三种典型情形。
当预测序列与真实序列长度一致时，错误主要