跟着呆板翻译体系的广泛运用，此中的公允性问题日趋突显，也就是说，体系于处置惩罚差别言语、性别、种族、文化等受掩护属性时，可能体现出成见或者不公道。中国科学院软件研究所天基综合信息体系天下重点试验室出格研究助理孙泽宇聚焦可托人工智能的公允性问题，提出了首个旨于检测呆板翻译体系公允性的框架FairMT，近日相干论文被软件项目顶级期刊ACM Transactions on Software Engineering and Methodology (TOSEM)吸收。

研究职员先容，现有的几种关在天然言语处置惩罚公允性的测试要领重要是哄骗使命分类，经由过程输入中变动与公允相干的辞汇来检测输出种别的差异。但当前并无专门为呆板翻译使命设计的公允性测试要领，重要应战于在呆板翻译输出的句子是序列而非单一种别，主动检测两个序列之间的公允性问题，今朝仍是个难题。

为应答这一应战，研究团队提出的FairMT框架起首遵照演变瓜葛，经由过程模板化要领变动触及公允性的相干辞汇，将源内容以及更改内容作为一组输入。随纵然用基在神经收集的语义相似性器量来评估输入所对于应的翻译成果，将患上分低在预约义阈值的测试案例陈诉为具备潜于公允性问题的内容。末了，FairMT用分外的演变瓜葛判定输入中与公允性无关的内容，经由过程变异这些内容再度天生测试输入举行语义相似性器量，终极确认是否存于公允性问题。

研究团队已经于google翻译、T5以及Transformer上使用FairMT要领举行测试，别离检测到至多83二、1984以及2627个公允性问题。进一步的人工评估也证明了检测成果的有用性。研究团队还发明，经常使用主动化翻译品质权衡指标BLEU分数与公允性的相似性器量存于正相干瓜葛，可以证实公允性问题的解决有助在晋升翻译品质。

相干论文信息：https://dl.acm.org/doi/pdf/10.1145/3664608