近日，中国科学院软件研究所天基综合信息体系天下重点试验室研究团队提出了一种新奇的提醒进修要领BayesPrompt，该要领经由过程摸索以去偏体式格局类似下流使命的完备练习域，为预练习言语模子提供去歧义引导。相干论文被呆板进修范畴顶级学术集会ICLR 2024吸收。

研究职员以为，进修范式持久存于的问题之一是下流域的练习样本中仅包罗有限且离散的语义信息，没法较好地撑持传统可练习提醒得到充足监视，使患上天生的提醒对于预练习言语模子的引导变患上微乎其微。这个问题致使了预练习言语模子鄙人游域，尤为于少样本场景下机能的降落。

为此，研究团队从漫衍视角从头审阅了预练习言语模子下流推理的道理，以为练习样本的有限会使患上可练习提醒只进修到方针域的有偏漫衍，而有偏漫衍仅包罗部门信息且与方针域的现实漫衍纷歧致，这会惹起协变量偏移问题，从而致使预练习言语模子孕育发生常识歧义。

这次新提出的BayesPrompt旨于举行去偏域笼统，哄骗已经知漫衍来类似下流域的去偏真实漫衍，再从类似漫衍中匀称采样代表性特性以天生对于预练习言语模子（PLMs）的提醒。研究团队经由过程进一步的理论验证，证实了与基准要领比拟，BayesPrompt于预练习言语模子的下流推理上得到了更紧致的分类偏差上界。此外，于少样本数据集设置下的试验成果进一步证实了BayesPrompt的有用性。

相干论文信息：https://arxiv.org/abs/2401.14166

代码地址：https://github.com/FF2127/bayesprompt