编程语言预训练模型通过中间代码（如Python opcodes）实现代码表示学习，OpCodeBERT首次利用opcodes编码执行逻辑、注释和源代码，结合两阶段掩码语言模型和多模态对比学习进行预训练，实验验证其在代码搜索、克隆检测等任务中效果优异。 摘要： 近年来，编程 ...