• contents

Paper

[MPNet: Masked and Permuted Pre-training for Language Understanding]

1. 핵심 요약

MLM(e.g. BERT)

• $[MASK]$ 토큰들 간의 dependency 파악이 불가능

PLM(e.g. XLNet)

• MLM의 한계는 해결했으나, permuted sequence의 full sentence에 대한 정보가 있지는 않음.

  e.g. $x = [x_1, x_2, x_3, x_4] ,\ z= [3,2,1,4]$ → $[x_3, x_2, x_1, x_4]$

  → $x_1$ 은 $x_4$ 와의 관계를 파악할 수 없음

MPNet = MLM(BERT) + PLM (XLNet)

• 토큰을 non-predicted parts & predicted parts로 나눔
• PLM 사용 : MLM의 dependency 문제 해결
• input으로 모든 토큰의 Position Information을 넣음 ⇒ XLNet의 position discrepancy 해결

2. MPNet

2.1 Background

MLM in BERT

Given Sentence : $x= [x_1, ..., x_n]$

$\kappa$ : A set of masked poisition

A set of masked tokens : $x_{\kappa}$