• contents

[SpanBERT : Improving Pretraining by Representing and Predicting Spans]

1. Introduction

[BERT]

• BERT의 기존 MLM 방법은 individual word나 subword 단위에서 강력한 성능
• 2개 이상의 span(범위) 간의 관계를 추론하는 question answering, coreference resolution과 같은 NLP task들이 존재

[SpanBERT]

• span-level pre-training 방법

  (1) 개별 token을 masking하지 않고 contiguous random span을 masking

  (2) span boundary objective를 사용하여 boundary token을 이용해 masking된 전체 span을 예측

  → boundary token에 span-level 정보가 저장되어 있어 fine-tuning시에도 쉽게 접근

  (3) NSP를 사용하지 않고 single segment 사용

  → BERT와 비교하여 다양한 downstream task에서 BERT를 능가하는 성능

*BERT 설명 생략

BERT

2. Model

BERT와 3가지 점이 달라짐

2.1 Span Masking

• token으로 구성된 sequence $X=(x_1,…,x_n)$ 가 주어지면 text span을 반복적으로 샘플링하여 token $Y⊆X$를 선택 → masking budget이 사용될때까지(e.g. 15% of X)

(1) 각 반복마다 geometric distribution  $ℓ∼Geo(p)$를 통해 span length를 샘플링

→ 이 분포는 더 짧은 스팬으로 편향된다.(skewed)

(2) 이후 span의 시작점을 random하게 선택

• 예비 시험에서 p=0.2로 설정하고 $ℓ_{max} = 10에$서 $ℓ$를 clip.
• 이것은 $ℓˉ=3.8$ 의 평균 span 길이를 반환
• 또한 subword token이 아닌 complete word로 span 길이를 측정하여 mask 범위를 더 길게 만든다.
• 그림2는 span mask 길이의 분포를 보여준다.