1. Abstract & Introduction

Simple Contrastive Sentence Embedding Framework

Unsupervised method

• input을 받고 그 input 자체를 contrastive objective로 예측

⇒ 같은 문장을 Dropout을 applying 한 후 두 번 반복해서 넣음 → 이렇게 나온 2개의 임베딩 = positive pairs

⇒ 다른 sentence(negatives)를 넣고 positive를 다시 한번 predict

• dropout만 사용

⇒ minimal data augmentation 효과

⇒ dropout을 제거하면 representation collapse 생김

Supervised method

NLI 데이터 사용

• entailment pairs : Positive
• contradiction pairs : Negative

성능 증명

(1) alignment between semantically-related positive pairs

(2) improve uniformity

• contrastive learning objective “flattens” the singular value distribution of the sentence embedding space

Evaluation

• STS data로 성능평가