• content

Abstract

• BERT의 문제점

  • STS task에서 문장이 같은 네트워크에 들어가기 때문에 massive computational overhead 발생

    → BERT : Semantic Search나 unsupervised tasks에 적합하지 않음

• Sentence-BERT(SBERT)

  • siamese and triplet network 구조를 활용한 pre-trained BERT 네트워크
  • 가장 비슷한 similar pairs를 찾는 시간을 시간을 65 hours에서 약 5초로 단축 & accuarcy는 유지
  • sentence embedding methods에서 SOTA outperform

1. Introduction

SBERT: siamese & triplet networks 활용한 modification of the BERT network

→ BERT로 semantic search를 통해 large-scale semantic similarity comparison, clustering, information retrieval 가능

BERT

• Cross-Encoder를 사용하여 두 문장이 transformer network에 들어간 후, target value 예측

→ 하지만, 이는 너무 많은 조합 때문에 pair regression task에 부적합

e.g.1. if n=10000, 10000C2 = 49,995,000 개의 computation을 필요로 함 → V100 GPU로 65시간 걸림

e.g. 2. 40 million questions에서 가장 비슷한 question을 찾는 건 거의 50시간이 걸림

→ 시간이 매우 오래걸리기 때문에 CLS Token과 같이 fixed embedding을 사용하면 이는 문장임베딩의 성능이 오히려 나빠짐

SBERT

• siamese network architecture가 input sentences를 fixed-sized vector로 나오게 해줌
• cosine similarity 를 활용하여 semantically similar sentences 찾음

e.g.1. BERT 65 hours인 반면 SBERT는 5secs 걸림

e.g.2. BERT는 50시간인 반면 SBERT는 few milliseconds

• Fine-Tuning SBERT on NLI data
  • sentence embedding에서 SOTA outperform
  • STS task에서 Infersent보다 11.7% 향상, USE보다 5.5% 향상
  • SentEval에서 각각 2.1%, 2.6% 향상됨
• argument similarity dataset & triplet dataset으로 Wikipedia article의 다른 section의 문장을 구분하는 task 에서 new SOTA