Abstract

• user, system의 utterance history로 optimal response를 찾는 task

• pre-trained language model이 다양한 NLP tasks에서 좋은 성능을 보이고 있음

  →response selection tasks에서는 이를 dialog–response binary classification tasks로 품

• 위의 방법론은 sequential nature of multi-turn dialog system을 무시

• 위 논문

  • the response selection task 하나는 불충분

    : utterance manipulation strategies (UMS)

    e.g. insertion, deletion, search 등 다양한 방법 제시

    → dialog coherence 유지에 도움이 됨

  • UMS : self-supervised model → existing approaches에 쉽게 통합됨

1. Introduction

• multi-turn response selection in retrieval-based dialog systems

• pre0trained LM 이 발달하며 multi-turn dialog system에도 좋은 성능을 보임

  BUT 3가지 문제점이 존재

  1. Domain Adaptation을 따로 하는 것은 time-consuming & computational cost가 든다

  2. Response Selection을 Binary Classification으로 바꾸는건 모든 intra, inter-utterance & 모든 utterance에 대한 interaction을 표현하는데 불충분

  3. Optimal Response를 선택 시, next utterance 여부를 판단하는것이 아니라 dialog-related response를 선택한다.

  예시)

• 위 논문 (UMS, Utterance Manipulation Strategies)

  1. utterance 사이의 dependencies, semantic matching 학습 가능, dialog coherence 유지

  2. self- supervised methods로 기존 다른 학습에 쉽게 적용 가능

• 정리

  문제 : 기존 모델들은 “next utterance”가 아닌 dialog에 semantically relevant response를 뽑는 경향

  해결 : UMS 는 next utterance 예측에 효율적인 모듈

  결과 : Ubuntu, Douban, and E-commerce에서 SOTA

2. Proposed Method

2-1. Language Models for Response Selection

Pre-trained Language Models : BERT, ELECTRA 사용

Domain-specific Post-training

• Pre-trained 이후 target domain에 맞는 data로 post-training 진행

Training Response Selection Models

• Dialog Dataset

  $D = \{(U_i, r_i, y_i)_{i=1}^N\}$ $U_i :$ Sequence of Utterances(Historical context) $r_i$ : response $y_i$ : label

  • $U_i, r_i$ 에는 $[EOT]$ 토큰 추가

• Dialog Utterance, Response의 Relevance Score

  $g(U,r) = \sigma(W^\top x_{[CLS]} + b)$