• content

Abstract

• 기존 NR 모델
  • learned numerical reasoning capabilities를 interpolate
  • BUT training set에 unseen numbers에까지 좋은 성능 X
• 이번 모델
  • key findings : 모델이 unseen numbers를 extrapolate X
  • 해결

    • model input : digit-by-digit numbers 추가

      : E-digit number form

      • extrapolation 부족 완화
      • text에서 number를 다르게 취급해야 한다는 사실을 알아냄

1. Introduction

기존 모델

• to understand the complex context and numbers
• 아무도 test 도중 unseen numbers에 대한 얘기를 다루지 않음

extrapolation 정의

: The ability to extend discrete, symbolic rules such as addition and subtraction on numbers outside : training set의 number가 아닌 data에 특정 규칙을 확장하는 능력

⇒ extrapolation capability의 부족이 number-understanding QA를 일반화하는데 큰 문제점

extrapolation을 해결하기 위한 이전 노력들

: arithmetic word problem (AWP) settings

• 해결 : simple math problems로 instance를 줌 e.g. What is 24 + 5?

• 문제점 : 2개 이상의 supporting facts를 다루지 못함

• AWP

  • numbers are simple, homogeneous type

• DROP

  • multiple or negative numbers를 다루고 & learn question-context relation
  • multiple sentences에서의 추론 & heterogeneous number types (e.g. percentage, cardinal, date )

perturbated version of the DROP evaluation dataset