Abstract

• KBC tasks에 pre-trained LM 이용
• knowledge graph의 triples를 textual sequence로 인식 → 이러한 triples를 만들기 위해 KG-BERT라는 새로운 framework 제안
  • input : entity, relation description of a triple → computes scoring function of the triple
  • 결과 : triple classification, link prediction, relation prediction tasks에서 SOTA 달성

1. Introduction

Large-Scale knowledge graphs(KG)

: FreeBase, YAGO, WordNet → semantic search, recommendation, QA 등 다양한 task에서 좋은 basis가 됨

KG의 구성

: multi-relational graph

: entities as nodes and relations as edges

→ 각 edge는 triplet으로 구성

triplet: (head entity, relation, tail entity)

e.g., (Steve Jobs, founded, Apple Inc.)

→ 하지만 모든 요소가 다 채워져 있는 것은 아니다 → KBC를 진행하자!

KBC 관련 research

• graph embedding
  • 방법 : triplets에 있는 entity, relation을 real-valued vector로 표현 → 이의 plausibility를 평가
  • 한계 : 관찰된 triple facts에 대한 structure information만을 사용 → sparseness of knowledge graphs 발생
• knowledge representation
  • 다른 트리플에 있는 같은 entity, relation을 unique text embedding을 통해 학습 → contextual information을 무시
  • (예시 이해가 안감,,)

KG-BERT

• pre-trained language models

  : ELMo, GPT, BERT, XLNet 등의 NLP에서 좋은 성과를 냄

  → 이중 BERT가 pre-training bi-directional Transformer encoder + MLM & NSP로 가장 prominent함

• KG-BERT

  • pre-trained LM인 BERT를 이용하여 KBC를 진행하려고 함

  방법론

  1. entities, relations and triples를 textual sequence로 취급

  2. KBC를 sequence classification 문제로 변환함

  3. fine-tune BERT model on these sequences for predicting the plausibility of a triple or a relation

2. Related Work : Knowledge Graph Embedding

: tripe $(h, r, t)$ scoring function에 따라 translational distance model과 semantic matching model로 나뉘어짐

Translational distance model

: distance-based scoring function 사용 → $r$의 translation 이후, $h, t$ 사이의 거리를 계산