• contents

Abstract

• few-shot learning을 이용한 Large LM들이 다양한 NLP tasks에서 높은 성능을 보임 → task-specific training examples의 필요성을 감소시킴

PaLM(Pathways Language Model)

• 540B parameters를 학습시킨 few-shot learning , Transformer Language Model

• “Pathways”를 활용하여 6144 TPU v4 chips 사용

  → multiple TPU pods를 활용하는 새로운 ML system

• 위 모델은 다양한 tasks에서 높은 성능을 보임

  • multi-step reasoning tasks에서 fine-tuning SOTA를 제치고 outperform

  • BIG-bench benchmark에서 average human performance를 outperform

    → 특히 몇몇 tasks에서 discontinuous improvements를 보임

  • multilingual tasks, source code generation에도 높은 성능을 보임

• bias, toxicity에 대한 comprehensive analysis도 제공

• ethical consideration에 대한 내용도 포함

1. Introduction

최근 모델들

• BERT, T5 등의 encoder-only, encoder-decoder architectures 들이 MLM, span corruption 등을 활용하며 NLP tasks에서 좋은 성적을 냄.

위 모델의 한계점

1. model fine-tuning을 위해 상당한 양의 task-specific training examples를 필요로 함

2. task에 맞게 fitting 하는 과정에서 model parameter update가 필요함 → model finetuning & deployment에 complexity를 더함

GPT-3 Model

• few-shot predictions을 사용한 extremely large Autoregressive LMs

  → decoder-only Transformer architecture & standard left-to-right LM objective

• 1. large-scale task specific data collection과 2) model parameter updating 없이도 좋은 성능을 냄

  → BERT, T5 의 한계 해결

Post-GPT3 Model (GLaM, Gopher, Chinchilla, Megatron-Turing NLG, LaMDA)

: 모두 GPT-3 model과 마찬가지로 Transformer Architecture

GPT-3 대비 4가지 improvements

1. Scaling the size

2. increasing the number of tokens

3. training on cleaner datasets

4. increasing model capacity

PaLM