LLM 주요용어 : 창발능력(Emergent Abilities)

1. Emergent abilities of large language models 의 핵심 idea

    : 큰 LLM 모델 학습과정에서 특정 임계치를 넘으면 기존의 작은 LLM 모델에서 발생하지 않았던 새로운 능력이 발현됨
2. 창발능력 개요
  (1) 언어 모델의 확장은 다양한 하위 작업에서의 성능과 샘플 효율성을 예측 가능하게 향상시키는 것으로 나타나짐.

  (2) 작은 언어 모델에서는 나타나지 않지만 큰 모델에서 나타난다면 그 능력을 창발 능력(예측 불가능한 현상)이라고 간주함.

  (3) 창발 능력은 작은 모델의 성능을 단순히 확장해서 추론하는 것만으로는 예측 할 수 없음.

  (4)창발의 존재는 스케일을 더 키우는 것이 언어 모델의 능력을 추가로 확장할 수 있을지의 문제를 제기함.
3. 즉, 많은 경우에서 규모의 효과는 방법론적으로 예측 될 수 있음. 해결하지 못했던 현상이 규모가 커지면서 갑자기 해결하는 현상임. 능력이 작은 모델에는 존재하지 않지만 큰 모델에 존재한다면 그 능력은 창발(emergent)하는 것으로 간주함.
4. 창발(emergence) : 시스템의 양적 변화가 행동의 질적 변화로 이어질때 발생한다는 것.