LLM(Large Language Model)

1. 대규모 데이터 세트에서 훈련된 인공지능 언어
2. 자연어처리(NLP : Natural Language Processing ) : 텍스트 생성, 분류, 번역, 질문응답, 감정 분석 등 수백만개 이상의 매개변수를 가지고있음
3. LLM을 위해 대규모 텍스트 데이터와 대규모 컴퓨팅 리소스가 필요함
4. 대부분의 LLM 은 트랜스포머(Transformer) 딥러닝 모델을 사용함
5. LLM 학습 기본원리 : 언어모델(Language Model)은 다음에 올 단어가 무엇인지 예측하는 것임.
6. 파운데이션 모델(Foundatation Model) : OpenAI(GPT-1~4), META/FaceBook(Llama1~2), Google(PaLM)
7. 우발상황 및 문제 발언/논란이 발생하지 않도록 Reuinforcement Learning from Human Feedback(RLHF) 파인튜닝(Fine-Tuning)을 통해 파운데이션 모델을 상품화. 즉, 사람이 선호하는 응답을 유도하는 작업.