LLM : 편향(Bias)와 할루시네이션(Hallucination)

1. LLM은 다양한 문제와 과제들을 처리할 수 있지만, 편향과 할루시네이션과 같은 문제가 있음
2. 편향(Bias) : 잘못된 상식을 가질 수 있는 것.
  (1) 데이터로부터의 편향 : LLM은 대규모 데이터 셋에서 훈련되기때문에 그 데이터 셋에 내재된 사회적, 문화적 편향을 학습할 수 있음 → 성별, 인종, 지역등에 대한 편견 반영가능성이 높음 ex) 간호사 라는 단어로 여자라고 판단
  (2) 확인편향(Confirmation Bias) : 사용자의 의견이나 선입견을 더 깊게 뿌리 내릴 수 있음. 예를 들어 모델에게 특정 주제에 대한 의견을 물으면 사용자가 원하는 대답을 하려고 하는 경향이 있음
  (3) 편향의 증폭 : 모델이 특정 집단이나 개념에 대한 더 극단적인 또는 편향된 정보를 생성하거나 전달하는 경우 발생
3. 할루시네이션(Hallunation) : 환각. 잘못되거나 없는 것을 사실인것처럼 만듬.
  (1) 정보 부정확성 : LLM은 때로 현실과 다른 부정확한 정보를 생성. 이는 통계적 특성에 기반한 언어 모델의 한계이기 때문.
  (2) 추론 오류 : 모델이 문맥을 정확하지 이해못하여 잘못된 추론을 하는 경우
  (3) 데이터 왜곡 : 모델이 훈련 데이터에 없던 정보를 생성 할 수 있음. 이러한 정보는 현실과 다르며, 이를 믿는 것은 더 위험함
4. 위와 같은 편향과 할루시네이션 등의 문제의식을 가지고 Fine-Tuning 및 모델구축을 진행하는 것이 매우 중요함.