본문 바로가기

분류 전체보기349

요약 : LLM관련 용어 □ LLM(Large Language Model)로 예를 들면 아래와 같음.애플 태블릿LLM(Large Language Model)아이패드 시리즈GPT 시리즈인기 아이패드 모델Chat GPT다른 브랜드 태플릿Llama, Bard 등 즉, LLM은 모델이며 ChatGPT는 수 많은 LLM의 하나임. □ 주요용어정리용어상황예시Prompt Engineering지시 제대로 하기AI지난 데이터 패턴을 학습하여 결과를 나오게함Model/Foundation Model기본 언어모델로 튜닝 가능함. ChatGPT, Llama 등Pre-traing기본 공교육. API 제공 llm 모델Fine Tuning기본 제공 llm 모델을 커스터마이징하여 실무에 맞게 튜닝. 즉, 직업교육, 연수원과 같은 역할API/serving th.. 2024. 4. 30.
LLM 주요용어 : Temprature 온도 1. 언어 모델에서 다음 토큰의 확률 예측 2. 언어 모델링(language Modelibg)에서 다음 토큰의 예측은 다어 집합(Vocabulary)에 존재하는 단어들에 대한 Softmax Regression 값이 됨3. 온도는 Softmax Regression의 각 토큰이 샘플링 시에 뽑힐 확률을 뾰족하게 만들어 주거나 평평하게 만들어줌   (1) 온도(Temperature) 값이 작을 경우 : 확률값이 높은 토큰의 예측 확률이 증폭. 가장 크럴듯한 토큰이 뽑힐 확률이 높아짐.   (2) 온도(Temperature) 값이 높을 경우 : 모든 토큰의 확률 값이 편평해짐. 더욱 다양성 있는 텍스틑가 생성될 확률이 높아짐.* 온도 수치를 1로 올릴수록 다양하고 중복되지 않는 키워드가 추출되는 것을 확인 할 .. 2024. 4. 28.
LLM 주요용어 : 창발능력(Emergent Abilities) 1. Emergent abilities of large language models 의 핵심 idea    : 큰 LLM 모델 학습과정에서 특정 임계치를 넘으면 기존의 작은 LLM 모델에서 발생하지 않았던 새로운 능력이 발현됨2. 창발능력 개요   (1) 언어 모델의 확장은 다양한 하위 작업에서의 성능과 샘플 효율성을 예측 가능하게 향상시키는 것으로 나타나짐.  (2) 작은 언어 모델에서는 나타나지 않지만 큰 모델에서 나타난다면 그 능력을 창발 능력(예측 불가능한 현상)이라고 간주함.  (3) 창발 능력은 작은 모델의 성능을 단순히 확장해서 추론하는 것만으로는 예측 할 수 없음.  (4)창발의 존재는 스케일을 더 키우는 것이 언어 모델의 능력을 추가로 확장할 수 있을지의 문제를 제기함. 3. 즉, 많은 .. 2024. 4. 28.
LLM 주요용어 : In-context learning 1. Zero-Shot : 프롬프트에 추가적인 설명예제없이 바로 문제를 해결하려는 세팅 2. One-Shot : 프롬프트에 추가적인 설명 예제 1개와 함께 문제를 해결하려는 세팅 3. Few-Shot : 프롬프트에 추가적인 설명예제 n개와 함께 문제를 해결하려는 세팅 4. 추가적인 Fine-Tuning 없이도 In-Context Learning 만으로 원하는 결과를 얻는 것이 가능해짐. 어떻게 프롬프트를 작성하면 LLM에게서 더 효과적으로 정보를 얻어내는 프롬프트를 작성할 수 있는지를 연구하는 프롬프트 엔지니어링(Prompt-Engineering) 기법이 활발히 연구되기 시작함. 2024. 4. 28.
LLM 주요용어 : 토큰(Token) 1. 텍스트를 구성하는 개별 단위 의미. ex) 나는 학교에 간다 → 나는, 학교에, 간다 토큰으로 나눌 수 있음.2. 토큰화(Tokenization) : 주어진 텍스트를 개별 토큰들로 분리하는 과정을 의미. 토큰화 기준은 주로 공백, 구두점, 특수문자등을 기준으로 함. 한국어에서는 현태소 분석을 통해 토큰화 수행.3. 토큰 종류    (1) 단어 토큰    (2) 문장 토큰    (3) 문단 토큰    (4) 형태소 토큰 : 언어의 의미를 가진 가장 작은 단위. 한국어의 경우 "가다"를 "가"와 "다"로 분리. 4. 토큰화의 중요성 : 대부분의 NLP 작업에서 원시 텍스트를 직접 다루기보다는 텍스트를 토큰화하여 각 토큰을 기반으로 처리. 이는 문장이나 텍스트의 구조와 의미를 파악하는 데 도움을 줌. 또.. 2024. 4. 28.
LLM : 편향(Bias)와 할루시네이션(Hallucination) 1. LLM은 다양한 문제와 과제들을 처리할 수 있지만, 편향과 할루시네이션과 같은 문제가 있음 2. 편향(Bias) : 잘못된 상식을 가질 수 있는 것.  (1) 데이터로부터의 편향 : LLM은 대규모 데이터 셋에서 훈련되기때문에 그 데이터 셋에 내재된 사회적, 문화적 편향을 학습할 수 있음 → 성별, 인종, 지역등에 대한 편견 반영가능성이 높음 ex) 간호사 라는 단어로 여자라고 판단   (2) 확인편향(Confirmation Bias) : 사용자의 의견이나 선입견을 더 깊게 뿌리 내릴 수 있음. 예를 들어 모델에게 특정 주제에 대한 의견을 물으면 사용자가 원하는 대답을 하려고 하는 경향이 있음   (3) 편향의 증폭 : 모델이 특정 집단이나 개념에 대한 더 극단적인 또는 편향된 정보를 생성하거나 전.. 2024. 4. 28.
LLM(Large Language Model) 1. 대규모 데이터 세트에서 훈련된 인공지능 언어 2. 자연어처리(NLP : Natural Language Processing ) : 텍스트 생성, 분류, 번역, 질문응답, 감정 분석 등 수백만개 이상의 매개변수를 가지고있음 3. LLM을 위해 대규모 텍스트 데이터와 대규모 컴퓨팅 리소스가 필요함 4. 대부분의 LLM 은 트랜스포머(Transformer) 딥러닝 모델을 사용함 5. LLM 학습 기본원리 : 언어모델(Language Model)은 다음에 올 단어가 무엇인지 예측하는 것임. 6. 파운데이션 모델(Foundatation Model) : OpenAI(GPT-1~4), META/FaceBook(Llama1~2), Google(PaLM) 7. 우발상황 및 문제 발언/논란이 발생하지 않도록 Reuin.. 2024. 4. 28.
CSRF_TOKEN 과 DB 입출력 □ 장고는 CSRF (Cross Site Request Forgery)와 위조방지를 위해 자체적으로 토큰을 발행하는데 이를 CSRF_TOKEN 이라고 함. □ 반드시 데이터를 요청할 때, 즉, 사용자의 request가 발생하면 이와 함께 CSRTF_TOKEN을 함께 보내어 위조를 방지함. □ 보통은 템플릿 상의 Form 태그 내에 {% crtf_token %} 이라고 코딩함. {% csrf_token %} □ 토큰을 바탕으로 장고 프레임워크에서는 자동으로 유효성 검증 후 적절한 View를 연결함. Onememo Form {% csrf_token %} 한줄메모 이름 이메일 등록 □ Html 코드를 보면 memo, name, email을 입력받는 form 태그 네임을 memowriteform으로 지정했음. .. 2024. 4. 15.
SQLite 를 활용한 DB 조회 □ https://sqlite.org/download.html 접속하여 환경에 맞는 파일 다운. □ 압축을 푼후 db.sqlite3 또는 sqlite3.exe 파일을 프로젝트 폴더 안에 위치. . □ cmd 명령어 python manage.py dbshell □ 테이블 목록조회 .table □ 앱의 models.py에서 지정한 객체명을 활용한 테이블명 조회. ex) hello라는 앱을 생성 후 models.py에서 테이블 객체를 abc_tb 로 정의 했다면, 테이블명은 'hello_abc_tb' 임. 2024. 4. 15.

티스토리툴바