인공지능 언어모델
- 2003년에 뉴럴 언어모델(Neural Language Models)
- 2013년에는 단순한 언어모델인 워드 임베딩(Word Embeddings) 모델 Word2Vec
- 전이 학습(Transfer Learning) 개념과 함께 2017년에 구글의 트랜스포머
- GPT 시리즈가 차례대로 등장하면서 사전 학습 기반의 딥러닝 인공지능 언어모델(Pretrained Models)이 주류가 됨
언어 모델 유형
- (Language Understanding Model) A model that pre-learns the context of words from large amounts of data to understand the grammar and meaning of words contained in input sentences. ex) BERT
- (Language Generation Model) A model that predicts the next best word for a given word column by pre-learning large amounts of data. ex) GPT
- (Language Understanding and Generation Model) A model that uses a language comprehension model and a language generation model to generate output sentences by understanding input sentences. ex) HyperClova
인공지능 언어모델 평가 메트릭
- ROUGE(Recall-Oriented Understudy for Gisting Evaluation)
- RDASS(Referenceless DAsymmetric Sentence Similarity) Calculate sentence similarity between model -summarized results and human-summarized results, unlike Rouge, Rdass can do this without referring to human-summarized results
N-gram
- 한 단어 이상의 단어 시퀀스를 분석 대상 횟수를 사용하여 단어를 벡터로 표현하는 방법
- N-gram 앞에 N에 따라서 단어 시퀀스를 몇 개의 단어로 구성할 지를 결정
- N=1, 2, 3인 경우Uni-gram, Bi-gram, Tri-gram, N>=4, 4-gram, 5-gram으로 부른다.
'무기체계와 컴퓨터 > 인공지능과 머신러닝 AI Machine Learning' 카테고리의 다른 글
회귀 척도 (0) | 2023.10.02 |
---|---|
분류 메트릭 혼동 행렬 (Confusion Matrix) (0) | 2023.10.02 |
기계 학습 (0) | 2023.09.23 |
인공지능 AI (0) | 2023.09.23 |
이미지 객체 식별 성능 지표 (0) | 2023.09.23 |