딥러닝 기반 인공지능 언어모델

인공지능 언어모델

• 2003년에 뉴럴 언어모델(Neural Language Models)
• 2013년에는 단순한 언어모델인 워드 임베딩(Word Embeddings) 모델 Word2Vec
• 전이 학습(Transfer Learning) 개념과 함께 2017년에 구글의 트랜스포머
• GPT 시리즈가 차례대로 등장하면서 사전 학습 기반의 딥러닝 인공지능 언어모델(Pretrained Models)이 주류가 됨

언어 모델 유형

• (Language Understanding Model) A model that  pre-learns the context  of words from large amounts of data to understand the grammar and meaning of words contained in input sentences. ex) BERT 
• (Language Generation Model) A model that predicts the next best word for a given word column by pre-learning large amounts of data. ex) GPT
• (Language Understanding and Generation Model) A model that uses a language comprehension model and a language generation model to generate output sentences by understanding input sentences. ex) HyperClova

인공지능 언어모델 평가 메트릭

• ROUGE(Recall-Oriented Understudy for Gisting Evaluation)
• RDASS(Referenceless DAsymmetric Sentence Similarity) Calculate sentence similarity between model -summarized results and human-summarized results, unlike Rouge, Rdass can do this without referring to human-summarized results

N-gram

• 한 단어 이상의 단어 시퀀스를 분석 대상 횟수를 사용하여 단어를 벡터로 표현하는 방법
• N-gram 앞에 N에 따라서 단어 시퀀스를 몇 개의 단어로 구성할 지를 결정
• N=1, 2, 3인 경우Uni-gram, Bi-gram, Tri-gram, N>=4,  4-gram, 5-gram으로 부른다.