dharma6872/BERT-introduction.md

## BERT-introduction.md

      
    Raw
  

              BERT-introduction.md
            
          
    버트 모형 소개

버트 모형은 2018년 11월 구글이 공개한 인공지능(AI) 언어 모델로써
기존 자연어 모델의 성능을 가볍게 뛰어넘었으며,
일부 성능 평가에서는 인간보다 더 높은 성능을 기록한 모델입니다.
BERT는 Bidirectional Encoder Representations from Transformers의 약자로
18년 10월 구글에 의해 논문이 공개되었습니다.
버트 모형의 특징은 사전학습, 문맥학습, 파인튜닝을 들 수 있습니다.
사전학습

위키피디아 같은 아주 큰 데이터들을 사용하여 '언어 이해' 모델을 사전학습(Pre-training)한다.
광범위한 데이터로 인간이 살아오면서 체득한 지식과 같이 다양한 데이터를 학습하게 됩니다.
문맥학습1

문장 순서를 학습하여 다음에 나온 문장이 순서에 맞는 문장인지 학습합니다.
=> 문장1: 저 남자는 회사에 출근했다
=> 문장2: 회사에 출근하자마자 저 남자는 커피를 끓여 마셨다. (순서가 맞음)
=> 문장3: 저 여자는 퇴근하려 한다.
=> 문장4: 강아지는 예쁘다. (순서가 틀린 문장)
문맥학습2

양방향으로 학습하여 가려진 단어를 맞춘다.
문장 : 저 남자는 (①)에 출근했다. 회사에 출근하자마자 저 남자는 (②)를 마셨다.
=> ① : 회사 ② : 커피
파인튜닝

이미 사람처럼 광범위한 글을 학습한 인공지능을 기반으로 하여 새로운 과제를 해결하게 됩니다.
이미 기반 지식이 있기 때문에 새로운 것을 쉽고 빠르게 학습할 수 있습니다.
본 실습에서는 네이버 영화 평가 댓글로 긍정 부정인지를 예측하는 버트 모형을 생성해 보겠습니다.