[비정형 자료분석]어떻게 해야 기계에게 글을 잘 읽고 말할 수 있게 할까?

 

문서에서 질문에 해당하는 정답을 찾아야한다.서로 상관관계를 찾아주는 역할. 

co-attention 

CBOW : 주변 문맥을 통해서 현재 단어를 예측하는 방법

Skip-gram :현재 단어를 통해서 주변 문맥을 예측하는 방법

 

나는 사과가 좋다. 

CBOW는  나는 ~가 좋다 라는 문장을 통해서 "사과"라는 벡터를 만들어내는 것.

Skip-gram은 :  "사과"를 통해서 나는 ~가 좋다. 라는 문장을 만들어내는 것 --> unsupervised learning을 해서 vector를 만든 것.

CBOW와 학습은 비슷하게 하는데 bigram이 나타나는 확률 등을. 같이 계싼해서 문서 전체로 반영해서 좋은 임베딩이 만들어진다. 

 

 

자질이란? 언어 정보외에 추가적인 정보 

 

RNN만 쓰니까 속도가 느리다. 

Feed forward neraul network만 이용해서 해보자 transformer

각종 인코딩을 사용하자. 질의와 문맥을 잘 알아먹게 할 수 있도록

 

G : 

M : LSTM

Zero-shot learning : 서로 완전 다른 task를 학습해서 서로 붙이기만해도 어느정도 성능이 나온다