한글 NLP1 까이꺼 인공지능(NLP 자연어 처리 : word2vec, LexRank ) 어쩌다 마흔, 인공지능을 접하다. 3~4년? 전 bert가 나온 뒤부터 NLP 쪽은 무서울 정도로 급격한 성장을 이루고 있다. 최근에는 T5와Big Bird가 많은 관심을 끌고 있다. *NLP 모델의 진화?과정 : (Vec2Vec → Seq2Seq) → BERT → XLNet→ RoBERTa → MT-DNN→ T5 → Big Bird 최근 개인적 관심사는 T5 나 Big Bird과 같은 이 최신 모델에 한글을 적용하는 부분을 테스트하고 있다. 아래는 첫번째로 한글 적용 테스트한 예제이다. 모델은 각각 word2vec, LexRank 를 사용했다. 1. gensim word2vec 알고리즘 알고리즘 요약 단어마다 차례대로 인덱싱을 하여 벡터화 하지 않고, 유사한 단어들을 비슷한 방향과 힘의 벡터를 갖도록 .. 2021. 6. 8. 이전 1 다음
