논문 리뷰&구현 (6) 썸네일형 리스트형 [논문 리뷰] GPT2: Language Models are UnsupervisedMultitask Learners 자연어처리 분야에서 유명한 논문이라고 할 수 있는 GPT2에 대한 논문인 "Language Models are UnsupervisedMultitask Learners"을 리뷰하고자 합니다. 논문은 이곳에서 확인 가능합니다. 본 논문에서 가장 중요하게 생각하는 아이디어는 2가지입니다. Fine-tuning을 하지 않고 진행한다는 것과 zero-shot learning으로 downstream task에 적용해 범용적이 language model을 만드는 것을 목표로 하고 있습니다. GPT1의 모델 구조를 대부분 비슷하게 따라가고 있으며 일부 수정된 부분과 데이터를 새롭게 정의한 부분, BPE를 활용한 부분만 달라졌다고 볼 수 있습니다. 그렇기에 논문은 GPT1과 달라진 부분 3가지를 간단하게 소개하고 각 실.. [논문 구현] Transformer 모델 구현 및 개념 정리 이번에는 NLP 분야에서 가장 유명한 논문이라고 할 수 있는 "Attention is All You Need" 논문의 transformer 모델을 구현해보고자 합니다. 구현의 경우 논문은 내용을 그대로 구현하는 것을 베이스라인으로 하여 최대한 동일하게 구현하고자 하였고 몇몇 막히는 부분은 다른 분들의 티스토리를 참고하였습니다. 참고한 티스토리 링크는 아래 reference에 넣어두겠습니다. 추가적으로 논문을 구현하며 논문에 대해 왜?와 같이 의문을 가졌던 부분은 함께 정리하였습니다. 1. Input Embedding / Output Embedding모델 구조에서 input과 output을 받아 가장 먼저 embedding하는 부분이다.# importing required librariesimport t.. [논문 리뷰] Personalized Top-N Sequential Recommendation viaConvolutional Sequence Embedding 이번에는 convolutional filter를 활용하여 추천시스템의 Top-N sequential 문제를 해결한 Convolutional Sequence Embedding Recommendation Model(Caser) 논문을 리뷰하고자 합니다. 논문의 제목은 "Personalized Top-N Sequential Recommendation viaConvolutional Sequence Embedding"로 이곳에서 확인 가능합니다. Introduction대부분의 추천시스템은 사용자의 최신 아이템에 집중을 하는 대신 사용자의 전반적인 선호도를 활용하여 top-N 추천을 진행했다. Top-N sequential 추천시스템은 사용자의 general preference와 sequential pattern을.. [논문 리뷰] Neural Collaborative Filtering 추천시스템의 implicit feedback을 활용한 Collaborative Filtering에 neural network를 적용한 Neural Collaborative Filtering(NCF) 논문을 리뷰하고자 합니다. 논문의 제목은 "Neural Collaborative Filtering"로 이곳에서 확인 가능합니다. 이 논문은 기존 Matrix Factorization 모델의 inner product 연산을 neural architecture를 활용해 대체하여 user와 item 사이의 interaction을 학습하는 방법을 제안합니다. Abstract본 논문은 implicit feedback을 기본으로 하는 collaborative filtering 모델의 문제점을 해결하고자 neural ne.. [논문 리뷰] AutoRec: Autoencoders Meet Collaborative Filtering 추천시스템의 Collaborative Filtering을 위한 autoencoder framwork인 AutoRec 논문을 리뷰하고자 합니다. 논문의 제목은 "AutoRec: Autoencoders Meet Collaborative Filtering"로 이곳에서 확인 가능합니다. 이 논문은 Movielens와 Netflix 데이터셋에 대해 SOTA를 달성한 CF(biased matrix factorization, RBM-CF, LLORMA)에 비해 compact하고 효율적으로 학습 가능한 모델이라고 AutoRec을 소개한다. 1. IntroductionDeep neural network 모델과 vision, 그리고 speech에서 최근 좋은 성능을 보인 autoencoder를 기본으로 한 새로운 CF 모.. [논문 리뷰] Matrix Factorization Techniques For Recommender Systems 추천시스템의 가장 대표적인 모델로 불리우는 Matrix Factorization을 소개한 논문을 리뷰하고자 합니다. 논문의 제목은 "Matrix Factorization Techniques For Recommender Systems"로 이곳에서 확인 가능합니다. 이 논문은 Netflix Prize Competition에서 2007년과 2008년에 1위를 차지한 팀의 방법론을 담은 것입니다. Matrix Factorization에 대한 개념과 추가적으로 성능 향상을 위해 도입한 방법론들에 대해 소개하고 있습니다. Recommender System Strategies추천시스템은 Content Filtering과 Collaborative Filtering 2가지로 나누어진다. Content Filtering.. 이전 1 다음
