분류 전체보기 (15) 썸네일형 리스트형 [입시] 포스텍 인공지능대학원 석사과정 합격 후기 안녕하세요!😆 논문 리뷰 외에는 처음으로 쓰는 글인데요, 저도 준비 과정에서 다른 분들의 합격 후기를 참고하며 큰 도움을 받았던 만큼 조금이나마 보답하고자 글을 남기게 되었습니다.물론 지금은 이미 1차 전형이 끝나고 대부분 컨택 시즌이겠지만..ㅜ 2차를 준비하시거나 내년을 계획하시는 분들께 작게나마 도움이 되기를 바랍니다. 포스텍 관련 후기가 생각보다 많이 없어서, 이 글이 누군가에게는 방향을 잡는 데 도움이 되었으면 좋겠습니다ㅎㅎ 📌 기본 스펙학점: 4.14 / 4.5 (7차 학기 기준)학부: 인서울 중상위권 대학 → 타대 진학전공: 컴퓨터공학과영어 성적: 토익 820점지원 직전에 급하게 본 시험이었으며 대부분의 교수님들께서는 토익 점수를 크게 중요하게 여기시지는 않는 분위기였습니다. (커트라인인 .. LLM 훈련의 핵심, RLHF란 무엇인가? LLaMA2 논문을 읽는 과정에서 RLHF의 개념이 잘 와닿지 않아 Stiennon et al. (2020)의 "Learning to Summarize from Human Feedback" 논문을 바탕으로 RLHF의 기본 구조를 정리했습니다. LLaMA2의 rejection sampling, PPO에 대한 내용은 거의 다루고 있지 않고(추후 논문 리뷰로 다룰 예정..!) 궁금했던 human feedback을 수집하는 과정 및 reward model을 학습하는 과정에 초점을 맞추었습니다. 이에 대해 이해가 되지 않았던 분들에게는 도움이 될 것 같습니다. 하지만 저도 공부하는 과정에서 정리한거라 혹시 오류가 있는 부분이 있다면 댓글로 알려주시면 더 공부하고 수정하겠습니다😄 1. Collect human .. [논문 리뷰] GPT2: Language Models are UnsupervisedMultitask Learners 자연어처리 분야에서 유명한 논문이라고 할 수 있는 GPT2에 대한 논문인 "Language Models are UnsupervisedMultitask Learners"을 리뷰하고자 합니다. 논문은 이곳에서 확인 가능합니다. 본 논문에서 가장 중요하게 생각하는 아이디어는 2가지입니다. Fine-tuning을 하지 않고 진행한다는 것과 zero-shot learning으로 downstream task에 적용해 범용적이 language model을 만드는 것을 목표로 하고 있습니다. GPT1의 모델 구조를 대부분 비슷하게 따라가고 있으며 일부 수정된 부분과 데이터를 새롭게 정의한 부분, BPE를 활용한 부분만 달라졌다고 볼 수 있습니다. 그렇기에 논문은 GPT1과 달라진 부분 3가지를 간단하게 소개하고 각 실.. [논문 구현] Transformer 모델 구현 및 개념 정리 이번에는 NLP 분야에서 가장 유명한 논문이라고 할 수 있는 "Attention is All You Need" 논문의 transformer 모델을 구현해보고자 합니다. 구현의 경우 논문은 내용을 그대로 구현하는 것을 베이스라인으로 하여 최대한 동일하게 구현하고자 하였고 몇몇 막히는 부분은 다른 분들의 티스토리를 참고하였습니다. 참고한 티스토리 링크는 아래 reference에 넣어두겠습니다. 추가적으로 논문을 구현하며 논문에 대해 왜?와 같이 의문을 가졌던 부분은 함께 정리하였습니다. 1. Input Embedding / Output Embedding모델 구조에서 input과 output을 받아 가장 먼저 embedding하는 부분이다.# importing required librariesimport t.. [논문 리뷰] Personalized Top-N Sequential Recommendation viaConvolutional Sequence Embedding 이번에는 convolutional filter를 활용하여 추천시스템의 Top-N sequential 문제를 해결한 Convolutional Sequence Embedding Recommendation Model(Caser) 논문을 리뷰하고자 합니다. 논문의 제목은 "Personalized Top-N Sequential Recommendation viaConvolutional Sequence Embedding"로 이곳에서 확인 가능합니다. Introduction대부분의 추천시스템은 사용자의 최신 아이템에 집중을 하는 대신 사용자의 전반적인 선호도를 활용하여 top-N 추천을 진행했다. Top-N sequential 추천시스템은 사용자의 general preference와 sequential pattern을.. [논문 리뷰] Neural Collaborative Filtering 추천시스템의 implicit feedback을 활용한 Collaborative Filtering에 neural network를 적용한 Neural Collaborative Filtering(NCF) 논문을 리뷰하고자 합니다. 논문의 제목은 "Neural Collaborative Filtering"로 이곳에서 확인 가능합니다. 이 논문은 기존 Matrix Factorization 모델의 inner product 연산을 neural architecture를 활용해 대체하여 user와 item 사이의 interaction을 학습하는 방법을 제안합니다. Abstract본 논문은 implicit feedback을 기본으로 하는 collaborative filtering 모델의 문제점을 해결하고자 neural ne.. [RecSys] Pointwise vs. Pairwise vs. Listwise Learning to Rank 추천시스템에서 활용할 수 있는 데이터는 총 2가지 종류가 있다. 사용자가 특정 아이템에 대한 선호도를 명확하게 표현한 평점 데이터를 나타내는 Explicit Feedback, 그리고 확실한 평점과 같은 데이터는 아니지만 사용자가 검색한 기록 혹은 구매 기록과 같이 선호도를 미세하게 파악할 수 있는 Implicit Feedback이 존재한다. Explicit Feedback의 경우 명화하게 선호도를 얻을 수 있다는 장점이 존재하지만 2가지 단점이 존재한다. 첫번째는 실생활에서의 대부분 상황에서 얻어지는 데이터들은 implicit feedback이 많다는 것이다. Explicit Feedback을 얻기 위해서는 비용이 많이 든다는 단점이 있고 수집하기 어렵다. 두번째로는 관측된 평점 데이터만을 활용해 추천.. [논문 리뷰] AutoRec: Autoencoders Meet Collaborative Filtering 추천시스템의 Collaborative Filtering을 위한 autoencoder framwork인 AutoRec 논문을 리뷰하고자 합니다. 논문의 제목은 "AutoRec: Autoencoders Meet Collaborative Filtering"로 이곳에서 확인 가능합니다. 이 논문은 Movielens와 Netflix 데이터셋에 대해 SOTA를 달성한 CF(biased matrix factorization, RBM-CF, LLORMA)에 비해 compact하고 효율적으로 학습 가능한 모델이라고 AutoRec을 소개한다. 1. IntroductionDeep neural network 모델과 vision, 그리고 speech에서 최근 좋은 성능을 보인 autoencoder를 기본으로 한 새로운 CF 모.. 이전 1 2 다음
