2019 후반기 – 2020 상반기 프레젠테이션 정리

Transformer XL   XLNet   ALBERT   Location-Relative Attention Mechanisms for Robust Long-Form Speech Synthesis   PixelCNN & PixelCNN++   Pay Less Attention with Weight and Dynamic Convolution   Be Your Own Teacher   Your Classifier is secretly an Energy-Based Model   Are Transformers universal approximators of sequence-to-sequence functions?   Simple and Effective VAE Training…

우도 모델 학습의 팁

Eric Jang의 튜토리얼을 번역한 게시물입니다. 이 튜토리얼에서는 오토리그레시브 모델이나 정규화 플로우처럼 우도를 직접 최적화하는 생성 모델을 학습시킬 때 많이 사용하는 기법들을 다루겠습니다. 딥러닝을 이용한 생성 모델은 빠르게 성장 중인 분야죠, 그래서 여러 리서치 논문이 공통적으로 사용하는 평가(evaluation)에 대한 기본적인 용어를 초보자도 알기 쉽도록 소개하고자 합니다. 특히 RGB 이미지와 같이 복잡한 분포를 모델링하는 사례에 대해서요. ICML에서…

정규화 플로우 튜토리얼, 파트1: 분포와 행렬식

Eric Jang의 튜토리얼을 번역한 게시물입니다. 정규화 플로우는 생성 모델, 베이지안 딥러닝, 혹은 강화학습을 다루는 머신러닝 전문가라면 배워둘만한 유용한 알고리즘 기술입니다. 정규화 플로우로 (가우시안과 같은) 간단한 밀도를 생성모델, 강화학습, 변분추론에 사용할 수 있는 복잡한 분포로 변환할 수 있기 때문이죠. TensorFlow는 간편하게 플로우를 구현하고 실제 데이터에 대해서 학습시키는 여러가지 편리한 함수를 제공합니다. 이 튜토리얼은 두 파트로 나뉘는데요.…

정규화 플로우 튜토리얼, 파트2: 최신 정규화 플로우

Eric Jang의 튜토리얼을 번역한 게시물입니다. 이전 블로그 포스트에서는, 어떻게 정규화 플로우를 통해 가우시안 같은 간단한 분포를 "변형"하여 복잡한 데이터 분포에 피팅시킬 수 있는지 설명했습니다. 2차원 아핀 Bijector와 비선형 PReLU를 연쇄해서 간단한 플로우를 구현했고, 이로 자그마한 가역 신경망을 만들었습니다. 그렇지만 이 다층 퍼셉트론 플로우는 매우 빈약합니다: 은닉층마다 유닛 두 개 뿐이니까요. 게다가, 비선형 부분은 단조이며, 조각별로…