Inductive Bias는 주어지지 않은 입력에 대해 정확한 예측을 하기위한 가정의 집합을 의미합니다. 쉽게 말해, 일반화 성능을 높이기 위해 추가되는 제약(가정)을 뜻합니다. 예시로 Convolution은 인접한 pixel간의 정보를 추출할수 있기 때문에 local한 영역에 대한 spatial 정보를 잘 뽑아냅니다. 따라서 영상(Vision)에 대한 Inductive Bias가 높다 혹은 강하다고 할수 있습니다.
Generative Models
Generative Adversarial Networks
Mode Collapse
mode collapse란 생성모델에서 모델이 똑같은 이미지만 계속 생성하는 것을 의미합니다. GAN에서 이 문제가 특히 두드러지는데 이는 Discriminator가 Generator에 비해 훨씬 빨리 학습이 완료되어 Generator가 Real한 이미지를 생성하는 것 보다는 Discriminator가 헷갈릴만한 이미지만 생성하게 됩니다. 결국 diversity가 매우 좁은 모델이 될 수 있다는 문제를 가지고 있습니다.
