Deep Learning
Inductive Bias
Inductive Bias의 정의를 Wikipedia에서 찾아봅시다.
https://en.wikipedia.org/wiki/Inductive_bias
Inductive bias - Wikipedia
From Wikipedia, the free encyclopedia Assumptions for inference in machine learning The inductive bias (also known as learning bias) of a learning algorithm is the set of assumptions that the learner uses to predict outputs of given inputs that it has not
en.wikipedia.org
Inductive Bias는 주어지지 않은 입력에 대해 정확한 예측을 하기위한 가정의 집합을 의미합니다. 쉽게 말해, 일반화 성능을 높이기 위해 추가되는 제약(가정)을 뜻합니다. 예시로 Convolution은 인접한 pixel간의 정보를 추출할수 있기 때문에 local한 영역에 대한 spatial 정보를 잘 뽑아냅니다. 따라서 영상(Vision)에 대한 Inductive Bias가 높다 혹은 강하다고 할수 있습니다.
Generative Models
Generative Adversarial Networks
Mode Collapse
mode collapse란 생성모델에서 모델이 똑같은 이미지만 계속 생성하는 것을 의미합니다. GAN에서 이 문제가 특히 두드러지는데 이는 Discriminator가 Generator에 비해 훨씬 빨리 학습이 완료되어 Generator가 Real한 이미지를 생성하는 것 보다는 Discriminator가 헷갈릴만한 이미지만 생성하게 됩니다. 결국 diversity가 매우 좁은 모델이 될 수 있다는 문제를 가지고 있습니다.
대표적으로 2가지 방법을 통해 이를 해결할 수 있습니다.
- Unrolled GANs
- Wasserstein Loss
https://developers.google.com/machine-learning/gan/problems
일반적인 문제 | Machine Learning | Google for Developers
이 페이지는 Cloud Translation API를 통해 번역되었습니다. Switch to English 의견 보내기 일반적인 문제 컬렉션을 사용해 정리하기 내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요. GAN에는 여러
developers.google.com
Diffusion Models
Why Diffusion Models always use U-Net?
Diffusion Model은 거의 대부분 U-Net 구조를 기반으로 설계됩니다. 이에 대한 의문은 다음을 참고할 수 있습니다.
https://towardsdatascience.com/you-cant-spell-diffusion-without-u-60635f569579
You can’t spell Diffusion without U
Understanding the core building blocks of Stable Diffusion
towardsdatascience.com
https://ai.stackexchange.com/questions/37178/why-diffusion-model-always-use-u-net
Why diffusion model always use U-Net?
I want to know why diffusion models always use U-Net. In my opinion, they use U-Net because you can see features of different resolutions and skip connection is good to add detail of images. But I ...
ai.stackexchange.com