FashionMNIST 데이터셋 이미지 생성 실험 들어가며 목표 - 모델을 활용하여 FashionMNIST 데이터셋의 각 패션 아이템(예: 티셔츠, 바지, 스니커즈 등)을 조건부로 생성하는 작업을 수행 - 각 클래스에 해당하는 이미지를 생성하는 cGAN (Conditional GAN) 모델을 직접 설계, 학습 사용 데이터셋 : 28 x 28의 이미지의 10개의 클래스를 가지고 있는 FashionMNIST 데이터셋클래스 목록 : - T-shirt/top- Trouser- Pullover- Dress- Coat- Sandal- Shirt- Sneaker- Bag- Ankle boot사용 모델 비교 목표- One-Hot Encoding과 Embedding방식의 성능 차이 비교 - GAN과 LDM의 생성 이미..

배경 FashionMNIST 데이터셋으으로 GAN과 LDM모델을 구현하고 성능을 보는 실험을 하고 있었는데, 이미지의 품질을 보기 위해서 FID를 사용했는데, 문제들이 많이 발생했다. 문제1. FID가 1 아래로 나왔다.GAN모델의 경우 상식적인 FID값이 나왔는데, LDM학습을 하다보니 FID값이 1 아래로 나왔다. 직관적으로 말이 안되는 수치였다. 초기학습단계에는 이미지가 노이즈 수준일텐데, 1아래로 나온다는건 왜 그랬을까 ? 원인 FrechetInceptionDistance(feature=64)로 설정했던 것이 문제였다. feature 수가 너무 작으면 실제 이미지와 생성 이미지의 분포 차이를 제대로 잡아내지 못한다는 것을 알게 됐다. # 문제가 된 코드fid = FrechetInceptionDis..

1. AI가 그림을 그린다?최근에 이미지 생성 AI가 떠오름에 따라, 'AI가 그림을 그린다'라는 말이 떠올랐다. AI가 그림을 그린다는 말, 반은 맞고 반은 틀리다. AI는 그림을 그리는게 아니라 데이터로부터 이미지를 생성하는 것이다. 이 차이를 이해하는 것이 이미지 생성 모델을 이해하는 첫번째 키인데, AI는 수억장의 이미지를 학습해 '고양이는 이렇게 생겼다.', '하늘은 이런 색이다'라는 패턴을 통계적으로 학습한다. 그리고 우리가 텍스트를 입력하는 순간, 이미지 생성모델은 그 패턴을 조합해서 존재하지 않았던 이미지를 만들어내곤 한다. 따라서 확률로 그려낸 이미지라는 뜻이다. 그렇다면 이미지 생성 모델은 어떤 것들이 있을까? 2. 이미지 생성 모델1) GAN(Generative Adversarial ..