ViT
1.[AI] ViT(Vision Transformer)_ Surrogate Gap Minimization (6/6)
최근 제안된 Sharpness-Aware Minimization(SAM)은 파라미터 공간에 있는 최대 손실을 perturbed loss 를 최소화하도록 일반화하도록 개선되었다. 그러나, sharp & flat minima는 낮은 perturbed loss를 보이며, S
2.[AI] ViT(Vision Transformer)_ LiT (5/6)
AI LiT: Zero-Shot Transfer with Locked-image text Tuning [5] 이 논문은 constrastive-tuning이라는 간단한 방법을 활용한다. constrastive(대조적인) training을 통해서 이미지와 텍스트 모델
3.[AI] ViT(Vision Transformer)_ When Vision Transformers Outperform ResNets (4/6)
When Vision Transformers Outperform ResNets without Pretraining or Strong Data Augmentations [4] 이 논문은 ViT가 어떻게 Pretraining(사전학습)이나 strong data augm
4.[AI] ViT(Vision Transformer)_ How to train your ViT? (3/6)
How to train your ViT? Data, Augmentation, and Regularization in Vision Transformers [3] _ MLP-Mixer (2/6)
### MLP-Mixer: An all-MLP Architecture for Vision[2] _ ViT (1/6)
AI Vision Transformer(ViT)[1] AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE\Alexey Dosovitskiy, et al_ Transformer는 NLP의