Réimplémentation de Stable Diffusion 3.5 en PyTorch

miniDiffusion est une réimplémentation du modèle Stable Diffusion 3.5 en pure PyTorch, conçue à des fins éducatives et expérimentales.

Le projet met l'accent sur une approche de codage minimal pour recréer Stable Diffusion avec environ 2800 lignes de code.

Les principaux composants incluent des implémentations pour VAE, CLIP, les encodeurs textuels T5, et utilise aussi des tokenizers de type Byte-Pair et Unigram.

La méthodologie comprend un modèle de transformateur de diffusion multi-modal, un planificateur Euler de correspondance de flux, et une implémentation de l'attention conjointe.