GoldE

Architecture des GAN

1) Architecture typique

a) Théorique

Un système de réseau antagoniste génératif (GAN) comprend deux réseaux neuronaux profonds : le réseau générateur et le réseau discriminateur. Comme nous l’avons vu, les deux réseaux s'entraînent dans un jeu contradictoire, où l'un essaie de générer de nouvelles données et l'autre tente de prédire si les résultats sont des données fausses ou réelles [1].

Techniquement, le GAN fonctionne comme suit. Une équation mathématique complexe constitue la base de l'ensemble du processus de calcul, mais il s'agit d'une vue d'ensemble simpliste :

• Le réseau générateur analyse l'ensemble d'entraînement et identifie les attributs des données
• Le réseau discriminateur analyse également les données d'entraînement initiales et fait la distinction entre les attributs de manière indépendante
• Le générateur modifie certains attributs de données en ajoutant du bruit (ou des modifications aléatoires) à certains attributs
• Le générateur transmet les données modifiées au discriminateur
• Le discriminateur calcule la probabilité que la sortie générée appartienne au jeu de données d'origine
• Le discriminateur donne des indications au générateur pour réduire le facteur aléatoire du vecteur de bruit lors du cycle suivant

Le générateur tente de maximiser la probabilité d'erreur du discriminateur, mais le discriminateur essaie de minimiser la probabilité d'erreur. Lors des itérations d'entraînement, le générateur et le discriminateur évoluent et se confrontent continuellement jusqu'à atteindre un état d'équilibre. Dans l'état d'équilibre, le discriminateur ne peut plus reconnaître les données synthétisées. À ce stade, le processus d'entraînement est terminé [1, 2].

Figure 1 - Schéma de fonctionnement d’un réseau antagoniste génératif

b) Formelle

Les réseaux génératifs antagonistes (GAN) [1] forment une famille de réseaux de neurones génératifs capables de capturer la distribution des données.

Les GAN se composent de deux réseaux séparés :

• un générateur $G$, qui à partir d’un code latent tiré aléatoirement produit une observation synthétique;
• un discriminateur $D$, qui reçoit en entrée une observation et la classifie dans l’une des deux catégories suivantes : réelle ou synthétique.

Les deux modèles sont entraînés en opposition : le discriminateur apprend à distinguer les données issues de la véritable distribution de celles produites artificiellement par le générateur, tandis que le générateur apprend à tromper le discriminateur.

Du point de vue du discriminateur, on cherche à maximiser la fonction objectif qui permet de séparer les valeurs du logit de sortie pour les données réelles (sortie positive) des valeurs du logit pour les données synthétiques (sortie négative) :

avec $\widehat{𝐱}=G_{\theta }\left(𝐳\right)$ .

Tandis que, pour le générateur, nous cherchons à minimiser cette quantité. Comme $\theta$ n’intervient que dans le terme de droite, la fonction objectif à minimiser pour le générateur est :

Au bout du compte, l’optimisation du GAN est donc un jeu minimax défini par la fonction objectif :

$$\underset{\theta }{min}\underset{\psi }{max}V(G_{\theta },D_{\psi })=\stackrel{\mathrm{\text{discriminateur}}}{\overbrace{\underset{\mathrm{\text{générateur}}}{\underbrace{{𝔼}_{𝐳\sim p\left(𝐳\right)}[log(1-D_{\varphi }\left(G_{\theta }\left(𝐳\right)\right))]}}+{𝔼}_{𝐱\sim {\mathbf{\text{𝐩}}}_{\mathrm{\text{data}}}}[log{D}_{\varphi }\left(𝐱\right)]}}$$ (1) [3].

c) Algorithme d'optimisation

Le générateur transforme un bruit $z\in 𝒩{(0,1)}^n$ en une observation synthétique $\widehat{𝐱}$ , c’est-à-dire que l’on tire au hasard un code latent selon une loi normale dans l’espace $𝒵$ de dimension $n$ . On pourrait choisir d’autres lois de probabilité (par exemple, une distribution uniforme) mais la loi normale est la plus commune.

L’objectif de $G$ est d’apprendre à tromper le discriminateur, c’est-à-dire produire des observations $\widehat{𝐱}$ telles que $p\left(\widehat{𝐱}\right)=p\left(G\left(𝐳\right)\right)\approx p\left(\widehat{𝐱}\right)$ et donc que la distribution des données synthétiques soit indifférenciable des données réelles.

Le discriminateur classe les observations $\widehat{𝐱}$ en deux catégories : réelles ou artificielles. Sa sortie est constitué d’un seul neurone dont la fonction d’activation est une sigmoïde : $$f\left(x\right)=\frac{1}{1+e^{-x}}$$
qui prend ses valeurs dans l’intervalle $[0,1]$ . Par convention, on étiquette les données réelles avec un score de 1 et les données synthétiques avec un score de 0.

L’optimisation du générateur et du discriminateur s’effectue en alternance. Une itération de l’algorithme d’apprentissage du GAN peut se décrire de la façon suivante :

1. Échantillonner $m$ données réelles $x_1,\dots ,x_m\in 𝒟$
2. Échantillonner $m$ vecteurs de bruit $z_1,\dots ,z_m\sim p_z$
3. Appliquer une itération de descente de gradient sur les paramètres $\theta$ du générateur: $${\nabla }_{\theta }V(G_{\theta },D_{\varphi })=\frac{1}{m}{\nabla }_{\theta }\sum _{i=1}^{m}log(1-D_{\varphi }\left(G_{\theta }\left(z_i\right)\right)$$
4. Appliquer une itération de montée de gradient sur les paramètres $\varphi$ du discriminateur : $${\nabla }_{\varphi }V(G_{\theta },D_{\varphi })=\frac{1}{m}{\nabla }_{\varphi }\sum _{i=1}^m[log{D}_{\varphi }\left(x_i\right)+log(1-D_{\varphi }\left(G_{\theta }\left(z_i\right)\right))]$$

Considérons désormais un générateur $G_{\theta }$ fixé. On optimise alors uniquement le discriminateur $D_{\varphi }$ pour réaliser la classification binaire des observations entre réelles et synthétiques. La fonction objectif à optimiser est donc : $$\underset{\varphi }{max}{\int }_x(p_{\mathrm{\text{réelles}}}\left(x\right)logD\left(x\right)+p_{\mathrm{\text{fausses}}}log(1-D\left(x\right)))dx$$

Cette fonction objectif admet pour maximum : $$D_{\varphi }^{*}:x\to \frac{p_{\mathrm{\text{réelles}}}\left(x\right)}{p_{\mathrm{\text{réelles}}}\left(x\right)+p_{\mathrm{\text{fausses}}}\left(x\right)}$$

La valeur optimale de $V$ est donc : $$\underset{\theta }{min}V(G_{\theta },D^{*})={\int }_x(p_r\left(x\right)log\frac{p_r\left(x\right)}{p_r\left(x\right)+p_f\left(x\right)}+p_f\left(x\right)log\frac{p_f\left(x\right)}{p_r\left(x\right)+p_f\left(x\right)})dx$$

On peut montrer que : $$\underset{\theta }{min}V(G,D^{*})=2D_{\mathrm{\text{JS}}}\left(p_r\left|\right|p_f\right)-2log2$$
où $D_{\mathrm{\text{JS}}}$ est la divergence de Jensen-Shannon, définie par la formule suivante : $$D_{JS}[p_r,p_f]=\frac{1}{2}(D_{KL}[p_r,\frac{p_r+p_f}{2}]+D_{KL}[p_f,\frac{p_r+p_f}{2}])$$ [4].

L’optimisation du générateur revient donc à minimiser la divergence Jensen-Shannon entre la distribution des données réelles $p_r$ et la distribution des données synthétiques $p_f$ .

Dans les réseaux antagonistes, le discriminateur $D$ fait office de test permettant de juger si les deux distributions (réelle et générée par le générateur $G$ ) sont statistiquement différentes. Autrement dit $D$ définit une mesure de distance implicite entre les deux distributions. Le discriminateur tente de maximiser cette distance tandis que le générateur s’efforce de la réduire [3].

2) Variantes

Il existe de nombreuses applications de génération de données en utilisant des GANs et il existe également plusieurs variantes de ce réseau, des versions améliorées ou bien adaptées à des cas bien précis.

a) Conditional GAN

Avec un Conditional GAN, ou cGan, il est possible d’envoyer des informations plus précises, appelées labels de classe, au générateur et au discriminateur pour cadrer leur production de données. Ces informations vont permettre de préciser les données produites par le générateur et le discriminateur, afin qu’ils arrivent plus rapidement au résultat voulu. Les labels vont orienter la production du générateur pour lui permettre de générer des informations plus précises.

Au lieu de produire des images de vêtements, par exemple, il produira des images de pantalons, de vestes, ou de chaussettes selon le label qu’on lui fournit. Du côté du discriminateur, les labels vont permettre au réseau de mieux distinguer les images réelles des fausses images que va lui fournir le générateur. Il gagnera donc en efficacité [5]. Le Conditional Generative Adversarial Network peut-être très utile dans les cas suivants :

La traduction d’image à image : les cGAN permettent notamment de faire évoluer des images en prenant en considération des infos additionnelles, les labels. Le cGan a permis le développement de la méthode Pix2Pix dont certaines applications permettent la reconstruction d’objets à partir des bords, la synthèse de photos à partir de cartes d’étiquettes et la colorisation d’images [6].

La création d’images à partir de texte : grâce au cGAN, il est possible de créer des photos de haute qualité sur la base d’un texte. L’utilisation d’un texte, et la richesse de son vocabulaire, permet de créer des images de synthèse beaucoup plus précises.

La génération de vidéo : en vidéo, le cGan peut également prédire les futures images d’une vidéo sur base d’une sélection d’images précédentes.

La génération de visages : le cGANs peut-être utilisé pour générer des images de visages avec des attributs particuliers, par exemple la couleur des cheveux ou des yeux [7].

Pour ce qui est de la partie formelle, nous disposons parfois d’une information additionnelle $\mathrm{<u>y</u>}$ qui vient s’ajouter à l’observation $\mathrm{<u>x</u>}$ . Cette information peut être l’appartenance à une classe (« chat » ou « chien »), la hauteur d’un accord ou encore les valeurs précédentes d’une séquence. Afin de structurer l’espace latent et de pouvoir contrôler plus finement la génération, il peut être intéressant de conditionner les distributions à cette information.

Concrètement, cela revient donc à s’intéresser à $D(x|y)$ et $G(z|y)$ , c’est-à-dire en remplaçant dans l’équation (1) au jeu minimax:

$$\underset{\theta }{min}\underset{\psi }{max}V(G_{\theta },D_{\psi })=\stackrel{\mathrm{\text{discriminateur}}}{\overbrace{\underset{\mathrm{\text{générateur}}}{\underbrace{{𝔼}_{𝐳\sim p\left(𝐳\mathbf{|}𝐲\right)}[log(1-D_{\varphi }\left(G_{\theta }(𝐳,y)\right))]}}+{𝔼}_{𝐱\sim {\mathbf{\text{𝐩}}}_{\mathrm{\text{data}}}}[log{D}_{\varphi }(𝐱,y)]}}$$ (2).

Cette formulation donne lieu au conditional GAN [8]. En pratique, il suffit de modifier l’architecture du GAN de sorte que:

• Le générateur prenne en entrée à la fois le vecteur $z$ (code latent) et le conditionnement $y$ , par exemple en concaténant les deux variables s’il s’agit de vecteurs;
• Le discriminateur prenne en entrée à la fois une observation $x$ (réelle ou fausse) et le conditionnement $y$ [3].

b) Wasserstein GAN

L’objectif originel du Wasserstein GAN est d’améliorer la stabilité d’apprentissage, de se débarasser de certains problèmes tout en apportant de sérieuses améliorations permettant de faciliter le débuggage et la recherche d’hyper-paramètres [9, 10].

Comparé au discriminant du GAN originel, le Wasserstein GAN offre un meilleur signal d’apprentissage au générateur. Ceci permet à l’entraînement d’être plus stable lorsque le générateur traite des données dans des espaces de très grandes dimensions.

Comme nous venons de le voir, la formulation du GAN introduite par Goodfellow et al. [1] revient implicitement à minimiser une divergence entre la distribution des données réelles et la distribution approchée par le générateur du GAN. Toutefois, la divergence de Jensen-Shannon [4] hérite des inconvénients de la divergence de Kullback-Leibler [11, 12] dont elle est dérivée:

• La divergence KL est nulle lorsque les supports des deux distributions sont disjoints;
• La divergence KL n’est généralement pas différentiable, ni continue.

Mais les divergences ne sont pas les seules fonctions capables de caractériser la dissimilarité entre deux distributions. Il existe au moins deux autres fonctions pouvant servir de distances entre probabilités: la variation totale (dont nous ne parlerons pas) et la distance de Wasserstein (ou Earth-Mover distance) [13]. La distance de Wasserstein entre deux distributions réelles et fausses est obtenue par:

$$W(p_r,p_f)=\underset{\gamma \in \Pi (p_r,p_f)}{inf}{𝔼}_{(x,y)\sim \gamma }[x-y]$$
(3) avec $\Pi (p_r,p_f)$ l’ensemble de toutes les distributions jointes $\gamma (x,y)$ dont les marginales sont égales à $p_r$ et $p_f$ .

Intuitivement, la distribution jointe représente la « masse » qui est transportée de chaque point $x$ vers chaque point $y$ , de sorte que la distribution $p_r$ soit transformée en la distribution $p_f$ . La distance de Wasserstein cherche alors le transport qui minimise le coût de cette transformation. Il s’agit ainsi du transport optimal entre $p_r$ et $p_f$ .

Cette distance est intéressante à deux titres. D’une part, elle croît linéairement avec la distance entre les moyennes des distributions, même si $p_r$ et $p_f$ sont disjointes. D’autre part, elle est continue et même différentiable par rapport aux paramètres $\theta$ de $p_f$ lorsque cette distribution est supposée gaussienne. Cela rend la distance de Wasserstein appropriée pour une optimisation par descente de gradient, par exemple [14].

Cependant, pour trouver le minimum de l’équation (3), il faudrait pouvoir parcourir toutes les distributions conjointes $\Pi (p_r,p_f)$ , ce qui est insoluble. Toutefois, la dualité de la distance de Kantorovich-Rubinstein (ou Wasserstein) nous donne une autre façon de la calculer :

$$W(p_r,p_f)=\frac{1}{K}\underset{\parallel f{\parallel }_L\le K}{sup}{𝔼}_{x\sim p_r}\left[f\left(x\right)\right]-{𝔼}_{x\sim p_f}\left[f\left(x\right)\right]$$
(4) pour $f$ appartenant à l’ensemble des fonctions K-lipschitziennes, c’est-à-dire vérifiant la condition: $$\forall (x_i,x_j),|f\left(x_i\right)-f\left(x_j\right)|\le K|x_i-x_j|.$$

Qu’est-ce que ceci signifie pour les GAN ? Dans notre cas, $p_r$ est la distribution des données réelles ( $x\sim p\left(x\right)$ ) et $p_r$ est la distribution des données synthétiques ( $G\left(z\right),z\sim p\left(z\right)$ ). Notre idée est de chercher les poids du discriminateur $D_{\varphi }$ qui maximise une certaine distance entre $p_r$ et $p_f$ , et les poids du générateur $G_{\theta }$ qui minimise cette même distance.

Supposons que notre discriminateur $D_{\varphi }$ soit contraint au sous-ensemble des fonctions K-lipschitziennes. Alors, d’après (4), une façon de calculer la distance de Wasserstein entre $p_r$ et $p_f$ est de calculer:

$$L(p_r,p_f)=W(p_r,p_f)=\underset{\varphi }{max}{𝔼}_{x\sim p_r}\left[D_{\varphi }\left(x\right)\right]-{𝔼}_{z\sim p\left(z\right)}\left[D_{\varphi }\left(G_{\theta }\left(z\right)\right)\right]$$ (5).

Cette quantité peut être approchée via une estimation sur un batch de $m$ observations :

$$L(p_r,p_f)=\frac{1}{m}[D_{\varphi }\left(x\right)-D_{\varphi }\left(G_{\theta }\left(z\right)\right)]$$

Nous pouvons alors définir le Wasserstein GAN [9] comme le GAN optimisant le jeu minimax :

$$\underset{\theta }{min}\underset{\varphi }{max}\frac{1}{m}[D_{\varphi }\left(x\right)-D_{\varphi }\left(G_{\theta }\left(z\right)\right)]$$
sous réserve que le discriminateur $D_{\varphi }$ soit restreint au cas K-lipschitzien [3].

c) StyleGAN

En Décembre 2018, les chercheurs de Nvidia distribuent une pré-impression d’un logiciel d’accompagnement présentant StyleGAN, un Generative Adversarial Network capable de produire un nombre illimité de faux portraits humains. La plupart de ces derniers étant très convaincants.

En février 2019, l'ingénieur Uber Phillip Wang utilise le logiciel pour créer This Person Does Not Exist, qui crée un nouveau visage à chaque rechargement de page Web [15, 16]. Wang lui-même a exprimé son étonnement, compte tenu du fait que les êtres humains ont évolué pour comprendre spécifiquement les visages humains, de voir que StyleGAN peut néanmoins, de manière compétitive, « séparer toutes les caractéristiques pertinentes (des visages humains) et les recomposer de manière cohérente » [17].

De même, deux professeurs de l'école d'information de l'Université de Washington ont utilisé StyleGAN pour créer Which Face Is Real, qui mettait les visiteurs au défi de faire la différence entre un faux et un vrai visage côte à côte [16]. La faculté a déclaré que l'intention était « d'éduquer le public » sur l'existence de cette technologie afin qu'il puisse s'en méfier, « tout comme finalement la plupart des gens ont été informés que vous pouviez Photoshoper une image » [18].

StyleGAN est une architecture de GAN qui introduit un espace latent intermédiaire, entre l’espace latent du bruit $z$ et l’espace des images $x$ . Cet espace, noté $𝒲$ , est appelé espace des styles [19].

Figure 2 - Comparaison de l’architecture habituelle du générateur dans un GAN convolutif (à gauche) et de l’architecture du générateur dans StyleGAN [19].

Le générateur de StyleGAN introduit un mapping network, un perceptron multi-couche qui transforme le bruit initial $z$ en un vecteur de style $𝐰\in 𝒲$ . Dans le schéma, A désigne une transformation affine apprise et B est une multiplication terme à terme avec un vecteur de mise à l’échelle.

En pratique, StyleGAN utilise un espace de style de dimension 512. Ce vecteur de style est ensuite injecté à chaque couche du générateur $G$ à travers l’opération AdaIN, ou Adaptive Instance Normalization [20]. AdaIN est une couche de normalisation qui applique une transformation affine :

$$AIN({𝐱}_{𝐢},𝐲)={𝐲}_{s,i}\cdot \frac{{𝐱}_{𝐢}-\mu \left({𝐱}_{𝐢}\right)}{\sigma \left({𝐱}_{𝐢}\right)}+{𝐲}_{b,i}$$
où $({𝐲}_{s,i},{𝐲}_{b,i})=A\left({𝐰}_i\right)$ avec $A$ une transformation affine apprise pour la couche considérée, $\mu \left({𝐱}_{𝐢}\right)$ désigne la moyenne de ${𝐱}_{𝐢}$ et $\sigma \left({𝐱}_{𝐢}\right)$ sa variance. Les vecteurs $𝐲=({𝐲}_{s,i},{𝐲}_{b,i})$ sont appelés les styles correspondant au vecteur latent $w$ .

L’avantage de l’espace $𝒲$ par rapport à l’espace latent $𝒵$ est qu’il est obtenu par une transformation non-linéaire et ne suit donc pas forcément une distribution gaussienne. Cela permet ainsi de mieux capter la structure de la distribution des images, qui est généralement fortement multi-modale. En pratique, pour renforcer le rôle des « styles », on combine les vecteurs $y$ obtenus pour différents $x$ durant l’entraînement. Ainsi, les styles ${𝐲}_{s,i},{𝐲}_{b,i}$ seront aléatoirement injectés dans le générateur à la place de ${𝐲}_{s,j},{𝐲}_{b,j}$ et inversement [3].

Références et bibliographie

• [1] Goodfellow, Bengio et Courville, « Generative Adversarial Networks », 2014.
• [2] Luc, Pauline; Couprie, Camille; Chintala, Soumith; Verbeek, Jakob; "Semantic Segmentation using Adversarial Networks". NIPS Workshop on Adversarial Training, Dec, Barcelona, Spain. 2016.
• [3] Nicolas Thome, Clément Rambour, Nicolas Audebert, « RCP 211 – Artificial Intelligence Certificate – Cnam: Réseaux génératifs antagonistes », laboratoire Cédric, 2023.
• [4] Nielsen F. "On the Jensen-Shannon Symmetrization of Distances Relying on Abstract Means". Entropy (Basel). 2019 May 11;21(5):485. doi: 10.3390/e21050485. PMID: 33267199; PMCID: PMC7514974.
• [5] Odena, Augustus; Olah, Christopher; Shlens, Jonathon (July 17, 2017). "Conditional Image Synthesis with Auxiliary Classifier GANs". International Conference on Machine Learning.
• [6] Isola, Phillip; Zhu, Jun-Yan; Zhou, Tinghui; Efros, Alexei A. (2017). "Image-To-Image Translation With Conditional Adversarial Networks". pp. 1125–1134.
• [7] Jérémy Robert, « Qu’est-ce qu’un Conditional Generative Adversarial Network (cGAN) ? », 2022. DataScientest.
• [8] Mehdi Mirza and Simon Osindero. « Conditional Generative Adversarial Nets », November 2014.
• [9] Arjovsky, Martin; Chintala, Soumith; Bottou, Léon, "Wasserstein Generative Adversarial Networks", Conférence internationale sur le Machine Learning, 2017.
• [10] Weng, Lilian. "From GAN to WGAN" (2019).
• [11] S. Kullback, R. A. Leibler "On Information and Sufficiency", The Annals of Mathematical Statistics, Ann. Math. Statist. 22(1), 79-86, (March, 1951).
• [12] Kullback, Solomon (1959), « Information Theory and Statistics », John Wiley & Sons. Republié par Dover Publications en 1968.
• [13] L. V. Kantorovich, (1960) « Mathematical Methods of Organizing and Planning Production ». Management Science 6(4):366-422.
• [14] Rubner, Yossi, Carlo Tomasi and Leonidas J. Guibas. “ A Metric for Distributions with Applications to Image Databases ”. Sixth International Conference on Computer Vision (1998): 59-66.
• [15] msmash, n/a, "'This Person Does Not Exist' Website Uses AI To Create Realistic Yet Horrifying Faces", 2019. Sladshot.
• [16] Fleishman, Glenn, "How to spot the realistic fake people creeping into your timelines", 2019. Fast Company.
• [17] Bishop Katie, AI in the adult industry: porn may soon feature people who don't exist", 2020. The Guardian.
• [18] Vincent James,"Can you tell the difference between a real face and an AI-generated fake?", 2019. The Verge.
• [19] Karras, Tero, Samuli Laine, and Timo Aila. "A style-based generator architecture for generative adversarial networks." In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp. 4401-4410. 2019.
• [20] Huang, Xun, and Serge Belongie. "Arbitrary style transfer in real-time with adaptive instance normalization." In Proceedings of the IEEE international conference on computer vision, pp. 1501-1510. 2017.