Asymptotically exact data augmentation : models and Monte Carlo sampling with applications to Bayesian inference

De nombreuses tâches d'apprentissage statistique et de traitement du signal/de l'image peuvent etre formulees comme des problemes d'inference statistique. Un exemple typique sont les systemes de recommandation qui reposent sur la completion d'une matrice utilisateur/objet partiellement observee, qui peut etre realisee par l'estimation conjointe de facteurs latents et de coefficients d'activation. Plus formellement, l'objet a estimer est generalement defini comme la solution d'un probleme d'optimisation variationnelle ou stochastique. En particulier, dans un cadre bayesien, cette solution est definie comme le minimiseur d'une fonction de cout, appelee fonction de perte a posteriori. Dans le cas simple ou cette fonction est choisie comme quadratique, l'estimateur bayesien est connu pour etre la moyenne a posteriori qui minimise l'erreur quadratique moyenne et qui est definie comme une integrale par rapport a la distribution a posteriori. Dans la plupart des contextes applicatifs du monde reel, le calcul de telles integrales n'est pas simple. Une alternative consiste a utiliser l'integration de Monte Carlo, qui se resume a approximer toute esperance selon la distribution a posteriori par une moyenne empirique impliquant des echantillons generes selon la distribution a posteriori. Cette integration dite de Monte Carlo necessite la disponibilite de schemas algorithmiques efficaces capables de generer des echantillons a partir d'une distribution a posteriori souhaitee. Une vaste litterature consacree a la generation de variables aleatoires a propose divers algorithmes de Monte Carlo. Par exemple, les methodes de Monte Carlo a chaine de Markov (MCMC), dont les exemples particuliers sont le celebre echantillonneur de Gibbs et l'algorithme de Metropolis-Hastings, definissent une large classe d'algorithmes qui permettent de generer une chaine de Markov avec la distribution stationnaire souhaitee. Malgre leur simplicite et leur caractere generique en apparence, les algorithmes MCMC classiques peuvent se reveler inefficaces pour les problemes a grande dimension, distribues et/ou tres structures. L'objectif principal de cette these consiste a introduire de nouveaux modeles et approches MCMC pour pallier ces problemes. L'intractabilite de la distribution a posteriori est abordee en proposant une classe de modeles augmentes approximes mais asymptotiquement exacts (AXDA). Ensuite, deux echantillonneurs de Gibbs ciblant des distributions a posteriori approximees construites dans le cadre AXDA sont proposes et leurs avantages sont illustres sur des problemes difficiles de traitement du signal, de traitement d'images et d'apprentissage statistique. Une etude theorique detaillee du taux de convergence associe a l'un de ces deux echantillonneurs de Gibbs est egalement menee et revele des dependances explicites en ce qui concerne la dimension, le conditionnement du potentiel de la loi de la posterior et de la precision prescrite. Dans ce travail, nous pretons egalement attention a la faisabilite des etapes d'echantillonnage impliquees dans les echantillonneurs de Gibbs proposes. Comme l'une de ces etapes necessite d'echantillonner selon une distribution gaussienne en grande dimension, nous passons en revue et unifions les approches existantes en introduisant un cadre qui s'interprete comme la contrepartie stochastique du celebre algorithme du point proximal. Ce lien fort entre la simulation et l'optimisation n'est pas isole dans cette these. En effet, nous montrons egalement que les echantillonneurs de Gibbs proposes partagent des liens etroits avec les methodes de penalite quadratique et que le cadre AXDA genere une classe de fonctions d'enveloppe liees a celle de Moreau.