Vous êtes ici : Accueil » Réunions » Réunion

Identification

Identifiant: 
Mot de passe : 

Mot de passe oublié ?
Détails d'identification oubliés ?

Apprentissage de représentations et traitement du signal

Nous vous rappelons que, afin de garantir l'accès de tous les inscrits aux salles de réunion, l'inscription aux réunions est gratuite mais obligatoire.

Inscriptions closes à cette réunion.

Inscriptions

35 personnes membres du GdR ISIS, et 9 personnes non membres du GdR, sont inscrits à cette réunion.
Capacité de la salle : 50 personnes.

Instructions pour une demande de mission par le GdR ISIS

Le GdR ISIS prend en charge les déplacements des organisateurs des réunions et des orateurs. Le GdR prend aussi en charge les déplacements des participants aux réunions membres d'un laboratoire adhérent du GdR dans la limite d'un doctorant et d'un permanent par laboratoire académique et par réunion, ou d'une personne par adhérent du club des partenaires et par réunion.

La plus grande partie du budget du GdR ISIS est consacrée à la prise en charge de ces missions. Pour que le GdR puisse financer le plus grand nombre de réunions, les participants à ces réunions sont vivement incités à choisir les billets les moins chers. Seuls les billets de train ou d'avion en deuxième classe, non échangeables et non remboursables sont pris en charge. Le GdR se réserve le droit de refuser une demande de billet dont le prix excède la moyenne des prix couramment pratiqués pour le trajet de la mission.

Pour le transport et pour l'hébergement, vous êtes priés d'utiliser le portail SIMBAD du CNRS si vous en avez la possibilité. Cela est en particulier obligatoire si vous êtes membre d'une unité CNRS (UPR, UMR, UMI, URA, FRE). Les réservations d'hôtel sont possibles si la réunion dure plus d'une journée ou si le lieu d'habitation le justifie. Dans le cas où le laboratoire n'est pas une unité CNRS, merci d'envoyer votre demande de prise en charge de la mission à l'adresse DR01.soutien-unites@cnrs.fr en précisant que la mission relève du GdR ISIS. Si vous utilisez votre véhicule personnel pour une distance supérieure à 300 kilomètres (aller+retour), le GdR ISIS ne rembourse pas vos frais de transport.

Les demandes de mission et les réservations sur le site SIMBAD doivent impérativement être effectuées au moins deux semaines avant la date de la mission.

Aucun remboursement de frais de transport ou d'hôtel avancés par l'agent ne peut plus être effectué au retour de la mission.

Annonce

Dernière minute !!

La journée commencera finalement à 9h45 pour l'accueil, puis à 10h pour le tutoriel de Rémi Gribonval.

Si tout va bien, la journée sera intégralement diffusée en ligne sur "Ximinds": passez par les liens mentionnés dans le programme ci-dessous. Les liens sont présents sous chaque exposé. 

Inutile d'installer une application, votre navigateur suffit (soucis éventuels avec Safari sous Mac OSX).

Les exposés de notre journée sont reconnaissables au logo du GDR ISIS.

Pour accéder au flux video, cliquer sur "Show Webstream" sur le site de chaque exposé lorsqu'il est actif (bandeau "Now Live"). Une fois l'exposé terminé, vous pourrez accéder à l'enregistrement complet quelque temps plus tard.

Avertissement : Malgré nos efforts pour chercher une solution, les inscriptions sont closes en raison de la capacité d'accueil limitée de la salle disponible. Toutes nos excuses pour ce désagrément.  

La détermination d'une représentation optimale des données en vue d'une tâche de traitement (classification, restauration, clustering, compression...) est un problème commun à de nombreux domaines du traitement du signal/image/video... La notion de parcimonie apparaît de façon récurrente. De nombreuses approches et concepts ont été proposés ces dernières années et permettent de proposer des techniques d'apprentissage de dictionnaire à partir d'images aussi bien que de décomposer un graphe en sous-graphes élémentaires ou encore de proposer l'identification d'une sémantique sous-jacente à des données relationnelles.

Le but de cette journée est de faire le point sur les travaux récents en apprentissage de représentations des données. Cette journée est organisée autour de 2 tutoriels (50 min), de quelques exposés invités (30 min), ainsi que de quelques contributions spontanées.

Les exposés auront lieu en français.


Appel à contribution : l'appel est clos les personnes souhaitant présenter leurs travaux sont invitées à faire part de leur intention aux organisateurs avant le 23 janvier.

Organisateurs :

Zaid Harchaoui : zaid.harchaoui@inria.fr  

Pierre Chainais : pierre.chainais@inria.fr



Programme

Le programme définitif est rappelé ci-dessous. Le lien vers la diffusion en ligne sur "ximinds" (video + pdf) se trouve sous chaque intitulé. Nous espérons que tout fonctionnera correctement.

9h45-10h00 : Accueil

                    https://www.ximinds.com/webinars/iEvTy8SW

 

10h-10h50 : R. Gribonval, INRIA Rennes

                     Tutoriel : Apprentissage de dictionnaires parcimonieux en presence de bruit et d'observations aberrantes.

                        https://www.ximinds.com/webinars/TXElaHnz


10h50-11h15 : J. Salmon, Telecom ParisTech

                         Poisson noise reduction with non-local PCA

                        https://www.ximinds.com/webinars/jmJoKmta

11h15-11h30 : pause

11h30-11h55 : L. Zdeborova, CEA Saclay

                          Phase Diagram and Approximate Message Passing for Blind Calibration and Dictionary Learning.

                        https://www.ximinds.com/webinars/bMdNCpzj

 11h55-12h15 : Raja Fazliza Raja Suleiman, Univ. Nice

                         Réduction de dimension et apprentissage parcimonieux pour la détection minimax.

                        https://www.ximinds.com/webinars/6mI56jjs
----

REPAS

----
13h45-14h35 : G. Obozinski, Laboratoire d'Informatique Gaspard Monge

                          Tutoriel : Algorithmes de codage parcimonieux supervisé.

                        https://www.ximinds.com/webinars/AJu6yTp8


14h35-15h00 : A. Bordes, UTC

                         Modeling Large-Scale Knowledge Bases and Connecting Them to Text.

                        https://www.ximinds.com/webinars/FMyrjjcV

15h00-15h25 : G. Bouchard, Xerox Research, Grenoble

                          Convex and Bayesian methods for link prediction using factored models.

                        https://www.ximinds.com/webinars/oi4RQB80/

 

15h25-15h50 : A. Celisse, Laboratoire Painlevé, Lille 1

                         Consistency of variational estimators in a random graph model.

                        https://www.ximinds.com/webinars/TJfdp1Jp/


15h50-16h05 : pause

16h05-16h25 : Olivier Chabiron, IRIToulouse

                         Toward Fast Transform Learning.

                        https://www.ximinds.com/webinars/YIqZ_M73



16h25-16h45 : Jérémy Aghaei Mazaheri, INRIA Rennes

                         Représentations parcimonieuses et apprentissage de dictionnaires structurés pour la compression d’images satellitaires.
                        https://www.ximinds.com/webinars/FDN21ZTz/

 

16h45-17h05 : Samuel Vaiter, CEREMADE, Paris Dauphine

                         Low Complexity Models: Robustness and Sensivity
                        https://www.ximinds.com/webinars/b0Im5wdH/

 

17h05-17h25 : Ludovic Denoyer, LIP6, Paris 6

                         Apprentissage de représentations dans les réseaux sociaux

                        https://www.ximinds.com/webinars/1B5K__2g/

 

Organisateurs :

Zaid Harchaoui : zaid.harchaoui@inria.fr  

Pierre Chainais : pierre.chainais@inria.fr



Résumés des contributions

Tutoriels

* Rémi Gribonval (INRIA Rennes) : Apprentissage de dictionnaires parcimonieux en presence de bruit et d'observations aberrantes (tutoriel)

Résumé :

La modélisation de signaux comme combinaisons linéaires parcimonieuses d'atomes d'un dictionnaire est devenu un outil très populaire en traitement du signal. Une vaste palette d'algorithmes a été mise au point ces dix dernières années, et une vision géométrique en grande dimension s'est dégagée permettant  de finement caractériser leurs conditions de succès. Pour pleinement exploiter ces algorithmes, il est critique de choisir un dictionnaire adapté, et des approches basées sur l'apprentissage à partir d'une collection ont connu récemment un bel essor, les techniques les plus populaires étant associées à la minimisation d'une fonction de coût. Si des progrès importants en terme d'efficacité algorithmique ont favorisé leur diffusion, ces approches restaient jusqu'à peu essentiellement empiriques. J'esquisserai dans cet exposé un panorama de travaux récents qui commencent à dresser une compréhension théorique du domaine sous l'angle de l'optimisation pour la factorisation de grandes matrices. On abordera notamment des questions telles que le nombre d'exemples suffisant pour apprendre un dictionnaire, le rôle de l'initialisation, la robustesse de l'apprentissage en présence de bruit ou d'exemples aberrants …

Travaux communs avec Karin Schnass,  Rodolphe Jenatton, Francis Bach, Martin Kleinsteuber, et Matthias Seibert

* Guillaume Obozinski (Laboratoire d'Informatique Gaspard Monge) : Algorithmes de codage parcimonieux supervisé (tutoriel)

 Résumé :

Exposés invités

*Antoine Bordes (UTC) : Modeling Large-Scale Knowledge Bases and Connecting Them to Text

Résumé :

Huge amounts of complex data can be represented as multi-relational data, that is, graphs whose nodes stand for concepts and edges for relations among them. In particular, a subset of such data, termed knowledge bases (KBs) became essential tools for storing, manipulating and accessing information in various domains ranging from search (e.g. Google Knowledge Graph) or bioinformatics (e.g. GeneOntology) to recommender systems (e.g. IMDB). However, KB data typically cumulate many difficulties (large numbers of relation types -- some being significantly more represented than others, noisy and incomplete data, or large scale dimensions with up to millions of entities and billions of edges for real-world KBs), that make them hard to be fruitfully inserted into existing frameworks. This talk will present two research directions. First, we will present new approaches for learning representations of  large-scale KB data using energy-based methods, which allow for visualizing and completing them. Then, we will introduce how such representations can be efficiently used to connect KB to text, and hence to improve relation extraction systems. This is a joint work with Google, Université de Montréal, INRIA and Xerox.

 
* Lenka Zdeborova (CEA Saclay), Florent Krzakala (Labo. Phys. Stat. ENS Paris)  : Phase Diagram and Approximate Message Passing for Blind Calibration and Dictionary Learning

Résumé :

We analyze the asymptotic sample complexity of dictionary learning and more general matrix factorization problems with statistical physics tools - the replica method and approximate message passing. Our results are non-rigorous and limited to randomly generated dictionaries and signals. On the other hand they suggest that the sample complexity is much lower than what is anticipated by existing approaches and achievable efficiently with properly designed message passing algorithms.

 

* Guillaume Bouchard (Grenoble) : Convex and Bayesian methods for link prediction using factored models.

Résumé :

Many applications involve multiple interlinked data sources, but existing approach to handle them are often based on latent factor models which are difficult to learn. At the same time, recent advances in convex analysis, mainly based on the nuclear norm (relaxation of the matrix rank) and sparse structured approximations, have shown great theoretical and practical performances to handle very large matrix factorization problems with non-Gaussian noise and missing data. In this talk, we will show how multiple matrices can be jointly factorized using a convex formulation of the problem, with a particular focus on:

·       Multi-view learning: A popular approach is to assume that, both, the correlations between the views and the view-specific correlations have low-rank structure, leading to a model closely related to canonical correlation analysis called inter-battery factor analysis. We propose a convex relaxation of this model, based on a structured nuclear norm regularization.

·        Collective matrix factorization: When multiple matrices are related, they share common latent factors, leading to a simple yet powerful way of handling complex data structures, such as relational databases. Again, a convex formulation of this approach is proposed. We also show that the Bayesian version of this model can be used to tune the multiple regularization parameters involved in such models, avoiding costly cross-validation. 

Experiments on popular tasks such as data imputation, multi-label prediction, link prediction in graphs and item recommendation illustrate the benefit of the proposed approaches.

 * Joseph Salmon (Telecom ParisTech): Poisson noise reduction with non-local PCA

Résumé :

Photon limitations arise in spectral imaging, nuclear medicine, astronomy and night vision. The Poisson distribution used to model this noise has variance equal to its mean so blind application of standard noise removals methods yields significant artifacts. Recently, overcomplete dictionaries combined with sparse learning techniques have become extremely popular in image reconstruction. The aim of the present work is to demonstrate that for the task of image denoising, nearly state-of-the-art results can be achieved using small dictionaries only, provided that they are learned directly from the noisy image. To this end, we introduce patch-based denoising algorithms which perform an adaptation of PCA (Principal Component Analysis) for Poisson noise. We carry out a comprehensive empiricalevaluation of the performance of our algorithms in terms of accuracy when the photon count is really low.The results reveal that, despite its simplicity, PCA-flavoreddenoising appears to be competitive with other state-of-the-art denoising algorithms.

This is a joint work with C-A. Deledalle, Z. Harmany, R. Willett

* Alain Celisse (U. Lille): Consistency of variational estimators in a random graph model

Résumé :
Dans ce travail, nous nous intéressons à l'estimation des paramètres du modèle de graphe aléatoire appelé Stochastic Block Model (SBM). Nous proposons tout d'abord un résultat d'identifiabilité des paramètres sous des hypothèses bien plus faibles que les résultats antérieurs. La consistance des estimateurs du maximum de vraisemblance est ensuite discutée est établie à l'aide d'arguments de concentration. Enfin le lien est l'approche par maximum de vraisemblance et l'approche variationnelle, conduisant ainsi à la consistance des estimateurs variationnels. 

Contributions spontanées :

Raja Fazliza Suleiman, Laboratoire Lagrange, Nice :  Réduction de dimension et apprentissage parcimonieux pour la détection minimax

Collab. David Mary et André Ferrari - U. de Nice Sophia-Antipolis 

 Résumé :

Ce travail porte sur le problème de détection <<one among many>>  où l'on doit distinguer entre un bruit et une parmi $L$ alternatives connues à un facteur d'amplitude près.  Deux inconvénients liés à un grand nombre d'alternatives $L$ se posent. Tout d'abord, la complexité de calcul associée au test GLR sous contrainte de 1-parcimonie augmente linéairement avec $L$, ce qui constitue une limitation dans le cas où le test doit être répété sur plusieurs jeux de données.  Ensuite, les approches standards basées sur l'apprentissage d'un dictionnaire  visant à réduire la dimensionnalité peuvent conduire à une  perte de puissance élevée pour certaines alternatives. Nous proposons dans ce cadre des techniques d'apprentissage de dictionnaire basées sur un critère de type minimax. Dans le cas où l'on cherche un dictionnaire à $K=1$ atome, nous montrons que la solution  peut être obtenue par programmation quadratique. Le cas $K>1$ permet un meilleur échantillonnage de la diversité intrinsèque des alternatives, mais est beaucoup plus complexe à mettre en œuvre. Nous proposons dans ce cas deux algorithmes d'apprentissage minimax. Les résultats numériques montrent que ces algorithmes permettent d'augmenter les performances de détection minimax par rapport au cas $K=1$, et sont comparables au  test GLR utilisant le dictionnaire complet, tout en réduisant considérablement le cout de calcul.

* Olivier Chabiron (IRIT, Toulouse): Apprentissage de transformée rapide

Résumé :

Dans cet exposé, nous nous intéressons à une nouvelle stratégie pour l'apprentissage de dictionnaire. Ce dernier vise à obtenir des représentations parcimonieuses de signaux ou d'images en utilisant une base d'apprentissage. Il permet d'obtenir des représentations plus parcimonieuses que les dictionnaires pré-conçus (comme par exemple les bases d'ondelettes), mais les coûts de calculs sont plus élevés, notamment à cause de l'absence de transformée rapide associée. La stratégie présentée propose d'apprendre des dictionnaires composés d'atomes obtenus par translation d'une composition de K convolutions de noyaux S-parcimonieux de supports connus. Nous étudions le problème d'optimisation posé par la mise à jour d'un tel dictionnaire, qui est non-convexe. Un algorithme de minimisation par bloc est introduit pour rechercher ses points stationnaires, dont la complexité reste linéaire par rapport à la taille de l'image. Quelques expériences sont présentées, qui montrent les capacités d'approximation de la méthode sur des atomes de type ondelettes, sinus cardinaux ou encore curvelets.

* Jérémy AGHAEI MAZAHERI (IRISA Rennes): Représentations parcimonieuses et apprentissage de dictionnaires structurés pour la compression d’images satellitaires.

Résumé :

Dans un contexte de compression d’images satellitaires, nous cherchons à apprendre une transformée adaptée à ce type de données spécifiques. Pour cela, les représentations parcimonieuses sont utilisées sur des dictionnaires appris. Mais les algorithmes  tels que K-SVD apprennent des dictionnaires « plats » pour une parcimonie spécifique et ne sont pas adaptés au codage. En effet le coût de codage associé à de tels dictionnaires est directement impacté par le nombre d’atomes qu’ils contiennent. L’objectif est ainsi d’apprendre un dictionnaire structuré plus adapté au codage et offrant un bon compromis entre erreur d’approximation et coût de codage. Une structure arborescente nommée Tree K-SVD est d’abord étudiée. Composée de multiples petits dictionnaires, cette structure permet d’apprendre davantage d’atomes qu’un dictionnaire « plat » tout en gardant un coût de codage des indices des atomes sélectionnés équivalent. Elle est de plus scalable en parcimonie. Efficace aux premiers niveaux, cette structure présente cependant des problèmes d’« overfitting » aux niveaux plus profonds, dus à des dictionnaires incomplets trop nombreux, et les branches s’arrêtent rapidement. Afin de compenser ces problèmes, une structure adaptative est apprise. Cette structure peut être vue comme une structure en arbre dont les branches sont progressivement fusionnées selon leur taux d’utilisation en une branche centrale. Tout en préservant les avantages de la structure en arbre, cette structure adaptative permet d’apprendre plus de niveaux que la structure arborescente et d’éviter la perte d’efficacité des niveaux profonds de l’arbre. Nous montrons expérimentalement que cette structure adaptative offre une meilleure qualité de reconstruction que K-SVD ou le dictionnaire prédéfini DCT  à même parcimonie. Un codec a été développé autour de cette structure, avec un codage entropique simple, et est comparé à JPEG 2000.

 

* Samuel Vaiter, CEREMADE, Paris Dauphine : Garanties théoriques pour la reconstruction des modèles de faible complexité

Résumé :

Dans cet exposé je proposerai une vision unifiée de nombreuses régularisations variationelles utilisées en traitement du signal et en statistiques comme en particulier le Lasso, le Group Lasso ainsi que la minimisation de la norme nucléaire et de la variation totale. Ces régularisations ont la propriété de favoriser des modèles de sous-espaces de dimension faible que nous allons exploiter pour résoudre un problème inverse linéaire discret. Je présenterai la notion de certificat dual permettant d'assurer une robustesse au bruit, l'unicité de la solution, ainsi que l'identifiabilité stable du modèle sous-jacent au vecteur original. J'illustrerai ces résultats sur des exemples issus du débruitage, de l'échantillonage aléatoire et de la déconvolution.

* Ludovic Denoyer (LIP6): Learning Social Network Embeddings for Predicting Information Diffusion

Résumé :

Analyzing and modeling the temporal diffusion of information on social media has mainly been treated as a diffusion process on known graphs or proximity structures. The underlying phenomenon results however from the interactions of several actors and media and is more complex than what these models can account for and cannot be explained using such limiting assumptions. We introduce here a new approach to this problem whose goal is to learn a mapping of the observed temporal dynamic onto a continuous space. Nodes participating to diffusion cascades are projected in a latent representation space in such a way that information diffusion can be modeled efficiently using a heat diffusion process. This amounts to learning a diffusion kernel for which the proximity of nodes in the projection space reflects the proximity of their infection time in cascades. The proposed approach possesses several unique characteristics compared to existing ones. Since its parameters are directly learned from cascade samples without requiring any additional information, it does not rely on any pre-existing diffusion structure. Because the solution to the diffusion equation can be expressed in a closed form in the projection space, the inference time for predicting the diffusion of a new piece of information is greatly reduced compared to discrete models. Experiments and comparisons with baselines and alternative models have been performed on both synthetic networks and real datasets. They show the effectiveness of the proposed method both in terms of prediction quality and of inference speed.

Date : 2014-02-04

Lieu : Telecom ParisTech - Amphi Saphir


Thèmes scientifiques :
A - Méthodes et modèles en traitement de signal

Inscriptions closes à cette réunion.

Accéder au compte-rendu de cette réunion.

(c) GdR 720 ISIS - CNRS - 2011-2015.