Challenges
Datasets
Workspaces
Papers
Discussions
Leaderboard
Log inSign up
Challenges
Datasets
Workspaces
Papers
Discussions
Leaderboard
Blog
Job Board
Q3AS

© 2026 Aqora Quantum S.A.S.

TermsPrivacyLegal Notice

Décodeurs BP-RNNs mis en parallèle et spécialisés dans le décodage de codes LDPC courts

Joachim Rosseel, Inbar Fijalkow, Valentin Savin, Valérian Mannoni

Published Sep 6, 2022• 0 citations
OpenAlex

Abstract

Cet article traite du décodage des codes LDPC (Low Density Parity Check) courts par l'algorithme BP (Belief Propagation). Ce dernier pouvant être modélisé à l'aide d'un réseau de neurones récurrent (BP-RNN), nous introduisons une nouvelle méthode d'entraînement qui a pour objectif de spécialiser le décodeur BP-RNN sur des événements d’erreur partageant des propriétés structurelles similaires. Cette approche est ensuite associée à une nouvelle architecture de décodage composée de plusieurs BP-RNNs spécialisés mis en parallèle, où chaque BP-RNN est entraîné à corriger un type différent d’événement d’erreur. Nos résultats de simulations montrent que les BP-RNNs spécialisés mis en parallèles améliorent efficacement la capacité de décodage des codes LDPC de taille courte.

Related papers

DÉCODAGE DE CODES CORRECTEURS D'ERREURS ASSISTÉ PAR APPRENTISSAGE POUR L'IOT

Joachim Rosseel

Les communications sans fil, déjà très présentes dans notre société, soulèvent de nouveaux défis dans le cadre du déploiement de l'Internet des Objets (IoT) tels que le développement de nouvelles méthodes de décodage au niveau de la couche physique permettant d'assurer de bonnes performances pour la transmission de messages courts. En particulier, les codes LDPC (Low Density Parity Check) sont une famille de codes correcteurs d'erreurs très connus pour leurs excellentes performances asymptotiques lorsqu'ils sont décodés par l'algorithme de propagation de croyance (BP, pour Belief Propagation, en anglais). Cependant, la capacité de correction de l'algorithme BP se retrouve fortement dégradée pour les codes LDPC courts. Ainsi, cette thèse porte sur l'amélioration du décodage des codes LDPC courts, grâce notamment à des outils d'apprentissage automatique, tels que les réseaux de neurones.Après avoir introduit les notions et caractéristiques des codes LDPC et du décodage BP,ainsi que la modélisation du BP par un réseau de neurones récurrent (BP-Recurrent NeuralNetwork ou BP-RNN), nous développons de nouvelles méthodes d'entraînement afin de spécialiser le décodeur BP-RNN sur des motifs d'erreurs partageant des propriétés structurelles similaires. Ces approches de spécialisation sont associées à des architectures de décodage composées de plusieurs BP-RNNs spécialisés, où chaque BP-RNN est entraîné à corriger un type différent de motif d'erreurs (diversité de décodage). Nous nous intéressons ensuite au post-traitement du BP (ou du BP-RNN) avec un décodage par statistiques ordonnées (Ordered Statistics Decoding ou OSD) afin de se rapprocher de la performance du décodage par maximum de vraisemblance. Pour améliorer les performances du post-traitement, nous optimisons son entrée grâce à un neurone simple, puis nous introduisons une stratégie de décodage pour un post-traitement par OSD multiples. Il est alors montré que cette stratégie tire efficacement partie de la diversité de ses entrées, fournissant ainsi un moyen efficace de combler l'écart avec le décodage par maximum de vraisemblance.

•Dec 13, 2023•0 citations

Post-traitement OSD pour le décodage BP basé sur des ensembles de LLRs complémentaires

Joachim Rosseel, Valérian Mannoni, Valentin Savin +1 more

Cet article traite du post-traitement par OSD (Ordered Statistics Decoding) appliqué aux sorties souples de l'algorithme BP (Belief Propagation). Notre approche consiste dans un premier temps à modéliser la somme pondérée des LLRs (Log Likelihood Ratios) a posteriori calculés au cours des itérations du BP en un seul neurone. Ce neurone est alors entraîné avec la fonction de coût focale afin d'obtenir pour chaque échec du BP un ensemble de LLRs accumulés qui soient adaptés au post-traitement par OSD. Nous proposons ensuite une procédure de sélection récursive d'ensembles de LLRs pour un post-traitement OSD multiple. Cette sélection est réalisée à partir des ensembles des LLRs a posteriori calculés à chaque itération du BP ainsi que des LLRs accumulés et optimisés pour l'OSD, selon leurs probabilités conjointes d'échec avec le post-traitement OSD. Un OSD est alors appliqué sur chaque ensemble de LLRs de la sélection. Nos résultats montrent que cette nouvelle méthode de décodage fournit un moyen efficace d'atteindre la performance du décodeur par maximum de vraisemblance pour des codes LDPC (Low Density Parity Check) courts.

•Aug 28, 2023•0 citations

Iterative decoding beyond belief propagation for low-density parity-check codes

Shiva Kumar Planjery

Décodage itératif pour les codes LDPC au-delà de la propagation de croyances Les codes Low-Density Parity-Check (LDPC) sont au coeur de larecherche des codes correcteurs d'erreurs en raison de leur excellenteperformance de décodage en utilisant un algorithme de décodageitératif de type propagation de croyances (Belief Propagation - BP).Cet algorithme utilise la représentation graphique d'un code, ditgraphe de Tanner, et calcule les fonctions marginales sur le graphe.Même si l'inférence calculée n'est exacte que sur un graphe acyclique(arbre), l'algorithme BP estime de manière très proche les marginalessur les graphes cycliques, et les codes LDPC peuvent asymptotiquementapprocher la capacité de Shannon avec cet algorithme.Cependant, sur des codes de longueurs finies dont la représentationgraphique contient des cycles, l'algorithme BP est sous-optimal etdonne lieu à l'apparition du phénomène dit de plancher d'erreur. Leplancher d'erreur se manifeste par la dégradation soudaine de la pentedu taux d'erreur dans la zone de fort rapport signal à bruit où lesstructures néfastes au décodage sont connues en termes de TrappingSets présents dans le graphe de Tanner du code, entraînant un échec dudécodage. De plus, les effets de la quantification introduite parl'implémentation en hardware de l'algorithme BP peuvent amplifier ceproblème de plancher d'erreur.Dans cette thèse nous introduisons un nouveau paradigme pour ledécodage itératif à précision finie des codes LDPC sur le canalbinaire symétrique. Ces nouveaux décodeurs, appelés décodeursitératifs à alphabet fini (Finite Alphabet Iterative Decoders – FAID)pour préciser que les messages appartiennent à un alphabet fini, sontcapables de surpasser l'algorithme BP dans la région du plancherd'erreur. Les messages échangés par les FAID ne sont pas desprobabilités ou vraisemblances quantifiées, et les fonctions de miseà jour des noeuds de variable ne copient en rien le décodage par BP cequi contraste avec les décodeurs BP quantifiés traditionnels. Eneffet, les fonctions de mise à jour sont de simples tables de véritéconçues pour assurer une plus grande capacité de correction d'erreuren utilisant la connaissance de topologies potentiellement néfastes audécodage présentes dans un code donné. Nous montrons que sur demultiples codes ayant un poids colonne de trois, il existe des FAIDutilisant 3 bits de précision pouvant surpasser l'algorithme BP(implémenté en précision flottante) dans la zone de plancher d'erreursans aucun compromis dans la latence de décodage. C'est pourquoi lesFAID obtiennent des performances supérieures comparées au BP avecseulement une fraction de sa complexité.Par ailleurs, nous proposons dans cette thèse une décimation amélioréedes FAID pour les codes LDPC dans le traitement de la mise à jour desnoeuds de variable. La décimation implique de fixer certains bits ducode à une valeur particulière pendant le décodage et peut réduire demanière significative le nombre d'itérations requises pour corriger uncertain nombre d'erreurs fixé tout en maintenant de bonnesperformances d'un FAID, le rendant plus à même d'être analysé. Nousillustrons cette technique pour des FAID utilisant 3 bits de précisioncodes de poids colonne trois. Nous montrons également comment cettedécimation peut être utilisée de manière adaptative pour améliorer lescapacités de correction d'erreur des FAID. Le nouveau modèle proposéde décimation adaptative a, certes, une complexité un peu plus élevée,mais améliore significativement la pente du plancher d'erreur pour unFAID donné. Sur certains codes à haut rendement, nous montrons que ladécimation adaptative des FAID permet d'atteindre des capacités decorrection d'erreur proches de la limite théorique du décodage au sensdu maximum de vraisemblance.

•Dec 5, 2012•0 citations

Contributions to neural decoding of linear block codes

Ahmad Ismail

Contributions au décodage neuronal des codes en blocs linéaires Cette thèse aborde le défi posé par le décodage à décision souple pour les codes à blocs courts par le biais de l'intégration de l'apprentissage automatique dans le décodage, soit par l’augmentation d’algorithmes existants, soit par approche sans modèle. Pour les approches sans modèle, nous utilisons le décodage neuronal basé sur le syndrome pour estimer le motif d'erreur le plus vraisemblable et approcher ainsi le décodage optimal. Nous montrons que l’utilisation de jeux d’entraînement bien construits par échantillonnage optimisé des exemples, combinée à de l'augmentation de données basée sur les automorphismes du code améliore considérablement la capacité de généralisation du modèle et l’efficacité de l’entraînement. Cette approche peut être complétée par des post-traitements à l’inférencepour se rapprocher encore davantage de la performance cible du décodeur optimal. Pour les approches basées sur des modèles, nous considérons un décodage par propagation de croyance (BP) augmenté, et assisté par un réseau de neurones. En tirant profit des représentations d'entrée et architectures récurrentes développées pour le décodage neuronal par syndrome, nous montrons que les nœuds variables problématiques à l'origine des échecs du décodage BP peuvent être identifiés avec plus de précision, ce qui réduit le nombre de tentatives de décodage et surpasse les règles expertes classiques. Ces résultats mettent en évidence l’intérêt d’une synergie entre connaissance structurelle des codes et apprentissage basé sur les données, dessinant ainsi une voie prometteuse pour le décodage quasi optimal des codes courts.

•Dec 11, 2025•0 citations

Les Codes LDPC non-binaires de nouvelle génération

Bilal Shams

Dans cette thèse, nous présentons nos travaux dans le domaine de l'algorithme de décodage non-binaire pour les classes générales de codes LDPC non-binaires. Les Low-Density Parity-Check (LDPC) codes ont été initialement présentés par Gallager en 1963, et après quelques avancées théoriques fondamentales, ils ont été pris en compte dans les normes comme le DVB-S2, WI-MAX, DSL, W-LAN etc. Plus tard, Les codes LDPC non-binaires (NB-LDPC) ont été proposés dans la littérature, et ont montré de meilleures performances lorsque la taille du code est petite ou lorsqu'il est utilisé sur des canaux non-binaires. Toutefois, les avantages de l'utilisation des codes LDPC non-binaires entrainent une complexité de décodage fortement accrue. Pour un code défini dans GF (q), la complexité est de l'ordre O(q^2). De même, la mémoire nécessaire pour stocker les messages est d'ordre O(q). Par conséquent, l'implémentation d'un décodeur LDPC-définie sur un ordre q> 64 devient pratiquement impossible.L'objectif principal de la thèse est de développer des algorithmes a complexité réduite, pour les codes LDPC non-binaires qui démontrent un rendement excellent et qui soient implémentable. Pour optimiser les performances de décodage, non seulement l'algorithme de décodage est important, mais aussi la structure du code joue un rôle important. Avec cet objectif à l'esprit, une nouvelle famille de codes appelés codes cluster-NB-LDPC a été élaboré et des améliorations spécifiques du décodeur NB pour les codes de cluster-NB-LDPC ont été proposés. Notre principal résultat est que nous étions en mesure de proposer des décodeurs de codes cluster-NB-LDPC avec une complexité réduite par rapport à décodeurs d'habitude pour les codes LDPC-NB sur les corps de Galois, sans aucune perte de performance en matière de la capacité de correction d'erreur.

•Dec 8, 2010•0 citations

Étude des erreurs d'un décodeur LDPC

Jean-Christophe Sibel

Les performances du standard DVB-S2 reposent en partie sur l'utilisation de codes Low-Density Parity-Check (LDPC) structurés de grandes tailles (64800 bits). Le décodage de ces codes par Belief Propagation (BP) aboutit à trois zones statistiques très marquées : un Bit-Error Rate (BER) très fort, environ 10^{-2}, pour de faibles valeurs du Rapport Signal à Bruit (RSB) ; une chute du BER, dite "waterfall", pour des RSB modérés ; un plancher d'erreurs du BER à environ 10^{-10}, dit "error floor", pour de forts RSB. Dans cette présentation, nous exposons une étude menant à la modélisation des erreurs de décodage par BP, le but étant de construire un simulateur d'erreurs typiques en fonction du RSB.

•Feb 20, 2014•0 citations
Cet article traite du décodage des codes LDPC (Low Density Parity Check) courts par l'algorithme BP (Belief Propagation). Ce dernier pouvant être modélisé à l'aide d'un réseau de neurones récurrent (BP-RNN), nous introduisons une nouvelle méthode d'entraînement qui a pour objectif de spécialiser le décodeur BP-RNN sur des événements d’erreur partageant des propriétés structurelles similaires. Cette approche est ensuite associée à une nouvelle architecture de décodage composée de plusieurs BP-RNNs spécialisés mis en parallèle, où chaque BP-RNN est entraîné à corriger un type différent d’événement d’erreur. Nos résultats de simulations montrent que les BP-RNNs spécialisés mis en parallèles améliorent efficacement la capacité de décodage des codes LDPC de taille courte.
Les communications sans fil, déjà très présentes dans notre société, soulèvent de nouveaux défis dans le cadre du déploiement de l'Internet des Objets (IoT) tels que le développement de nouvelles méthodes de décodage au niveau de la couche physique permettant d'assurer de bonnes performances pour la transmission de messages courts. En particulier, les codes LDPC (Low Density Parity Check) sont une famille de codes correcteurs d'erreurs très connus pour leurs excellentes performances asymptotiques lorsqu'ils sont décodés par l'algorithme de propagation de croyance (BP, pour Belief Propagation, en anglais). Cependant, la capacité de correction de l'algorithme BP se retrouve fortement dégradée pour les codes LDPC courts. Ainsi, cette thèse porte sur l'amélioration du décodage des codes LDPC courts, grâce notamment à des outils d'apprentissage automatique, tels que les réseaux de neurones.Après avoir introduit les notions et caractéristiques des codes LDPC et du décodage BP,ainsi que la modélisation du BP par un réseau de neurones récurrent (BP-Recurrent NeuralNetwork ou BP-RNN), nous développons de nouvelles méthodes d'entraînement afin de spécialiser le décodeur BP-RNN sur des motifs d'erreurs partageant des propriétés structurelles similaires. Ces approches de spécialisation sont associées à des architectures de décodage composées de plusieurs BP-RNNs spécialisés, où chaque BP-RNN est entraîné à corriger un type différent de motif d'erreurs (diversité de décodage). Nous nous intéressons ensuite au post-traitement du BP (ou du BP-RNN) avec un décodage par statistiques ordonnées (Ordered Statistics Decoding ou OSD) afin de se rapprocher de la performance du décodage par maximum de vraisemblance. Pour améliorer les performances du post-traitement, nous optimisons son entrée grâce à un neurone simple, puis nous introduisons une stratégie de décodage pour un post-traitement par OSD multiples. Il est alors montré que cette stratégie tire efficacement partie de la diversité de ses entrées, fournissant ainsi un moyen efficace de combler l'écart avec le décodage par maximum de vraisemblance.
Cet article traite du post-traitement par OSD (Ordered Statistics Decoding) appliqué aux sorties souples de l'algorithme BP (Belief Propagation). Notre approche consiste dans un premier temps à modéliser la somme pondérée des LLRs (Log Likelihood Ratios) a posteriori calculés au cours des itérations du BP en un seul neurone. Ce neurone est alors entraîné avec la fonction de coût focale afin d'obtenir pour chaque échec du BP un ensemble de LLRs accumulés qui soient adaptés au post-traitement par OSD. Nous proposons ensuite une procédure de sélection récursive d'ensembles de LLRs pour un post-traitement OSD multiple. Cette sélection est réalisée à partir des ensembles des LLRs a posteriori calculés à chaque itération du BP ainsi que des LLRs accumulés et optimisés pour l'OSD, selon leurs probabilités conjointes d'échec avec le post-traitement OSD. Un OSD est alors appliqué sur chaque ensemble de LLRs de la sélection. Nos résultats montrent que cette nouvelle méthode de décodage fournit un moyen efficace d'atteindre la performance du décodeur par maximum de vraisemblance pour des codes LDPC (Low Density Parity Check) courts.
Décodage itératif pour les codes LDPC au-delà de la propagation de croyances Les codes Low-Density Parity-Check (LDPC) sont au coeur de larecherche des codes correcteurs d'erreurs en raison de leur excellenteperformance de décodage en utilisant un algorithme de décodageitératif de type propagation de croyances (Belief Propagation - BP).Cet algorithme utilise la représentation graphique d'un code, ditgraphe de Tanner, et calcule les fonctions marginales sur le graphe.Même si l'inférence calculée n'est exacte que sur un graphe acyclique(arbre), l'algorithme BP estime de manière très proche les marginalessur les graphes cycliques, et les codes LDPC peuvent asymptotiquementapprocher la capacité de Shannon avec cet algorithme.Cependant, sur des codes de longueurs finies dont la représentationgraphique contient des cycles, l'algorithme BP est sous-optimal etdonne lieu à l'apparition du phénomène dit de plancher d'erreur. Leplancher d'erreur se manifeste par la dégradation soudaine de la pentedu taux d'erreur dans la zone de fort rapport signal à bruit où lesstructures néfastes au décodage sont connues en termes de TrappingSets présents dans le graphe de Tanner du code, entraînant un échec dudécodage. De plus, les effets de la quantification introduite parl'implémentation en hardware de l'algorithme BP peuvent amplifier ceproblème de plancher d'erreur.Dans cette thèse nous introduisons un nouveau paradigme pour ledécodage itératif à précision finie des codes LDPC sur le canalbinaire symétrique. Ces nouveaux décodeurs, appelés décodeursitératifs à alphabet fini (Finite Alphabet Iterative Decoders – FAID)pour préciser que les messages appartiennent à un alphabet fini, sontcapables de surpasser l'algorithme BP dans la région du plancherd'erreur. Les messages échangés par les FAID ne sont pas desprobabilités ou vraisemblances quantifiées, et les fonctions de miseà jour des noeuds de variable ne copient en rien le décodage par BP cequi contraste avec les décodeurs BP quantifiés traditionnels. Eneffet, les fonctions de mise à jour sont de simples tables de véritéconçues pour assurer une plus grande capacité de correction d'erreuren utilisant la connaissance de topologies potentiellement néfastes audécodage présentes dans un code donné. Nous montrons que sur demultiples codes ayant un poids colonne de trois, il existe des FAIDutilisant 3 bits de précision pouvant surpasser l'algorithme BP(implémenté en précision flottante) dans la zone de plancher d'erreursans aucun compromis dans la latence de décodage. C'est pourquoi lesFAID obtiennent des performances supérieures comparées au BP avecseulement une fraction de sa complexité.Par ailleurs, nous proposons dans cette thèse une décimation amélioréedes FAID pour les codes LDPC dans le traitement de la mise à jour desnoeuds de variable. La décimation implique de fixer certains bits ducode à une valeur particulière pendant le décodage et peut réduire demanière significative le nombre d'itérations requises pour corriger uncertain nombre d'erreurs fixé tout en maintenant de bonnesperformances d'un FAID, le rendant plus à même d'être analysé. Nousillustrons cette technique pour des FAID utilisant 3 bits de précisioncodes de poids colonne trois. Nous montrons également comment cettedécimation peut être utilisée de manière adaptative pour améliorer lescapacités de correction d'erreur des FAID. Le nouveau modèle proposéde décimation adaptative a, certes, une complexité un peu plus élevée,mais améliore significativement la pente du plancher d'erreur pour unFAID donné. Sur certains codes à haut rendement, nous montrons que ladécimation adaptative des FAID permet d'atteindre des capacités decorrection d'erreur proches de la limite théorique du décodage au sensdu maximum de vraisemblance.
Contributions au décodage neuronal des codes en blocs linéaires Cette thèse aborde le défi posé par le décodage à décision souple pour les codes à blocs courts par le biais de l'intégration de l'apprentissage automatique dans le décodage, soit par l’augmentation d’algorithmes existants, soit par approche sans modèle. Pour les approches sans modèle, nous utilisons le décodage neuronal basé sur le syndrome pour estimer le motif d'erreur le plus vraisemblable et approcher ainsi le décodage optimal. Nous montrons que l’utilisation de jeux d’entraînement bien construits par échantillonnage optimisé des exemples, combinée à de l'augmentation de données basée sur les automorphismes du code améliore considérablement la capacité de généralisation du modèle et l’efficacité de l’entraînement. Cette approche peut être complétée par des post-traitements à l’inférencepour se rapprocher encore davantage de la performance cible du décodeur optimal. Pour les approches basées sur des modèles, nous considérons un décodage par propagation de croyance (BP) augmenté, et assisté par un réseau de neurones. En tirant profit des représentations d'entrée et architectures récurrentes développées pour le décodage neuronal par syndrome, nous montrons que les nœuds variables problématiques à l'origine des échecs du décodage BP peuvent être identifiés avec plus de précision, ce qui réduit le nombre de tentatives de décodage et surpasse les règles expertes classiques. Ces résultats mettent en évidence l’intérêt d’une synergie entre connaissance structurelle des codes et apprentissage basé sur les données, dessinant ainsi une voie prometteuse pour le décodage quasi optimal des codes courts.
Dans cette thèse, nous présentons nos travaux dans le domaine de l'algorithme de décodage non-binaire pour les classes générales de codes LDPC non-binaires. Les Low-Density Parity-Check (LDPC) codes ont été initialement présentés par Gallager en 1963, et après quelques avancées théoriques fondamentales, ils ont été pris en compte dans les normes comme le DVB-S2, WI-MAX, DSL, W-LAN etc. Plus tard, Les codes LDPC non-binaires (NB-LDPC) ont été proposés dans la littérature, et ont montré de meilleures performances lorsque la taille du code est petite ou lorsqu'il est utilisé sur des canaux non-binaires. Toutefois, les avantages de l'utilisation des codes LDPC non-binaires entrainent une complexité de décodage fortement accrue. Pour un code défini dans GF (q), la complexité est de l'ordre O(q^2). De même, la mémoire nécessaire pour stocker les messages est d'ordre O(q). Par conséquent, l'implémentation d'un décodeur LDPC-définie sur un ordre q> 64 devient pratiquement impossible.L'objectif principal de la thèse est de développer des algorithmes a complexité réduite, pour les codes LDPC non-binaires qui démontrent un rendement excellent et qui soient implémentable. Pour optimiser les performances de décodage, non seulement l'algorithme de décodage est important, mais aussi la structure du code joue un rôle important. Avec cet objectif à l'esprit, une nouvelle famille de codes appelés codes cluster-NB-LDPC a été élaboré et des améliorations spécifiques du décodeur NB pour les codes de cluster-NB-LDPC ont été proposés. Notre principal résultat est que nous étions en mesure de proposer des décodeurs de codes cluster-NB-LDPC avec une complexité réduite par rapport à décodeurs d'habitude pour les codes LDPC-NB sur les corps de Galois, sans aucune perte de performance en matière de la capacité de correction d'erreur.
Les performances du standard DVB-S2 reposent en partie sur l'utilisation de codes Low-Density Parity-Check (LDPC) structurés de grandes tailles (64800 bits). Le décodage de ces codes par Belief Propagation (BP) aboutit à trois zones statistiques très marquées : un Bit-Error Rate (BER) très fort, environ 10^{-2}, pour de faibles valeurs du Rapport Signal à Bruit (RSB) ; une chute du BER, dite "waterfall", pour des RSB modérés ; un plancher d'erreurs du BER à environ 10^{-10}, dit "error floor", pour de forts RSB. Dans cette présentation, nous exposons une étude menant à la modélisation des erreurs de décodage par BP, le but étant de construire un simulateur d'erreurs typiques en fonction du RSB.