PoET-BiN: Power Efficient Tiny Binary Neurons.

RESUME Le succes des reseaux de neurones dans la classification des images a inspire diverses implementations materielles sur des systemes embarques telles que des FPGAs, des processeurs embarques et des unites de traitement graphiques. Ces systemes sont souvent limites en termes de puissance. Toutefois, les reseaux de neurones consomment enormement a travers les operations de multiplication/accumulation et des acces memoire pour la recuperation des poids. La quantification et l’elagage ont ete proposes pour resoudre ce probleme. Bien que efficaces, ces techniques ne prennent pas en compte l’architecture sous-jacente du materiel utilise. Dans ce travail, nous proposons une implementation econome en energie, basee sur une table de verite, d’un neurone binaire sur des systemes embarques a ressources limitees. Une approche d’arbre de decision modifiee constitue le fondement de la mise en œuvre proposee dans le domaine binaire. Un acces de LUT consomme beaucoup moins d’energie que l’operation equivalente de multiplication/accumulation qu’il remplace. De plus, l’algorithme modifie de l’arbre de decision elimine le besoin d’acceder a la memoire. Nous avons utilise les neurones binaires proposes pour mettre en œuvre la couche de classification de reseaux utilises pour la resolution des jeux de donnees MNIST, SVHN et CIFAR-10, avec des resultats presque a la pointe de la technologie. La reduction de puissance pour la couche de classification atteint trois ordres de grandeur pour l’ensemble de donnees MNIST et cinq ordres de grandeur pour les ensembles de donnees SVHN et CIFAR-10.----------ABSTRACT The success of neural networks in image classification has inspired various hardware implementations on embedded platforms such as Field Programmable Gate Arrays, embedded processors and Graphical Processing Units. These embedded platforms are constrained in terms of power, which is mainly consumed by the Multiply Accumulate operations and the memory accesses for weight fetching. Quantization and pruning have been proposed to ad-dress this issue. Though effective, these techniques do not take into account the underlying architecture of the embedded hardware. In this work, we propose PoET-BiN, a Look-Up Table based power efficient implementation on resource constrained embedded devices. A modified Decision Tree approach forms the backbone of the proposed implementation in the binary domain. A LUT access consumes far less power than the equivalent Multiply Accumulate operation it replaces, and the modified Decision Tree algorithm eliminates the need for memory accesses. We applied the PoET-BiN architecture to implement the classification layers of networks trained on MNIST, SVHN and CIFAR-10 datasets, with near state-of-the art results. The energy reduction for the classifier portion reaches up to six orders of magnitude compared to a floating point implementations and up to three orders of magnitude when compared to recent binary quantized neural networks.