Procédé calculatoire neuromorphique générique et perceptif ... · Procédé calculatoire...
Transcript of Procédé calculatoire neuromorphique générique et perceptif ... · Procédé calculatoire...
![Page 1: Procédé calculatoire neuromorphique générique et perceptif ... · Procédé calculatoire neuromorphique générique et perceptif, intégré en un composant électronique ... .](https://reader030.fdocument.pub/reader030/viewer/2022021712/5b9d1bee09d3f29a298bd628/html5/thumbnails/1.jpg)
Mardi 03 Juin 2014 Séminaire ARISTOTE
Procédé calculatoire neuromorphique générique et perceptif,
intégré en un composant électronique
Patrick Pirim Brain Vision Systems, Paris
![Page 2: Procédé calculatoire neuromorphique générique et perceptif ... · Procédé calculatoire neuromorphique générique et perceptif, intégré en un composant électronique ... .](https://reader030.fdocument.pub/reader030/viewer/2022021712/5b9d1bee09d3f29a298bd628/html5/thumbnails/2.jpg)
Bio-inspiration, hypotheses de départ
Modele bio-inspiré d'une activité de population neuronale
Implémentation électronique
Applications :
à la conduite automobile par contrôle visuel
en robotique,
en vision binoculaire
Performances et perspectives
Demonstration temps réel
Sommaire
![Page 3: Procédé calculatoire neuromorphique générique et perceptif ... · Procédé calculatoire neuromorphique générique et perceptif, intégré en un composant électronique ... .](https://reader030.fdocument.pub/reader030/viewer/2022021712/5b9d1bee09d3f29a298bd628/html5/thumbnails/3.jpg)
But : Process générique
![Page 4: Procédé calculatoire neuromorphique générique et perceptif ... · Procédé calculatoire neuromorphique générique et perceptif, intégré en un composant électronique ... .](https://reader030.fdocument.pub/reader030/viewer/2022021712/5b9d1bee09d3f29a298bd628/html5/thumbnails/4.jpg)
Perception sensorielle
![Page 5: Procédé calculatoire neuromorphique générique et perceptif ... · Procédé calculatoire neuromorphique générique et perceptif, intégré en un composant électronique ... .](https://reader030.fdocument.pub/reader030/viewer/2022021712/5b9d1bee09d3f29a298bd628/html5/thumbnails/5.jpg)
Substitution sensorielle
• "You don't see with your eyes, you see with your brain,".
• Bach-y-Rita 1971
A tactile tongue-based,
electrical sensor routes
spatial information
through the tongue to
the brain.
![Page 6: Procédé calculatoire neuromorphique générique et perceptif ... · Procédé calculatoire neuromorphique générique et perceptif, intégré en un composant électronique ... .](https://reader030.fdocument.pub/reader030/viewer/2022021712/5b9d1bee09d3f29a298bd628/html5/thumbnails/6.jpg)
Organisation corticale
David Hubel and Torsten Wiesel (Nobel Price medecine 1981)
Dynamique Structurale Globale
Claude Touzet
![Page 7: Procédé calculatoire neuromorphique générique et perceptif ... · Procédé calculatoire neuromorphique générique et perceptif, intégré en un composant électronique ... .](https://reader030.fdocument.pub/reader030/viewer/2022021712/5b9d1bee09d3f29a298bd628/html5/thumbnails/7.jpg)
Les trois modalités perceptives:
![Page 8: Procédé calculatoire neuromorphique générique et perceptif ... · Procédé calculatoire neuromorphique générique et perceptif, intégré en un composant électronique ... .](https://reader030.fdocument.pub/reader030/viewer/2022021712/5b9d1bee09d3f29a298bd628/html5/thumbnails/8.jpg)
L'approche neuromorphique
![Page 9: Procédé calculatoire neuromorphique générique et perceptif ... · Procédé calculatoire neuromorphique générique et perceptif, intégré en un composant électronique ... .](https://reader030.fdocument.pub/reader030/viewer/2022021712/5b9d1bee09d3f29a298bd628/html5/thumbnails/9.jpg)
Modèle générique BVS
![Page 10: Procédé calculatoire neuromorphique générique et perceptif ... · Procédé calculatoire neuromorphique générique et perceptif, intégré en un composant électronique ... .](https://reader030.fdocument.pub/reader030/viewer/2022021712/5b9d1bee09d3f29a298bd628/html5/thumbnails/10.jpg)
Application 1 : tache colorée
![Page 11: Procédé calculatoire neuromorphique générique et perceptif ... · Procédé calculatoire neuromorphique générique et perceptif, intégré en un composant électronique ... .](https://reader030.fdocument.pub/reader030/viewer/2022021712/5b9d1bee09d3f29a298bd628/html5/thumbnails/11.jpg)
Calcul spatio-temporel + anticipation Couleur orange perçue
Incrustée en bleu Sans anticipation
Avec anticipation
![Page 12: Procédé calculatoire neuromorphique générique et perceptif ... · Procédé calculatoire neuromorphique générique et perceptif, intégré en un composant électronique ... .](https://reader030.fdocument.pub/reader030/viewer/2022021712/5b9d1bee09d3f29a298bd628/html5/thumbnails/12.jpg)
Application 2 : recherche 1 ligne
![Page 13: Procédé calculatoire neuromorphique générique et perceptif ... · Procédé calculatoire neuromorphique générique et perceptif, intégré en un composant électronique ... .](https://reader030.fdocument.pub/reader030/viewer/2022021712/5b9d1bee09d3f29a298bd628/html5/thumbnails/13.jpg)
Application 2 : recherche 2 lignes
Recrutement
dynamique avec
inhibition
![Page 14: Procédé calculatoire neuromorphique générique et perceptif ... · Procédé calculatoire neuromorphique générique et perceptif, intégré en un composant électronique ... .](https://reader030.fdocument.pub/reader030/viewer/2022021712/5b9d1bee09d3f29a298bd628/html5/thumbnails/14.jpg)
Perception de bords orientés
![Page 15: Procédé calculatoire neuromorphique générique et perceptif ... · Procédé calculatoire neuromorphique générique et perceptif, intégré en un composant électronique ... .](https://reader030.fdocument.pub/reader030/viewer/2022021712/5b9d1bee09d3f29a298bd628/html5/thumbnails/15.jpg)
Controle du véhicule par le regard
Visual perception of the road during car driving. An appropriate control
requires that the delay T needed for perception, between gaze fixation and
wheel rotation, is such that during that delay, the vehicule moves forward a
distance d equal to the product of T by the car’s velocity v.
![Page 16: Procédé calculatoire neuromorphique générique et perceptif ... · Procédé calculatoire neuromorphique générique et perceptif, intégré en un composant électronique ... .](https://reader030.fdocument.pub/reader030/viewer/2022021712/5b9d1bee09d3f29a298bd628/html5/thumbnails/16.jpg)
Automatic control: Alpha=K*d
-1/a1
a1=ta
n1
xn0
yn
yv
xv
R
d
R
a2=tan2
xo
yo
mdn
n
do
a1
u
d
Vh
u0
a2
u
o
n
m
I
J
do dn
dm
Focus of
Expansion
![Page 17: Procédé calculatoire neuromorphique générique et perceptif ... · Procédé calculatoire neuromorphique générique et perceptif, intégré en un composant électronique ... .](https://reader030.fdocument.pub/reader030/viewer/2022021712/5b9d1bee09d3f29a298bd628/html5/thumbnails/17.jpg)
Automatized car driving by gaze-like
control. 1- General scheme showing
the different horizontal areas with border
detections and their perspective. 2- Horizon
line detection (in red) together with flow
field’s focus (car direction) when driving on
a straight road. 3- From a video during
actual driving, the perspective points
(crossing of the two road’s border lines) are
obtained in the three zones (in red for near,
in
green for intermediate, in blue for far). The
distance d between the perspective point in
the far-distance area and the flow field’s
focus is extracted. Multiplying d by a learnt
coeficient K gives the angle of the wheel. 4-
Reconstruction of the road map from this
previous data (formulae are described in
[16]). 5- Real test with a game car (left
screen) as a simulator using formula = K .
d. The car becomes the reference (right
screen) and the whole scene moves
around it.
![Page 18: Procédé calculatoire neuromorphique générique et perceptif ... · Procédé calculatoire neuromorphique générique et perceptif, intégré en un composant électronique ... .](https://reader030.fdocument.pub/reader030/viewer/2022021712/5b9d1bee09d3f29a298bd628/html5/thumbnails/18.jpg)
Application sur simulateur
![Page 19: Procédé calculatoire neuromorphique générique et perceptif ... · Procédé calculatoire neuromorphique générique et perceptif, intégré en un composant électronique ... .](https://reader030.fdocument.pub/reader030/viewer/2022021712/5b9d1bee09d3f29a298bd628/html5/thumbnails/19.jpg)
Modele d'activité spatio-temporelle
de population neuronale
![Page 20: Procédé calculatoire neuromorphique générique et perceptif ... · Procédé calculatoire neuromorphique générique et perceptif, intégré en un composant électronique ... .](https://reader030.fdocument.pub/reader030/viewer/2022021712/5b9d1bee09d3f29a298bd628/html5/thumbnails/20.jpg)
Niveau actuel d'intégration
![Page 21: Procédé calculatoire neuromorphique générique et perceptif ... · Procédé calculatoire neuromorphique générique et perceptif, intégré en un composant électronique ... .](https://reader030.fdocument.pub/reader030/viewer/2022021712/5b9d1bee09d3f29a298bd628/html5/thumbnails/21.jpg)
Contrôle carrefour
![Page 22: Procédé calculatoire neuromorphique générique et perceptif ... · Procédé calculatoire neuromorphique générique et perceptif, intégré en un composant électronique ... .](https://reader030.fdocument.pub/reader030/viewer/2022021712/5b9d1bee09d3f29a298bd628/html5/thumbnails/22.jpg)
Contrôle drone
![Page 23: Procédé calculatoire neuromorphique générique et perceptif ... · Procédé calculatoire neuromorphique générique et perceptif, intégré en un composant électronique ... .](https://reader030.fdocument.pub/reader030/viewer/2022021712/5b9d1bee09d3f29a298bd628/html5/thumbnails/23.jpg)
Vision binoculaire
![Page 24: Procédé calculatoire neuromorphique générique et perceptif ... · Procédé calculatoire neuromorphique générique et perceptif, intégré en un composant électronique ... .](https://reader030.fdocument.pub/reader030/viewer/2022021712/5b9d1bee09d3f29a298bd628/html5/thumbnails/24.jpg)
Robotique
![Page 25: Procédé calculatoire neuromorphique générique et perceptif ... · Procédé calculatoire neuromorphique générique et perceptif, intégré en un composant électronique ... .](https://reader030.fdocument.pub/reader030/viewer/2022021712/5b9d1bee09d3f29a298bd628/html5/thumbnails/25.jpg)
Performances
![Page 26: Procédé calculatoire neuromorphique générique et perceptif ... · Procédé calculatoire neuromorphique générique et perceptif, intégré en un composant électronique ... .](https://reader030.fdocument.pub/reader030/viewer/2022021712/5b9d1bee09d3f29a298bd628/html5/thumbnails/26.jpg)
Développement du marché
![Page 27: Procédé calculatoire neuromorphique générique et perceptif ... · Procédé calculatoire neuromorphique générique et perceptif, intégré en un composant électronique ... .](https://reader030.fdocument.pub/reader030/viewer/2022021712/5b9d1bee09d3f29a298bd628/html5/thumbnails/27.jpg)
Perspectives
![Page 28: Procédé calculatoire neuromorphique générique et perceptif ... · Procédé calculatoire neuromorphique générique et perceptif, intégré en un composant électronique ... .](https://reader030.fdocument.pub/reader030/viewer/2022021712/5b9d1bee09d3f29a298bd628/html5/thumbnails/28.jpg)
Développement
![Page 29: Procédé calculatoire neuromorphique générique et perceptif ... · Procédé calculatoire neuromorphique générique et perceptif, intégré en un composant électronique ... .](https://reader030.fdocument.pub/reader030/viewer/2022021712/5b9d1bee09d3f29a298bd628/html5/thumbnails/29.jpg)
Démo temps réel
![Page 30: Procédé calculatoire neuromorphique générique et perceptif ... · Procédé calculatoire neuromorphique générique et perceptif, intégré en un composant électronique ... .](https://reader030.fdocument.pub/reader030/viewer/2022021712/5b9d1bee09d3f29a298bd628/html5/thumbnails/30.jpg)
Ex: 2 modes de fonctionnement visuel Fixe: image stable Mobile: perturbation
![Page 31: Procédé calculatoire neuromorphique générique et perceptif ... · Procédé calculatoire neuromorphique générique et perceptif, intégré en un composant électronique ... .](https://reader030.fdocument.pub/reader030/viewer/2022021712/5b9d1bee09d3f29a298bd628/html5/thumbnails/31.jpg)
Ex: Automat perceptif de la grenouille:
![Page 32: Procédé calculatoire neuromorphique générique et perceptif ... · Procédé calculatoire neuromorphique générique et perceptif, intégré en un composant électronique ... .](https://reader030.fdocument.pub/reader030/viewer/2022021712/5b9d1bee09d3f29a298bd628/html5/thumbnails/32.jpg)
Intégration robotique
![Page 33: Procédé calculatoire neuromorphique générique et perceptif ... · Procédé calculatoire neuromorphique générique et perceptif, intégré en un composant électronique ... .](https://reader030.fdocument.pub/reader030/viewer/2022021712/5b9d1bee09d3f29a298bd628/html5/thumbnails/33.jpg)
Brain Vision
Systems www.bvs-tech.com
Thanks you for your attention