Michel Salomon Étude de la parallélisation de méthodes heuristiques doptimisation combinatoire....

Michel Salomon

Étude de la parallélisation de méthodes heuristiques

d’optimisation combinatoire. Application au

recalage d’images médicales.

LSIIT-ICPS

Illkirch, le 11 décembre 2001

LSIIT-ICPS 2

• Définition d’un problème d’optimisation combinatoire

– Fonction de coût à minimiser ou maximiser

– Espace de recherchefini ou dénombrable, mais

non énumérable en un temps « raisonnable »

• Difficulté d’un problème d’optimisation combinatoire

– Taille de l’espace de recherche

– « Paysage » de la fonction de coût

Introduction

LSIIT-ICPS 3

Introduction

• Multitude d’algorithmes d’optimisation combinatoire– Méthodes exactes

• programmation dynamique• recherche arborescente• ...

– Méthodes approchées - heuristiques• recuit simulé et variantes• algorithmes évolutionnaires• …

• Pourquoi paralléliser un algorithme d’optimisation ?– Traitement de problèmes de grande taille– Réduction des temps de calcul

LSIIT-ICPS 4

Introduction

• Exemple - Le voyageur de commerce

Circuit reliant 15112 villes en Allemagne

Applegate & al. 2001 (Princeton University)

Parallélisation : des mois de calculs

Temps de calcul cumulé et ajusté sur

1 proc. Alpha EV6 (500MHz) 22,6 années

possibles circuits2

!1- villes NN Explosion combinatoire :

Type Nombre

Compaq XP1000 Alpha 21264 500MHz 5

Compaq DS20 Alpha 21264 500MHz 6

Compaq ES40 Alpha 21264-6 500MHz 32

Compaq ES40Alpha 21264-67

500MHz12

Cluster FreeBSD Athlon 800MHz 24

Cluster LinuxPentium III variés : de

450 à 1000 MHz19

Systèmes utilisésProcesseurs

LSIIT-ICPS 5

Introduction

• Objectifs de la thèse

– Adéquation algorithmes d’optimisation/problème

– Adéquation algorithme/modèle de programmation parallèle

LSIIT-ICPS 6

Introduction

• Choix de l’application : le recalage d’images médicales

– D’une dizaine à plusieurs millions de variables à optimiser– « Paysage » complexe des fonctions de coût à minimiser– Volume de données important– Utilisation possible en routine clinique

Image de référence Image source

Rot.Trans.

3,11,11,17,7,15Θ

3,11,11,17,7,15

Décalage synthétique

Recalage

LSIIT-ICPS 7

Algorithmes d’optimisation retenus

• Algorithmes du type recuit simulé

– Équation de la diffusion

– Recuit adaptatif

• Algorithmes évolutionnaires

– Stratégies d’évolution

– Évolution différentielle

• Hybridation

Recherche monopoint

Preuve de convergence

Recherche multipoint

Preuve de convergence

LSIIT-ICPS 8

Méthodes heuristiques et leurs parallélisations

Problématique du recalage d’images médicales

Étude dans le cas du recalage rigide

Étude dans le cas du recalage déformable

Conclusions et perspectives

Plan de l’exposé

LSIIT-ICPS 9

Recuit simulé et variantes

• Recuit simulé (1983)

– Simulation du phénomène physique de recuit des métaux

– Distribution de Gibbs-Boltzmann :

• Équation de la diffusion (1985)

• Recuit simulé adaptatif (1989)

– Température et temps de recuit pour chaque composante

TKX

ZX

BT

Eexp1P

tttt dwTdtxdx 2E

LSIIT-ICPS 10

Parallélisations

• Recuits multiples parallèles

• Parallélisation par essais multiples

• Parallélisme massif

P0

P1

Pp-1

T0 T1

P0

P1

Pp-1

T0

T1

Tp-1

LSIIT-ICPS 11

Algorithmes évolutionnaires

• Simulation du processus de l’évolution

• Schéma

Population

courante

Population de

descendants

Population de

descendants mutés

Population

évaluée

Croisement

Évaluation

Sélection Mutation

LSIIT-ICPS 12


Algorithmes génétiques Stratégies d’évolution Évolution

différentielle

Représentation Binaire ; réelle ; spécifique Réelle Réelle

Croisement (recombinaison)

Mutation

Reproduction particulière

Sélection Déterministe et probabiliste Déterministe Déterministe

123456789

123456789

123456789

123456789

123456789 123456789


différentielle



Mutation



123456789

123456789

123456789

123456789

123456789 123456789

LSIIT-ICPS 13

• Reproduction dans l’évolution différentielle



différentielle



Mutation



123456789

123456789

123456789

123456789

123456789 123456789

LSIIT-ICPS 14

Parallélisations

• Parallélisation à gros grain

• Parallélisation à grain fin

Population

SP1

Division

SP2

SP4 SP3

Sous-Populations

Individus

A B C D E FDistribution

A B C

D E F

Processeurs

LSIIT-ICPS 15

Hybride parallèle

• Combiner des algorithmes complémentaires

Hybride recuit simulé/algorithme génétique

• Principe

– Algorithme génétique data-parallèle

– Sélection probabiliste locale avec schéma de température

LSIIT-ICPS 16






Plan de l’exposé

LSIIT-ICPS 17

Modalités

• Anatomiques

• Fonctionnelles

Recalage d’images monomodales ou multimodalesintra-patient inter-patient

TEP

IRM Tomodensitométrie

TEMP

LSIIT-ICPS 18

Transformations

• Variété de transformations possibles Globale Locale

Rigide

Affine

Projective

Déformable

Transformations considérées : rigide et déformable

LSIIT-ICPS 19

Primitives

• Primitives (informations) utilisées

– Informations externes au patient

• Marqueur

• Cadre stéréotaxique

– Informations contenu dans les images

• Niveaux de gris

• Volumes

• etc

Recalage dense par fonction de similarité

LSIIT-ICPS 20

Recalage rigide

• Paramètres

• Fonctions de coût à minimiser– Similarité quadratique - images monomodales

– Information mutuelle - images multimodales

RotationnTranslatio

,,,,, zθyθxθztytxtΘ

s

ss 2TJIJ,I,C

)p()p(),p(log),p(.TJ.IJ,I,C

1 1 kgkgkgΙ

G

g

K

k

Rigide : translation, rotation

Tx ,Ty

Espace de transformation

LSIIT-ICPS 21

• Fonction de coût à minimiser

– Similarité quadratique - images monomodales

Recalage déformable

Espace de transformation

Déformation paramétrée

sdsss2

dJIdJ,I,C

Méthode hiérarchique basée sur

une modélisation paramétrique

multirésolution des déformations

Musse & al. 1999

LSIIT-ICPS 22

Nombre de variables

Nombre de variables

1 3 4 10125

2 81 5 89373

3 1029 6 750141

Recalage d'IRM 1283 voxels

Recalage déformable

– Projection du champ au niveau de résolutiond

zyxa

zyxa

zyxa

x,y,zs

kjizkji

kjiykji

kjixkji

kji

kji

kji

,,

,,

,,

dd

,,,,

,,,,

,,,,

,,

,,

,,

– Optimisation de variables ( de degré 1) 312 3 spline

LSIIT-ICPS 23






Plan de l’exposé

LSIIT-ICPS 24

Conditions d’expérimentations

• Machine parallèle SGI Origin2000

• Parallélisation par directives HPF ou OpenMP

• Validation des recalages - données utilisées

– Rigide : 20 IRM 1283 voxels

– Déformable : IRM 1283 et 2563 voxels

LSIIT-ICPS 25

Similarité quadratique Proc. R12000 Information mutuelle

EQM (voxels) Temps (sec) EQM (voxels)

Equation de la diffusion 0,33 ± 0,14 1147,56 Non mis en œuvre

Recuit simulé adaptatif 0,37 ± 0,13 608,60 0,40 ± 0,16

Evolution différentielle 0,33 ± 0,14 700,80 0,38 ± 0,17

Stratégie d'évolution 0,35 ± 0,14 766,93 0,35 ± 0,13

Genetic Simulated Annealing (hybride)

0,74 ± 0,34 935,84 Non mis en œuvre

Algorithme d'optimisation

Meilleurs résultats en séquentiel

• Précision obtenue et temps de calcul

LSIIT-ICPS 26

Meilleurs résultats en parallèle

Similarité quadratique

EQM (voxels)Nombre Temps Acc.

Déterm. 0,66 ± 0,22 8 97,30 6,25

Prob. modifié 0,68 ± 0,23 8 87,50 6,96

Evolution différentielle 0,33 ± 0,14 8 95,54 7,34

Stratégie d'évolution 0,42 ± 0,21 8 103,75 7,39

Genetic Simulated Annealing (hybride)

0,74 ± 0,34 8 125,62 7,45

Proc. R12000

Multi-temp.

Grain fin

Parallélisation considérée

Grain fin

Grain fin

Algorithme d'optimisation

Recuit simulé adaptatif

• Précision obtenue et temps de calcul

LSIIT-ICPS 27

Stratégie d’évolution séquentielle

• Influence de la taille de la population

LSIIT-ICPS 28

Stratégie d’évolution parallèle

• Description - communications induites

LSIIT-ICPS 29


• Convergence : version parallèle versus séquentielle

LSIIT-ICPS 30

Similarité quadratique Information mutuelle

EQM (voxels) EQM (voxels)

Séquentielle 0,35 ± 0,14 0,35 ± 0,13

Parallèle 0,42 ± 0,21 0,43 ± 0,16

Version

• Précision des recalages


LSIIT-ICPS 31


• Performances - Similarité quadratique

Temps (sec). Accélération

1 766,93

2 382,53 2,00

4 196,24 3,91

8 103,75 7,39

16 54,27 14,13

Proc. R12000

52 populations

Courbe des facteurs d'accélération

0

4

8

12

16

0 2 4 6 8 10 12 14 16

Nombre de processeurs R12000

Fact

eur

d'ac

célé

ratio

n

idéale réelle

LSIIT-ICPS 32

Évolution différentielle séquentielle

• Influence de la taille de la population

Choix du data-parallélisme

LSIIT-ICPS 33

Évolution différentielle parallèle


LSIIT-ICPS 34


• Convergence : version parallèle versus séquentielle

LSIIT-ICPS 35

Similarité quadratique Information mutuelle

EQM (voxels) EQM (voxels)

Séquentielle 0,33 ± 0,14 0,38 ± 0,17

Parallèle 0,33 ± 0,14 0,34 ± 0,14

Version

• Précision des recalages


LSIIT-ICPS 36



• Robustesse

Faible sensibilité au choix des paramètres

LSIIT-ICPS 37


• Performances - Similarité quadratique

Courbe des facteurs d'accélération

0

4

8

12

16

0 2 4 6 8 10 12 14 16

Nombre de processeurs R12000

Fact

eur

d'ac

célé

ratio

n

idéale réelleTemps (sec). Accélération

1 700,80

2 349,41 2,01

4 184,47 3,80

8 95,54 7,34

16 52,16 13,44

Proc. R12000

52 populations

LSIIT-ICPS 38

Conclusion partielle

• Algorithmes d’optimisation

– Adéquation des approches évolutionnaires (multipoint)

• Stratégie d’évolution

• Évolution différentielle

• Parallélisation

– Adéquation du modèle de programmation data-parallèle

LSIIT-ICPS 39

Plan de l’exposé






LSIIT-ICPS 40

• Coûts minimum trouvés

Meilleurs résultats

1 2 3 4 5 6

Musse & al. 2011,61 1843,76 1624,41 1415,57 1214,57

2004,73 1840,42

20 gén. 60 gén.

Diffusion parallèle 2011,82 1832,44 1595,51 1418,8 1206,44 1038,03

Evolution différentielle data-parallèle

Algorithme d'optimisation Résolution

Similarité quadratique

Trop coûteuse en temps de calcul

LSIIT-ICPS 41

Équation de la diffusion

• Dérivées partielles de l’erreur quadratique moyenne

Distribution du calcul des dérivées suivant kji ,,

,,

,,

,,

''JI'J21dC

kjikji

dssxsss

as

kjix

LSIIT-ICPS 42

• Processeurs pouvant être actifs simultanément

Variables Processeurs Variables Processeurs Variables Processeurs

1 3 1 3 1 3 12 81 27 81 27 81 273 1029 343 960 320 930 3104 10125 3375 6057 2019 5058 16865 89373 29791 38121 12707 29346 97826 750141 250047 263619 87873 198015 660057 6145149 2048383 1436451 478817

Niveau de résolution

ThéorieSans réduction

Pratique

IRM 1283 voxels IRM 2563 voxels

Équation de la diffusion

LSIIT-ICPS 43

résolution 6

Parallélisation massive - Résultats

• Recalage déformable d’IRM 1283 voxels

Source

Référence

Après recalage

LSIIT-ICPS 44


Image source Image de référenceRésolution 7

• Recalage déformable d’IRM 2563 voxels

LSIIT-ICPS 45

Images

Résolution finale

Proc. R12000 Temps (sec.)Accélération

relativeTemps (sec.)

Accélération relative

Temps (sec.)Accélération

relative

1 1468,26 10954,40 13897,44

8 341,58 4,30 2437,95 4,49 3114,60 4,46

16 257,89 5,70 1798,28 6,09 2293,80 6,06

5 5 7

IRM 1283 voxels IRM 2563 voxels


• Performances

LSIIT-ICPS 46

Borne supérieure de l ’accélération relative : loi d ’Amdahl

1où,1 relativeon Accélérati

ps

NP

ps

sprocesseur de nombre : NP


• Performances

LSIIT-ICPS 47

Courbe des facteurs d'accélération relative

(IRM 1283 voxels)

0

2

4

6

8

1 8 16 24 32

Nombre de processeurs

Fac

teur

d'a

ccél

érat

ion

rela

tive

loi d'Amdahl réelle R10000 réelle R12000


• Performances

LSIIT-ICPS 48






Plan de l’exposé

LSIIT-ICPS 49

Conclusions

• Algorithmes d’optimisation parallèles

– Algorithmes évolutionnaires (multipoint) en rigide

– Équation de la diffusion en déformable

• Apport du parallélisme en recalage d’images

– Temps de calcul réduits avec préservation de la précision

– Solution aux temps de calculs rédhibitoires en séquentiel

• Adéquation du modèle data-parallèle

– Bonnes accélérations

– Excellentes performances sur machine MIMD

LSIIT-ICPS 50

Perspectives

• Algorithmes d’optimisation

– Heuristiques pour guider le choix d’une méthode

– Meilleur jeu de paramètres Méta-optimisation

• Recalage d’images médicales

– Validation sur une base de données d’images

– Déformable : multimodalité, contraintes topologiques

• Parallélisation

– Modélisation théorique des algorithmes

Michel Salomon Étude de la parallélisation de méthodes heuristiques doptimisation combinatoire....

Documents

Transcript of Michel Salomon Étude de la parallélisation de méthodes heuristiques doptimisation combinatoire....