1 Amal Elouarari Commerce électronique: systèmes et architectures Avril 2003.
-
Upload
apolline-hamon -
Category
Documents
-
view
107 -
download
3
Transcript of 1 Amal Elouarari Commerce électronique: systèmes et architectures Avril 2003.
1
Amal Elouarari
Commerce électronique: systèmes et architectures
Avril 2003
2
Plan de la présentationPlan de la présentation
L’apprentissage: aperçu général– Modèle général d’un agent qui apprend
– Présentation de quelques techniques d’apprentissage
L’apprentissage dans les systèmes multi agents– De l ’apprentissage mono-agent à multi-agent
– Qu ’apprend un agent dans un SMA ?
– Caractéristiques multi-agents des apprentissages
Conclusion
3
De l'apprentissage "mono agent" à “multi agents”De l'apprentissage "mono agent" à “multi agents”
L'apprentissage en IA
système interagissant globalement avec son environnement
= Base de connaissances + module d‘ exécution
L'apprentissage porte sur :
stratégie
performance algorithmique
forme des connaissances
4
De l'apprentissage "mono agent" à “multi agents”
De l'apprentissage "mono agent" à “multi agents”
Pourquoi?
Complexité des SMA
profiter de l’expérience des autres
Système ouvert
Réduire la communication
5
De l'apprentissage "mono agent" à “multi gents”
De l'apprentissage "mono agent" à “multi gents”
Difficulté : Réutiliser en IADEn IA : Processus cognitifEn IAD : Processus social
6
De l'apprentissage "mono agent" à “multi gents”
De l'apprentissage "mono agent" à “multi gents”
Communiquer et apprendre [Feber 95]
”Les interactions s'expriment ... à partir d'une série d'actions dont les conséquences exercent en retour une influence sur le
comportement futur des agents".
L’apprentissage intègre une phase de communication :
Classification
7
De l'apprentissage "mono agent" à “multi gents”
De l'apprentissage "mono agent" à “multi gents”
[Brazdil et al 91] définissent des catégories d'apprentissage d’après le
moment de communication :
Avant l'apprentissage : échange de données ---> apprentissage centralisé dans un agent
Pendant l'apprentissage : les agents apprennent en même temps qu'ils envoient leurs données----> besoin d'algorithme d'apprentissage spécialisé
Après l'apprentissage : intégration des connaissances Après l’apprentissage : intégration distribuée du problème
8
De l'apprentissage "mono agent" à “multi gents”
De l'apprentissage "mono agent" à “multi gents”
Communiquer pour apprendre Les communications :
– Partie de l’apprentissage
* apprentissage distribué par échange de message (Protocole de négociation)
* feedback pour l’apprentissage par renforcement (comportement social)
9
Source de données :
* l’agent apprend directement sur le contenu de l’acte qu’il reçoit
* l’agent apprend indirectement sur l’acte dans sa forme :
1.èvaluer la pertinence de l’agent émetteur
2.“En identifiant quel acte de langage a été effectué, l’agent qui écoute apprend que l’émetteur croit les différentes pré conditions du plan qui mènent a effectuer cet acte ” [Cohen et al 79]
De l'apprentissage "mono agent" à “multi gents”
De l'apprentissage "mono agent" à “multi gents”
10
Qu’apprend un agent dans SMA ?Qu’apprend un agent dans SMA ?
Les axes de classifications :
• Le système multi agent :
le point de convergence de plusieurs axes d'analyse.
• l'approche Vowels décompose l'analyse d'un système multi agents selon quatre facettes :
. Agent, . Environnement, .Interaction, . Organisation.
11
Qu’apprend un agent dans SMA ?Qu’apprend un agent dans SMA ?
12
Apprentissage centré AgentApprentissage centré Agent
Ses propres comportementsmieux organiser ses actions pour atteindre ses buts.
Plusieurs comportements possibles
‘’Un agent dispose de plusieurs comportements possibles par l’historique du comportement passé, il peut décider d’adopter un comportement alternatif ‘’
13
Apprentissage centré Agent Apprentissage centré Agent
La représentation des autres Nécessité de l’apprentissage :
Un nouvel agent arriveconstruire une représentation (direct ou par annuaire central)Protocole de présentation
Un ancien agent présente un comportement variable – des différences p/r à sa présentation
L’apprentissage se fait par interprétation des actions de l’agent en confrontant le résultat observé a celui attendu.
14
Apprentissage centré Agent Apprentissage centré Agent
Exemple :
agent d’interfacequand l’agent ne sait pas répondre à une requête, il s’adresse aux agents pour lesquels il sait qu’ils peuvent y répondre.
Pour affiner sa représentation des autres, il leur demande de répondre à une requête qu’il sait traiter pour évaluer la qualité de leurs réponses.
15
Apprentissage centré EnvironnementApprentissage centré Environnement
Deux cas :
mettre à jour une connaissance erronée de l’agent sur son environnement
acquérir des connaissances sur des parties de l’environnement inaccessibles
16
Apprentissage centré EnvironnementApprentissage centré Environnement
Raffinement des connaissances sur l’environnement
en cas de connaissance fausse ou incomplète
par apprentissage interne ou perception d’informations supplémentaires.
Définir des modèles pour raffiner la connaissance
17
Apprentissage centré Environnement
Apprentissage centré Environnement
Suite à une erreur détectée :
spécialiser sa connaissance pour que l’erreur ne se produise plus.
[Byrne et al.96]
apprentissage de concepts par intégration de situations de l’environnement observé :
à chaque intégration d’une nouvelle situation
* modifier les liens entre concepts
* créer de nouveaux noeuds conceptuels [CARAMEL Sabah.97]
18
Apprentissage centré Environnement
Apprentissage centré Environnement
Les perceptions distribuées de l’environnement
chaque agent perçoit une partie de l’environnement
coopérer pour apprendre
Protocole d’interaction
19
Apprentissage centré Environnement
Apprentissage centré Environnement
Système MALE de [Sian.91]
(Multi Agent Learning Environment)
contexte d’application des cours de marché du thé, du café, du cacao...
Chaque agent connaît une partie
pour prédire les fluctuations du marché,les agents négocient en introduisant leurs points de vue
[Davies et al.95]
les agents ont chacun accès à une base de données
ils communiquent pour partager des données, des résultats partiels ou le résultat complet.
20
Apprentissage centré InteractionApprentissage centré Interaction
Utilisation des interactions :
– un agent dispose de plusieurs actes – il apprend à mieux les utiliser :
les adresser à des agents mieux choisis différer leur émission
Deux aspects des interactions peuvent
être appris : concepts ou intentions implicites dans une communication
utilisation de protocoles d’interaction
21
Apprentissage centré InteractionApprentissage centré Interaction
La sémantique des communications
– la sémantique utilisée dépend de chaque agent– possibilité d’incompréhension et échec de l’acte
S’accorder sur une sémantique commune de l’acte par
l’apprentissage .Par exemple : un modèle de négociation des relations sociales dans les
communications :position d’autorité.
Si l’un des deux agents n’en a pas conscience, il l’apprend par négociation
22
Apprentissage centré InteractionApprentissage centré Interaction
Les protocoles d’interaction
– les agents interagissent dans le cadre de protocoles– l’apprentissage : les agents possèdent des moyens
d’évaluation de leurs interactions.
– L’évaluation : les messages reçus en retour à des messages émis caractéristiques de ces messages (délai de réponse...)
23
Apprentissage centré InteractionApprentissage centré Interaction
Illustration :
modèle où chaque agent dispose d’un ensemble de squelettes (partie de protocole les concernant).
Par les interactions :
induire des protocoles d’interactions globaux
relations entre les actes.
24
Apprentissage centré OrganisationApprentissage centré Organisation
L’organisation = cadre dans lequel les agents vont interagir
Pour la définir :
– normes contraignant la liberté des agents– des rôles assignés aux agents– structure d’actions coordonnées
par graphe de relations (autorité...)
25
Apprentissage centré Organisation
Apprentissage centré Organisation
Deux aspects : les agents en sont conscients :
l’organisation est explicitement implantée (centralisée ou distribuée) dans chaque agent
chaque agent connaît son rôle et ceux des agents avec qui va interagir
Organisation émergente :uniquement constatée par un observateur
26
Apprentissage centré Organisation
Apprentissage centré Organisation
L’apprentissage centré organisation modifie l’organisation existante pour :
Une meilleure coordination des actions une meilleure répartition des rôles ...
27
Apprentissage centré Organisation
Apprentissage centré Organisation
La coordinationLes agents construisent un plan de coordination
l’apprentissage a lieu après l’exécution de ce plan
[Weiss 93] : les agents proposent plusieurs actions pour la situation courante les actions sont dotées d’une mise selon leur pertinence
(estimée par l’agent) plan global de coordination Suivant le succès du plan d’actions, les agents modifient les mises
de leurs actions.
28
Apprentissage centré Organisation
Apprentissage centré Organisation
Illustration [Sen et al.98] :
deux agents poussent un cube suivant un chemin défini :
- Observer la position du cube p/r au chemin après chaque poussée
- Modifier la force et l’angle associés à la pression exercée dans la situation courante
Par l’apprentissage, ils finissent par exercer des poussées complémentaires pour déplacer le cube plus rapidement à deux.
29
Apprentissage centré Organisation
Apprentissage centré Organisation
Les rôles les agents disposent de plusieurs rôles choisir un rôle suivant la situation courante et
les spécificités de chaque agent L’objectif de l’apprentissage est de rendre le
choix du rôle judicieux
Dans certains cas, l’agent peut modifier les rôles existants
30
Apprentissage centré Organisation
Apprentissage centré Organisation
Robots footballeurs [Aubineau et al.97]
Situation :position du ballon par rapport au robot
choisir : frappeur ou défenseur
évaluer le succès dans un futur proche : un but est marqué ou non
Rôles fusionnés (poids équivalents) :
succession des comportements des rôles fusionnés(frapper puis défendre)
Apprentissage par renforcement :rôles complémentaires pour les agents d’une même équipe
31
Apprentissage centré Organisation
Apprentissage centré Organisation
L’auto organisationréorganiser après détection d’une incohérence ou
conflit
[Camps 98] :
les agents , en propageant les messages reçus qui ont mis en évidence le problème, finissent par trouver un agent compétent.
32
Les caractéristiques multi agents des apprentissages
Les caractéristiques multi agents des apprentissages
La distribution
l’asynchronisme
la coopération
Interprétations des interactions
33
Les caractéristiques multi agents des apprentissages
Les caractéristiques multi agents des apprentissages
Difficulté de spécifier pour chacun des types d’apprentissage le domaine d’application :
domaine à faible interaction
(apprentissage de ses propres comportements) domaine à forte coopération
représentation des autres ou de la coordination domaine naturellement distribué
auto organisation - apprentissage des perceptions domaine composé d’agents hétérogènes
apprentissage des rôles ou de la coordination
34
ConclusionConclusion
Pourquoi apprendre(Complexité, système ouvert, comportement inconnu)
Quoi apprendre(Compétence, organisation, coordination, communication)
Comment apprendre (isole ou interactif, intégrer l’expérience des autres ...)
Type d’apprentissage approprié :
partir des caractéristiques multi agent
35
RéférencesRéférences
[Davies et al.95] Davies(W.H.E) et Edwards(P.) – Distributed learning : An agnt-based approach to data-mining. In : Proceedings o ML95
[Sen et al.98] Sen(S.),Sekeran(M.) et Hale(J.) – Learning to coordinate without sharing information. In : Readings in Agents, èd . Par Huhns(M.N.) et Singh (M.)
[Sian91] Sian(S.S.) –Adaptation based on coopative learning in multi-agent systems. In Decontralized A. 2,èd par Demazeau(Y.) et Muller (J-P.)
[Weiss93] Weiss (G) –Learning to coordinate actions in multi-agent systems. In : 13th intrnational Joint Conerene on Artiicial Intelligence.
36
Des questionsDes questions