Gile Init traductol 1 Initiation à la traductologie Daniel Gile [email protected].
D.Gile Rech expérim.1 La recherche expérimentale Premières explications Limites et interrogations...
-
Upload
timothee-lalanne -
Category
Documents
-
view
104 -
download
0
Transcript of D.Gile Rech expérim.1 La recherche expérimentale Premières explications Limites et interrogations...
D.Gile Rech expérim. 1
La recherche expérimentalePremières explications
Limites et interrogations
Daniel [email protected]
www.cirinandgile.com
D.Gile Rech expérim. 2
Pourquoi la recherche expérimentale ?Le principe
Dans la nature, les phénomènes auxquels s’intéresse la recherche sont en général influencés par de nombreux facteurs
Il est donc difficile d’identifier l’influence d’un facteur spécifique
Dans environnement « contrôlé », On facilite cette recherche
En « contrôlant » d’autres facteurs pertinents :
en s’assurant qu’ils ont tous la même valeurou que leur valeur est la même dans les différents échantillons
qui sont comparés(Même proportion d’hommes et de femmes, de droitiers et de
gauchers, de participants du même âge etc.)
Le « contrôle dans la recherche expérimentale
D.Gile Rech expérim. 3
Dans la nature : influences autres que celle qui nous intéresse (en noir ; résultat en rouge).La résultat est-il engendré par l’influence qui nous intéresse ? Ou par toutes les influences à la fois ?
Elimination des influences parasites
Deux possibilités de « contrôle » expérimental :
- « Eliminer les influences parasites » dans un environnement artificiel (en bas à gauche)
- Donner aux influences parasites les mêmes valeurs – seule la variable indépendante change (en bas à droite), ou s’assurer que dans des échantillons que l’on compare, ces influences parasites sont similaires.
D.Gile Rech expérim. 4
Exemple
Un méthode de formation à la traduction est-elle efficace ?
Si l’on se contente de comparer les traductions de 40 traducteurs, dont 20 ont été formés et 20 ne l’ont pas été,
Les différences mesurées dans la qualité des traductions peuvent être attribuables à la formation, mais aussi :
À l’âge des traducteurs, à leur expérience, à leur motivation, aux conditions de travail etc.
Si l’on réunit deux groupes de traducteurs ayant les mêmes caractéristiques (à part la méthode de formation en question)
pour leur faire traduire le même texte,
D’éventuelles différences sont plus facilement attribuable à la formation ou à son absence
D.Gile Rech expérim. 5
Tests d’hypothèses à travers une expérience
Il s’agit du prototype de la recherche expérimentale aux yeux de nombreux chercheurs
Le comportement de 2 ou plusieurs groupes est observé
Ces groupes sont constitués de manière à être comparables sauf pour ce qui est de la variable dont l’influence doit être
examinée
On comparaisons les résultats mesurés sur chaque groupepour déterminer si des différences entre les groupes sont être faibles et probablement dues au seul effet du hasard – ou non
Dans le deuxième cas, on parle de différences « significatives »
D.Gile Rech expérim. 6
Expériences exploratoires
Les expériences tests d’hypothèses sont les plus connuesMais ce ne sont pas les seules
Expériences exploratoires :
Et si…?(Sans hypothèse particulière)
Si je donnais aux traducteur tel type de document de référence ?
Si je laissais l’apprenant de langue étrangère la possibilité de lire des romans pour l’acquisition du vocabulaire ?
…
D.Gile Rech expérim. 7
Exemples
Séjour dans grotte et changement de rythme biologique(Comment ce rythme va-t-il évoluer si l’homme ne sait pas s’il
fait jour ou s’il fait nuit dehors ?)
Groupe de volontaires pour vivre en isolement plusieurs mois(Comment les relations humaines vont-elles évoluer ?)
Expérience agronomiques avec sol, exposition, arrosage, mélanges…
Expérimentation avec combinaison de médicaments pour traiter une pathologie particulière
Parfois sur la base d’hypothèses ou théories formaliséesParfois sans
D.Gile Rech expérim. 8
Avantages de l’expérimentation
1. Eliminer l’influence des variable parasites qui empêchent d’identifier l’influence du facteur étudié
2. Par là, détecter et mesurer cette influence avec une masse de données bien moins importante que celle nécessaire pour la détecter et la mesurer in vivo
(la chose est possible sur une grande masse de données en faisant des comparaisons multiples et en isolant un ou plusieurs facteurs chaque fois)
3. Souvent, mesurer ce qu’il y a à mesurer avec plus de précision que ‘dans la nature’
(L’environnement créé pour l’expérience permet de le faire)
4. Créer des situations/conditions intéressantes qui ne se produisent que rarement ou pas du tout dans la nature
D.Gile Rech expérim. 9
Pourquoi l’expérimentation a-t-elle un statut scientifique si élevé ?
- En raison de ces avantages
- Parce qu’elle sert souvent à vérifier des théories, et se situe donc à une étape avancée de l’investigation
- Parce qu’elle fait souvent appel à des montages complexes (donc plus « intelligents » ?)
- Parce qu’elle fait souvent intervenir les statistiques, qui sont un outil ‘sophistiqué’
Mais tout cela la rend-il plus ‘scientifique’ que la recherche naturaliste ?
D.Gile Rech expérim. 10
Limites de l’expérimentation : la validité écologique
Dans les sciences sociales, c’est le souci majeur :La tâche et les mesures correspondent-elles à la vie réelle ?
Les comportements observés et mesurés en laboratoire
Reflètent-ils les comportements que l’on trouve dans la vie réelle ?
Si la réponse est négative ou incertaine, en tirant des expériences des conclusions pour la vie réelle,
Ne viole-t-on l’importante norme de prudence dans la recherche scientifique ?
D.Gile Rech expérim. 11
L’expérience est une étude de cas
En ‘contrôlant’ les variables et paramètres pertinents,Par exemple, tous les sujets ont le même âge, ou sont droitiers,
etc.L’expérimentateur opère dans une constellation particulière de
valeurs et exclut une certaine variabilité naturelle
Il est donc difficile de savoir si les résultats seraient les mêmes avec d’autres constellations de valeurs
S’il y a de nombreuses réplications de l’expérience avec des constellations différentes, à terme, on peut tirer des
conclusions,
Mais s’il y a peu de réplications ?
D.Gile Rech expérim. 12
Les différences statistiquement significatives (1)
Dans un cas très simple,
pour voir si un facteur donné représenté par une variable indépendante
(un médicament, une méthode de formation…) a une véritable influence sur quelque chose
(représenté par un indicateur nommé variable dépendante)(par exemple l’état du malade, les notes de l’apprenant)
On compare les valeurs de cette variable dépendantedans deux échantillons,
l’un étant soumis à ce facteur, l’autre non(un échantillon de malades traités par le médicament, l’autre ne
recevant que du placébo, l’un formé par telle méthode, l’autre non)
D.Gile Rech expérim. 13
Les différences statistiquement significatives (2)
Si la variable dépendante dans les deux échantillons ne semble pas avoir la même distribution
(ce qui est inféré à partir de la moyenne et de l’écart type mesurés sur les deux échantillons),
on considère que les populations représentées par les deux échantillons sont « différentes »,
donc que le facteur en question a une véritable influence
Si elle a la même distribution, on considère que les deux populations représentées par les deux échantillons sont la
même, autrement dit que le facteur dont on étudie l’influence n’en a pas
D.Gile Rech expérim. 14
Les différences statistiquement significatives (3)
Comment le test statistique permet-il de le vérifier ?
Il y aura toujours une différence entre les moyennes des deux échantillons
mais cette différence peut être plus ou moins grandeplus ou moins compatible avec l’idée qu’elle est due au seul
hasard
Le test indique la probabilité d’une compatibilité de cette différence mesurée avec l’idée que les deux populations ont en réalité la même distribution pour la variable en question
Si cette probabilité est faible, on dit que la différence est ‘significative’
D.Gile Rech expérim. 15
Les différences statistiquement significatives (4)
Plus concrètement, le test déterminera, sur la base des moyennes et écarts-type mesurés sur les
échantillons,
une entité mathématique correspondant à l’hypothèse de l’identité des deux populations
Cette entité aura une certaine distribution Une proportion donnée de ses valeurs (p. ex. 95% d’entre elles)
se situeront entre un minimum et un maximum qui seront également connus
Les mesures sur les échantillons déterminent une valeur de l’entité
Si elle se situe au-dessus du maximum ou en dessous du minimum
elle est marginale, et on peut dire qu’elle accrédite l’idée d’une différence réelle entre les deux populations
D.Gile Rech expérim. 16
Les différences statistiquement significatives (5)
)
D.Gile Rech expérim. 17
Limites et interrogations (1)
Différences ‘significatives’ sont déterminées à un certain niveau : l’expérimentateur s’autorise une certaine probabilité de ‘faux
positif’(de conclure que les différences constatées ne sont pas le fruit du
hasard – alors qu’elles le sont)
S’il détermine ce seuil à 5% (p < 0,05), il s’autorise une telle erreur une fois sur vingt !
Si vous deviez décidez que quelque chose est vrai ou non, voudriez-vous le faire en prenant une chance sur 20 de vous
tromper ?
(A 1%, avec une chance sur 100 de vous tromper ?)
D.Gile Rech expérim. 18
Limites et interrogations (2)
Les tests déterminent la décision sur la base de mesures sur les échantillons avec un seuil donné
Par exemple, avec 5,63, le test indique des différences significative, et avec 5,62, elles ne le sont pas.
Cette transition brutale de ‘oui’ à ‘non’ est-elle raisonnable ?
D.Gile Rech expérim. 19
Limites et interrogations (3)
Le concept de signification statistiqueNe permet de se prononcer que sur la probabilité de la nature
aléatoire ou non de différences mesurées sur des échantillons
Il ne dit rien sur l’ampleur de la différenceUne différence significative de très faible ampleur peut n’avoir
aucune incidence pratique
En traductologie et dans les sciences sociales, une telle différence nous intéresse-t-elle toujours ?
D.Gile Rech expérim. 20
Attention aux malentendus
Il ne s’agit pas dénier toute valeur à la recherche expérimentale
Elle est souvent très utile pour exclure l’influence de facteurs parasites
Elle permet bien d’étudier des situations qui ne se produisent que rarement in vivo
Elle permet souvent des mesures précises impossibles in vivo parce que l’environnement du « laboratoire » peut être rendu
plus stable, plus ‘propre’
Elle permet de surmonter souvent l’obstacle de la variabilité
Mais elle n’est pas la panacée.Elle est efficace sous certaines conditions
D.Gile Rech expérim. 21
Conditions pour une efficacité maximale
1. Un bon montage expérimental2. Un échantillonnage bien conçu et réalisé3. Une étape pilote4. Des inférences prudentes5. Une bonne utilisation des statistiques (vérifier les conditions et le test applicable plutôt que de se
contenter d’appliquer des ‘recettes’)6. De nombreuses réplications (pour réduire la probabilité de résultats aléatoires et couvrir plus de constellations de valeurs des paramètres pertinents)7. Une variabilité limitée du phénomène et des tailles d’échantillons suffisantes
D.Gile Rech expérim. 22
Si ces conditions ne sont pas réunies
La recherche expérimentale reste utile, mais surtout à titre provisoire, pour dégager des résultats d’étape
Ses résultats ne peuvent pas être considérés comme le ‘résultat scientifique ultime ’ pour la prise de décisions
Des résultats de recherche naturaliste peuvent être plus puissants
Surtout quand on utilise des corpus massifsQui permettent d’exploiter une grande masse de données
authentiques
Et de vérifier des hypothèses sur ces données, avec plus d’efficacité que l’expérimentation
Par exemple en épidémiologie, dans travail sur corpus
D.Gile Rech expérim. 23
ConclusionL’expérimentation est un outil puissant – sous certaines
conditions
Mais peu efficace si elles ne sont pas réunies
Elle n’est pas « ce qu’il y a de mieux » dans l’absolu sur le plan scientifique
Ne pas se laisser berner par des « symboles de statut scientifique »
La science est dans l’esprit humain, pas dans les techniques
Quand vous explorez la réalité dans un esprit rigoureux, systématique, sceptique, prudent, vous faites de la recherche
scientifique, quels que soient les outils