Aib 2008 Mdg
description
Transcript of Aib 2008 Mdg
Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
Misurazione e valutazione come
strumenti di gestione, cambiamento
e sviluppo Maurizio di GirolamoMaurizio di Girolamo
Biblioteca di AteneoUniversità degli Studi di Milano Bicocca
Seminario AIB 13 novembre 2008
2Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
Oggi parliamo di valutazione
• La valutazione: una brutta parola o tante parole da mettere insieme?
• Tutto quello che avremmo voluto sapere ma che non abbiamo mai osato chiedere… ancora
• Una sola domanda…
• … tante possibili risposte
3Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
La “nuvola” della valutazione
4Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
La misurazione, il monitoraggioe la valutazione della biblioteca
?
?
?
Valutare
A pproc c ioqualita tiv o
V alutare
Comprendereil presente
Balanc eds c orec ard
A pproc c ioquantita tiv o
E ffi ca cia
E ffi c i e n za
E co n o m i ci tà
Rilev az ion isistemat iche
Rilev az ion ioccasionali
M isu re
P ro ce ssi
Im p a tto
Co n tro l l o d i g e sti o n e
In d a g in i d i c l im a
P lu ri e n n a l e
A n n u a le
S e m e stra le
O u tco m e
In d i ca to ri
In d a g in i d i cu sto m e r
Fo cu s g ro u p
In te rvi ste stru ttu ra tese m i stru ttu ra ten a rra ti ve
Rice rca a zi o n e
Soddis f az ione degli utent i
Qualità de ls e rvizio
Budget
In f ras tru tture
Pianif ic are i lc am biam ento
A naliz z are i lpas s a to
V er if ic are g l iob ie tti vi
T a sso d i e rro re o d isco sta m e n to
Pres taz ion i
S ta ff
S e rvi zi tra d i z i o n a l i
S e rvi zi e l e ttro n i c i
Co n fo rm i tà a g l i sta n d a rd
E q u i tà
B a ck o ffi ce
Bis ognifo rm ati vi
M a p p a d e l l e co m p e te n ze
E m p o we rm e n t
T rim e stra l e
M e n si l e
P u b b l i ca zi o n e d i re p o rt d i si n te si a l i ve l l o a g g re g a to
In d a g in i d i cu sto m e s sa ti sfa cti o n
L a n cio d i n u o vi se rvi z i
In d a g in i q u a l i ta ti ve
In d a g in i su i b i so g n i fo rm a ti vi
E B L
In p u t
O u tp u t
M isu re d a ra cco g l i e reFo n tiM e to d o d i ri l e va zio n e
Quando misurare
Perchè misurarerac c ogliere informazioni per...
Come misurare
Fro n t o ffi ce
Cosa misurare
5Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
La valutazione è…• l'insieme delle attività per esprimere un giudizio per un fine
decisionale; tale giudizio deve essere argomentato tramite procedure di ricerca valutativa che ne costituiscono elemento essenziale ed imprescindibile di argomentazione. Le espressioni di giudizio argomentate sulla base di dati e informazioni raccolti e analizzati per questo scopo, e finalizzate al sostegno della decisione, è ciò che distingue la valutazione scientifica e professionale dall'espressione di giudizi basati sul senso comune, su pregiudizi, su interessi di parte.
(Claudio Bezzi) http://www.valutazione.it
6Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
La teoria: l’evoluzione dello La teoria: l’evoluzione dello “Scientific management”“Scientific management”
• La Misurazione (H. Ford, F. Taylor, 1920-30)
• PDCA = Plan, do, check, act (E. Deming, 1940-50)
• MBO = Manage by objective (P. Drucker, 1950-60)
• ABC = Activity base costing (1970-80)• Balance Scorecard (Norton-Kaplan
1990-2000)
7Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
La teoria La teoria applicabileapplicabile alla pratica: alla pratica: i principi guida del New Public i principi guida del New Public
Management Management • Decentramento e autonomia della
gestione• Controllo delle spese• Informatizzazione• Misurazione delle prestazioni• Valutazione e incentivazione del
personale• Valutazione dell’impatto delle politiche
adottateLa governance nella PA
<http://www.governance.formez.it/>
8Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
La performance come…
• Controllo di legittimità (adempimento burocratico) anni ’80
• Efficienza manageriale (efficienza, economicità, qualità) anni ’90
• Creazione di valore pubblico (risultati, effetti, impatti) anni 2000
Misurare per decidere La misurazione delle performance per migliorare le politiche pubbliche e i servizi (2007)
<http://www.cantieripa.it/inside.asp-id=513.htm>
9Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
Evaluation - foci
Inputs Processes Outputs Outcomes ImpactsInputs Processes Outputs Outcomes Impacts
Increasing difficulty …………Increasing usefulness …………
We have 2 million records
We have the technology to transform data
into information-rich products
We have delivered
one million documents
26 students have read this paper
As a result of our service,
humankind has beaten
malaria
Peter Brophy, Assessing library value and performance, Milano, novembre 2007
La valutazione come sviluppo lineare
10Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
La valutazione come cicloLa valutazione come ciclo
Obiettivi Input Attuazione
Monitoraggio
efficienza, qualità
efficacia interna
rilevanza
Variabiliintervenien
ti
Valutazione
Prodotti(output)
Risultati(outcome)
Impatti(impact)
utilità, sostenibilità
PROBLEMICOLLETTIV
I =CONDIZIO
NIINDESIDER
ATE
Il ciclo logico del monitoraggio e della valutazione (Vecchi, Forum PA 2005):
11Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
Le prospettive della valutazione
Prospettiva esternaUtenti
Focus sulla qualitàFocus sull’impatto
Prospettiva internaBiblioteca
Focus sui processiFocus sui prodotti
Approccio quantitativo Approccio qualitativo
12Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
Quali misure e per quale scopoPerformance Measures Should Help Us Decide:
Are We Doing Things Right?
(How?)Are We Doing The Right Things?
(What?)Are We Doing The Right Things?
(What?)
InputInputInputInput ProcessProcessProcessProcess OutputOutputOutputOutput OutcomeOutcomeOutcomeOutcome
Input: Resources, including budget and workforceProcess: Activities, efforts, workflowOutput: Products and services producedOutcome: Results, accomplishments, impacts
Joseph R. Matthews, The Balanced Scorecardin Public Libraries, September 2006
13Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
Un mondo di progetti…
• ARL: <http://www.arl.org/stats/>• COUNTER: <http://www.projectcounter.org/>• E-VALUED: http://www.evalued.bcu.ac.uk/• MESUR: <http://www.mesur.org/MESUR.html>• IFLA: <http://www.ifla.org/VII/s22/>• LISU: <http://www.lboro.ac.uk/departments/dils/lisu/>• SCONUL: <http://www.sconul.ac.uk/statistics/>• LIBQUAL+: <http://www.libqual.org/>• ULB MUNSTER:
<http://www.ulb.uni-muenster.de/bibliothek/projekte/outcome.html>
14Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
E noi?
GIM (Gruppo Interuniversitario
per il Monitoraggio
dei sistemi bibliotecari di ateneo)
<http://gim.cab.unipd.it/>
BIC (Biblioteche Italiane Certificate) <http://www.comune.empoli.fi.it/bic/index.h
tml>
15Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
Gli strumenti
• Efficienza– Costi/benefici– Prodotti– Processi
• Efficacia– Customer satisfaction
• Impatto– Outcome– Risultati
• Approccio quantitativo– Indicatori finanziari– Activity based costing– Diagramma di Pareto– ROI, Contingent valuation
• Approccio qualitativo– Questionari– Interviste, focus group– Mystery shopping
• Approccio misto– Balance scorecard
16Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
L’analisi delle attività…
Efficienza Efficacia
Progetti
ProdottiGestione monografie - ordini
Gestione monografie - catalogazioni
Gestione periodici
Coordinamento
ILL/DD
Gestione sale e collezioni
Reference
Prestito
Formazione e comunicazione
Gestione Web
Gruppi di lavoro interateneo
Manutenzione del catalogo
Gestione sistemi informativi
Gestione ILS
Sviluppo organizzativo
Risorse elettroniche
Coordinamento
17Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
… e la frustrazione del bibliotecario
L’angolo del buon umore 1
18Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
Attività per rilevanza
0
20
40
60
80
100
RILEVANZA % FTE
Rilegature
Formazione
ILL-DD
Gestione spazi/sala/collezioni
Recuperi catalografici
Consolidamento AP
Gruppi di lavoro
Reference
Manutenzione catalogo
Gestione periodici
Prestito
Gestione monografie
Attività per FTE
0
20
40
60
80
100
RILEVANZA % FTE
Rilegature
Manutenzione catalogo
Gestione spazi/sala/collezioni
Consolidamento AP
Recuperi catalografici
Gruppi di lavoro
Formazione
ILL-DD
Reference
Gestione monografie
Gestione periodici
Prestito
Attività I D RI LEVANZA % FTEPrestito FO-01 15 21,88Gestione periodici BO-02 14 16,06Gestione monografie BO-01 15 15,00Reference FO-02 10 12,88I LL-DD FO-04/05 5 7,81Formazione I S-01 5 5,69Gruppi di lavoro I S-02 10 5,69Recuperi catalografici BO-04 5 3,75Consolidamento AP BO-03 5 3,38Gestione spazi/sala/collezioni FO-03 5 3,31Manutenzione catalogo BO-08 10 2,38Rilegature BO-05 1 2,19
Attività I D RI LEVANZA % FTE
Prestito FO-01 15 21,88
Gestione periodici BO-02 14 16,06
Gestione monografie BO-01 15 15,00
Reference FO-02 10 12,88
I LL-DD FO-04/05 5 7,81
Formazione I S-01 5 5,69
Gruppi di lavoro I S-02 10 5,69
Attività I D RI LEVANZA % FTE
Prestito FO-01 5,00 5,00
Gestione periodici BO-02 4,67 3,67
Gestione monografie BO-01 5,00 3,43
Reference FO-02 3,33 2,94
I LL-DD FO-04/05 1,67 1,79
Formazione I S-01 1,67 1,30
Gruppi di lavoro I S-02 3,33 1,30
distribuzione attività
0
1
2
3
4
5
0 1 2 3 4 5
rilevanza
fte Attività
29Acquisizioni0,00415,00%MatematicaBack OfficeU2AnonimoGennaio
5Acquisizioni0,00727,00%GeologiaBack OfficeU2AnonimoGennaio
195Acquisizioni0,0014,00%Base U2Back OfficeU2AnonimoGennaio
Acquisizioni0,0033,00%Base U2Back OfficeU2AnonimoGennaio
171Acquisizioni0,02124,78%PsicologiaBack OfficeU6AnonimoGennaio
Acquisizioni0,0000,00%Back OfficeU6AnonimoGennaio
198Acquisizioni0,03035,82%EconomiaBack OfficeU6AnonimoGennaio
Acquisizioni0,000MedicinaBack OfficeU8AnonimoGennaio
Acquisizioni0,000MedicinaBack OfficeU8AnonimoGennaio
252Acquisizioni0,04554,00%SociologiaBack OfficeU6AnonimoGennaio
646Acquisizioni0,0033,00%DirittoBack OfficeU6AnonimoGennaio
0Ordini0,0000,00%Base U6Back OfficeU6AnonimoGennaio
14Fascicoli0,0000,00%Base U6Back OfficeU6AnonimoGennaio
3Acquisizioni0,0000,00%Base U6Back OfficeU6AnonimoGennaio
30Acquisizioni0,01315,00%StatisticaBack OfficeU6AnonimoGennaio
OutputAttivitàFTE% FTEArea discSettoreSedeCognomeMese
29Acquisizioni0,00415,00%MatematicaBack OfficeU2AnonimoGennaio
5Acquisizioni0,00727,00%GeologiaBack OfficeU2AnonimoGennaio
195Acquisizioni0,0014,00%Base U2Back OfficeU2AnonimoGennaio
Acquisizioni0,0033,00%Base U2Back OfficeU2AnonimoGennaio
171Acquisizioni0,02124,78%PsicologiaBack OfficeU6AnonimoGennaio
Acquisizioni0,0000,00%Back OfficeU6AnonimoGennaio
198Acquisizioni0,03035,82%EconomiaBack OfficeU6AnonimoGennaio
Acquisizioni0,000MedicinaBack OfficeU8AnonimoGennaio
Acquisizioni0,000MedicinaBack OfficeU8AnonimoGennaio
252Acquisizioni0,04554,00%SociologiaBack OfficeU6AnonimoGennaio
646Acquisizioni0,0033,00%DirittoBack OfficeU6AnonimoGennaio
0Ordini0,0000,00%Base U6Back OfficeU6AnonimoGennaio
14Fascicoli0,0000,00%Base U6Back OfficeU6AnonimoGennaio
3Acquisizioni0,0000,00%Base U6Back OfficeU6AnonimoGennaio
30Acquisizioni0,01315,00%StatisticaBack OfficeU6AnonimoGennaio
OutputAttivitàFTE% FTEArea discSettoreSedeCognomeMese
12,77%2,09%15,95%10,87%19,07%16,92%Psicologia Totale
3,85%2,09%4,42%5,46%9,30%8,92%Marzo
5,07%0,00%6,12%4,26%5,86%4,13%Febbraio
3,84%0,00%5,41%1,15%3,91%3,88%GennaioPsicologia
6,19%5,99%2,36%2,59%7,94%3,77%Informatica Totale
2,98%1,75%1,07%0,88%2,10%0,54%Marzo
2,64%2,69%1,07%1,39%1,87%1,25%Febbraio
0,57%1,55%0,21%0,32%3,97%1,97%GennaioInformatica
21,28%13,54%9,56%10,83%18,73%13,48%Formazione Totale
6,34%8,35%3,29%4,18%6,45%2,06%Marzo
7,02%3,70%3,65%2,79%7,14%3,79%Febbraio
7,93%1,48%2,62%3,86%5,14%7,62%GennaioFormazione
10,42%32,39%13,95%12,15%13,60%15,54%Economia Totale
2,33%13,06%3,43%4,62%3,03%7,76%Marzo
2,50%3,77%5,02%4,50%6,88%3,29%Febbraio
5,59%15,56%5,49%3,03%3,69%4,49%GennaioEconomia
21,84%30,24%35,39%45,40%10,41%27,29%Diritto Totale
6,48%9,70%15,22%19,51%2,93%5,83%Marzo
8,26%14,68%9,33%13,74%2,88%6,81%Febbraio
7,11%5,86%10,84%12,15%4,59%14,66%GennaioDiritto
FTEOutputFTEOutputFTEOutputMeseArea disc
OrdiniFascicoliAcquisizioni
DatiAttività
12,77%2,09%15,95%10,87%19,07%16,92%Psicologia Totale
3,85%2,09%4,42%5,46%9,30%8,92%Marzo
5,07%0,00%6,12%4,26%5,86%4,13%Febbraio
3,84%0,00%5,41%1,15%3,91%3,88%GennaioPsicologia
6,19%5,99%2,36%2,59%7,94%3,77%Informatica Totale
2,98%1,75%1,07%0,88%2,10%0,54%Marzo
2,64%2,69%1,07%1,39%1,87%1,25%Febbraio
0,57%1,55%0,21%0,32%3,97%1,97%GennaioInformatica
21,28%13,54%9,56%10,83%18,73%13,48%Formazione Totale
6,34%8,35%3,29%4,18%6,45%2,06%Marzo
7,02%3,70%3,65%2,79%7,14%3,79%Febbraio
7,93%1,48%2,62%3,86%5,14%7,62%GennaioFormazione
10,42%32,39%13,95%12,15%13,60%15,54%Economia Totale
2,33%13,06%3,43%4,62%3,03%7,76%Marzo
2,50%3,77%5,02%4,50%6,88%3,29%Febbraio
5,59%15,56%5,49%3,03%3,69%4,49%GennaioEconomia
21,84%30,24%35,39%45,40%10,41%27,29%Diritto Totale
6,48%9,70%15,22%19,51%2,93%5,83%Marzo
8,26%14,68%9,33%13,74%2,88%6,81%Febbraio
7,11%5,86%10,84%12,15%4,59%14,66%GennaioDiritto
FTEOutputFTEOutputFTEOutputMeseArea disc
OrdiniFascicoliAcquisizioni
DatiAttività
0
0,05
0,1
0,15
0,2
0,25
U2 U6 U8 U2 U6 U8 U2 U6 U8
Gennaio Febbraio Marzo
GdL Web / Linx
GdL Metalib/SFX
GdL Linx
GdL Aleph
Somma di FTE
Mese Sede
Attività
Dai numeri…
19Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
… alle parole (e oltre)
20Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
He uses statistics as a drunken man uses lampposts - for support rather than illumination
A. Lang
L’angolo del buon umore 2
21Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
Statistics are like bikinis. What they reveal is suggestive, but what they conceal is vital
Aaron Levenstein
L’angolo del buon umore 3
22Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
La valutazione nei Sistemi Bibliotecari di Ateneo (1)
• Inizio rilevazioni quantitative: seconda metà anni ’90 (MURST) e nuovo impulso 2002-2003 (GIM)
• Indagini customer satisfaction: episodiche, soprattutto negli ultimi 3-4 anni
• Approccio qualitativo: molto scarso, se si eccettuano specifici ambiti di applicazione
, Maurizio di Girolamo, Perché misuriamo? : i sistemi bibliotecari di ateneo alle prese con il monitoraggio, tra entusiasmi e frustrazioni, Convegno AIB 2007, <http://www.aib.it/aib/congr/c54/mh.htm3>
23Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
La valutazione nei Sistemi Bibliotecari di Ateneo (2)
• Periodicità annuale con eccezioni sporadiche (spese, performance, carichi di lavoro)
• Controllo di gestione poco diffuso negli atenei e assente per gli SBA
• Rapporto SBA NdV problematico (con lodevoli eccezioni)
24Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
La valutazione nei Sistemi Bibliotecari di Ateneo (3)
• Rapporto centro-periferia per raccolta ed elaborazione dati
• Coesistenza di dati imputati manualmente e dati derivati da sistemi informativi
• Sperimentazioni e analisi a livello decentrato (biblioteche di dipartimento)
25Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
La valutazione nei Sistemi Bibliotecari di Ateneo (4)
• Il monitoraggio come adempimento burocratico
• Le resistenze dello staff
• Le resistenze dei consigli scientifici
• Le eccezioni positive
26Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
La valutazione nei Sistemi Bibliotecari di Ateneo (5)
• Dati assoluti in serie storica• Benchmarking interno• Confronto con standard (GIM e non solo)• Risorse elettroniche• Indagini di customer satisfaction• Mancata correlazione fra analisi
quantitative e qualitative
27Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
La valutazione nei Sistemi Bibliotecari di Ateneo (6)
• Relazioni e rapporti annuali• Condivisione con lo staff e gli stakeholder• Pubblicazione dei dati e delle analisi
(Intranet vs Internet)• Occasioni particolari (comunicazioni,
pubblicazioni, …)• Eccezione: le indagini di customer
28Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
La valutazione nei Sistemi Bibliotecari di Ateneo (7)
• Atteggiamento “difensivo”– Analisi quantitative
• Atteggiamento “proattivo”– Analisi qualitative
• Comunicazione come condivisione
29Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
La valutazione nei Sistemi Bibliotecari di Ateneo (8)
• Ripartizione dei finanziamenti fra le strutture• Distribuzione del personale• Definizione e monitoraggio degli obiettivi di
struttura e dei dirigenti• Valutazione di singoli servizi, forniture• Politica delle collezioni (cartacee ed elettroniche)• Monitoraggio della formazione interna/esterna
30Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
La valutazione nei Sistemi Bibliotecari di Ateneo (9)
• Difficoltà di rapporto fra SBA e resto dell’Ateneo
• Mancanza di tempo/risorse da dedicare al monitoraggio
• Sottovalutazione dell’importanza della misurazione in termini di pianificazione del cambiamento
31Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
L’angolo del buon umore?
32Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
Le indagini di OCLC• L’avvento del Web e la sempre maggiore confidenza degli utenti nei
confronti della rete, stanno, in effetti, rendendo evidente il fenomeno crescente della disintermediazione, o forse – più propriamente – iperintermediazione, informativa
• I motori di ricerca sono il punto di riferimento in assoluto più utilizzato, dal quale, secondo il report del 2005, ben l’84% degli intervistati parte per le proprie ricerche, contro l’1% di quelli che si rivolgono, inizialmente, al sito web della biblioteca
• Il 90% poi si ritiene soddisfatto dell’informazione ottenuta attraverso i search engines, soprattutto rispetto alla quantità e alla qualità delle informazioni ottenute
Andrea Marchitelli, AIB Notizie, 20, 2008 <http://www.aib.it/aib/editoria/n20/0413.htm3>
Il cambiamento è una questione
di SOPRAVVIVENZA
33Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
LIBQUAL+
My perception of the quality of service delivered
The level of service that I desire (can and should be delivered)
My minimum expectation of service(what I’m willing to accept)
“Gap” Model of Measuring Service Quality
Zoneof
ToleranceServiceAdequacyGap
Brown University Library’s Experience with LibQUAL+
BLC Output Measures WorkshopMay 27, 2003Boston Public Library
34Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
Il Balanced Scorecard
Kaplan & Nortonhttp://www.balancedscorecard.org
35Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
I “Malcolm Baldridge Criteria”
<http://www.quality.nist.gov/>
36Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
Would you recommend us to a friend?
<http://www.oclc.org/nextspace/005/1.htm>
37Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
Pochi ma buoni…
• Measuring quality : performance measurement in libraries / Roswitha Poll, Peter te Boekhorst. - 2nd rev. ed. - München : K. G. Saur, 2007
• The evaluation and measurement of library services / Joseph R. Matthews. - Westport (Conn.) : Libraries Unlimited, 2007
• Measuring library performance : principles and techniques / Peter Brophy. - London : Facet, 2006
• The measure of library excellence / Despina Dapias Wilson, Theresa del Tufo and Anne E.C. Norman, Jefferson (N.C.) ; London : McFarland, c2008
38Seminario AIB Roma 13 novembre 2008
Misurazione e valutazione come .. MdG
Per concludere…
"Obstacles are those frightful things you see when you take your eyes off your goal”
Henry Ford