Performance evaluation of web information systems
24
Yaşar Tonta , İrem Soydal 2. Uluslararası Değişen Dünyada Bilgi Yönetimi Sempozyumu,22-24 Eylül 2010, Ankara Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümü
-
Upload
yasar-tonta -
Category
Documents
-
view
677 -
download
0
description
The quality of web information systems is closely related with their users’ expectations. In order to create good quality systems, web designers should understand how users perceive service quality of various performance attributes such as security, usability and information quality, and which ones they value the most. In this study, users’ service quality perceptions of two different web sites were investigated. Data were obtained from 1,900 users of web sites of a for-profit online bookstore and a not-for-profit national information center through the E-Qual Index that was administered online. Users were asked to rate to what extent each web site satisfied the 22 performance attributes included in the E-Qual Index along with the importance they attached thereto. Quadrant analysis and gap analysis were used to analyze the data to find out the strengths and weaknesses of the web sites investigated. Moreover, performance attributes that need to be improved or that were “undervalued” by the users were identified. Findings indicate that each web site satisfied more than half the performance attributes listed in the E-Qual Index. Users attached more importance to performance attributes such as ease of use, provision of timely and relevant information and safety. Findings can be used to remedy the shortcomings of each web site and improve the web service quality. Yaşar Tonta and İrem Soydal, Performance evaluation of web information systems. Paper presented at the 2nd International Symposium on Information Management in a Changing World, IMCW 2010, Ankara, Turkey, September 22-24, 2010.). (Sunuş slaytları – PDF / Presentation slides -PDF) Appeared in: Serap Kurbanoğlu, Umut Al, Phyllis Lepon Erdoğan, Yaşar Tonta ve Nazan Özenç Uçak (Eds.). Technological Convergence and Social Networks in Information Management: 2nd International Symposium on Information Management in a Changing World, IMCW 2010, Ankara, Turkey, September 22-24, 2010. Proceedings. (pp. 175-188) Berlin: Springer, 2010.
Transcript of Performance evaluation of web information systems
Yaşar Tonta , İrem Soydal
2. Uluslararası Değişen Dünyada Bilgi Yönetimi Sempozyumu,22-24 Eylül 2010, Ankara Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümü
Giriş: “Web bilgi sistemi” kavramı Algılanan hizmet kalitesi Geleneksel ve web hizmet kalitesi boyutları
Araştırmanın amacı ve yöntem Quadrant ve boşluk analizi bulguları Sonuç
2. Uluslararası Değişen Dünyada Bilgi Yönetimi Sempozyumu,22-24 Eylül 2010, Ankara Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümü
“Web siteleri aslında bilgi sistemleridir ve bilgisistemlerinin kullanımı ile ilgili her şey web siteleri için de geçerlidir.” (Loiacono, Watson ve Goodhue 2000)
Bilgi sunma Etkileşimli hizmetler
2. Uluslararası Değişen Dünyada Bilgi Yönetimi Sempozyumu,22-24 Eylül 2010, Ankara Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümü
Beklentilerin karşılanması
Kullanıcı memnuniyeti
Başarılı bilgi sistemleri
Sistemin yapısı Bilginin niteliği
2. Uluslararası Değişen Dünyada Bilgi Yönetimi Sempozyumu,22-24 Eylül 2010, Ankara Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümü
“Algılanan kalite, kullanıcı memnuniyetinin temelidir…Kullanıcının bir ürün ya da hizmetin genel mükemmellik ve üstünlüğü hakkındaki yargısı olarak tanımlanır…” (Zeithaml 1988)
Somut olma Güvenilirlik Yanıt verme Güvence Empati
2. Uluslararası Değişen Dünyada Bilgi Yönetimi Sempozyumu,22-24 Eylül 2010, Ankara Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümü
Geleneksel hizmet kalitesi boyutları+
Başarılı içerik ve sunum Kullanıcıya yol gösterici ögeler Kolay kullanılabilirlik Bilginin niteliği Kullanıcı güvenliği
2. Uluslararası Değişen Dünyada Bilgi Yönetimi Sempozyumu,22-24 Eylül 2010, Ankara Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümü
Amaç, farklı web bilgi sistemlerinde kullanıcıların kalite algısını belirlemek.
Kar amacı güden (Idefix, Çevrimiçi alışveriş sitesi) ve gütmeyen (ULAKBİM, Ulusal bilgi merkezi) iki farklı web sitesi
E-Qual İndeksi Çevrimiçi anket - Beşli likert ölçeği – “Önem” ve
“Memnuniyet” puanları Yaklaşık 1900 yanıt ve ortalama puanları Quadrant analizi Boşluk analizi
2. Uluslararası Değişen Dünyada Bilgi Yönetimi Sempozyumu,22-24 Eylül 2010, Ankara Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümü
2. Uluslararası Değişen Dünyada Bilgi Yönetimi Sempozyumu,22-24 Eylül 2010, Ankara Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümü
1. Sitenin kullanımını kolay öğrenilebilir buluyorum 2. Siteyle olan etkileşimim açık ve anlaşılır 3. Siteyi kolay dolaşılabilir buluyorum 4. Siteyi kolay kullanılabilir buluyorum5. Sitenin çekici bir görünümü vardır 6. Tasarım sitenin türüne uygundur 7. Site uzmanlarca hazırlanmış hissi verir8. Site benim için olumlu bir deneyim yaratır9. Doğru bilgi sağlar10. İnandırıcı bilgi sağlar 11. Zamanında bilgi sağlar12. İhtiyaçlarımla ilgili bilgi sağlar 13. Kolay anlaşılır bilgi sağlar14. Uygun detayda bilgi sağlar15. Bilgiyi uygun bir biçimde sunar 16. Saygındır 17. İşlemleri tamamlamak konusunda güven verir 18. Kişisel bilgilerimin güvenlikte olduğu hissini verir19. Kişiselleştirilmiş izlenimi yaratır 20. Bir topluluğa ait olma hissi uyandırır 21. Kurumla iletişim kurmayı kolaylaştırır22. Hizmet ya da ürünlerin söz verildiği şekilde iletileceği konusunda kendimi güvende hissederim
Kullanılabilirlik
Bilginin Niteliği
Hizmet Etkileşimi
Kar amacı güden ve gütmeyen kurumların kullanıcıları bilginin niteliği, kullanılabilirlik ve hizmet etkileşimi gibi performans bileşenlerini nasıl algılıyorlar?
Tasarım açısından kâr amacı güden ve gütmeyen kurumların web sitelerinin zayıf ve güçlü yanları neler?
Geliştirilebilecek performans bileşenleri var mı? Kullanıcılar web hizmet kalitesi ile ilgili hangi
performans bileşenlerine daha fazla değer veriyorlar? Kullanıcılar tarafından göz ardı edilmiş hizmet kalitesi
performans bileşenleri var mı?
2. Uluslararası Değişen Dünyada Bilgi Yönetimi Sempozyumu,22-24 Eylül 2010, Ankara Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümü
2. Uluslararası Değişen Dünyada Bilgi Yönetimi Sempozyumu,22-24 Eylül 2010, Ankara Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümü
Idefix ULAKBIM Performans bileşenleri Önem Memnuniyet Önem Memnuniyet 1. Sitenin kullanımını kolay öğrenilebilir buluyorum 4.4 4.3 4.5 3.7 2. Siteyle olan etkileşimim açık ve anlaşılır 4.3 4.3 4.4 3.6 3. Siteyi kolay dolaşılabilir buluyorum 4.6 4.1 4.6 3.5 4. Siteyi kolay kullanılabilir buluyorum 4.6 4.1 4.6 3.6 5. Sitenin çekici bir görünümü vardır 3.8 3.3 3.7 2.8 6. Tasarım sitenin türüne uygundur 4.0 3.7 3.9 3.3 7. Site uzmanlarca hazırlanmış hissi verir 4.0 3.7 4.0 3.4 8. Site benim için olumlu bir deneyim yaratır 3.8 3.8 4.1 3.5 9. Doğru bilgi sağlar 4.8 4.2 4.8 4.3 10. İnandırıcı bilgi sağlar 4.7 4.1 4.8 4.3 11. Zamanında bilgi sağlar 4.7 4.1 4.8 4.0 12. İhtiyaçlarımla ilgili bilgi sağlar 4.6 4.0 4.8 3.9 13. Kolay anlaşılır bilgi sağlar 4.6 4.2 4.7 3.8 14. Uygun detayda bilgi sağlar 4.6 3.7 4.6 3.8 15. Bilgiyi uygun bir biçimde sunar 4.5 4.0 4.6 3.8 16. Saygındır 4.5 4.3 4.5 4.2 17. İşlemleri tamamlamak konusunda güven verir 4.8 4.4 4.6 4.1 18. Kişisel bilgilerimin güvenlikte olduğu hissini verir 4.9 4.2 4.7 4.1 19. Kişiselleştirilmiş izlenimi yaratır 3.9 3.3 3.9 3.2 20. Bir topluluğa ait olma hissi uyandırır 3.0 2.9 3.7 3.5 21. Kurumla iletişim kurmayı kolaylaştırır 4.2 3.7 4.3 3.8 22. Hizmet ya da ürünlerin söz verildiği şekilde iletileceği konusunda kendimi güvende hissederim 4.8 4.2 4.6 4.1
X : 4.4 3.9 4.4 3.7
2. Uluslararası Değişen Dünyada Bilgi Yönetimi Sempozyumu,22-24 Eylül 2010, Ankara Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümü
18. Kişisel bilgilerimin güvenlikte olduğu hissini verir (4,9)
20. Bir topluluğa ait olma hissi uyandırır (3,7)
Performans bileşenleri
Puan 17. İşlemleri tamamlamak
konusunda güven verir (4,4)
20. Bir topluluğa ait olma hissi uyandırır (2,9)
2. Uluslararası Değişen Dünyada Bilgi Yönetimi Sempozyumu,22-24 Eylül 2010, Ankara Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümü
9. Doğru bilgi (4,8)10. İnandırıcı bilgi (4,8)11. Zamanında bilgi (4,8)12. İhtiyaçlarımla ilgili bilgi sağlar (4,8)
20. Bir topluluğa ait olma hissi uyandırır (3,7)5. Sitenin çekici bir
görünümü vardır (3,7)
Performans bileşenleri
memnuniyet önemULAKBİM
9. Doğru bilgi (4,3)10. İnandırıcı bilgi (4,3)
5. Sitenin çekici bir görünümü vardır (2.8)
Bulguları görselleştirir Grafik korelasyon tekniği Quadrant grafiğinin iki boyutu: ▪ Performans bileşenine verilen önem (yatay eksen), ▪ Algılanan performans / memnuniyet (dikey eksen)
Ortalama önem ve memnuniyet puanları
2. Uluslararası Değişen Dünyada Bilgi Yönetimi Sempozyumu,22-24 Eylül 2010, Ankara Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümü
2. Uluslararası Değişen Dünyada Bilgi Yönetimi Sempozyumu,22-24 Eylül 2010, Ankara Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümü
2. Uluslararası Değişen Dünyada Bilgi Yönetimi Sempozyumu,22-24 Eylül 2010, Ankara Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümü
Q1 (Kazananlar)1. Sitenin kullanımını kolay öğrenilebilir buluyorum , 4. Siteyi kolay kullanılabilir buluyorum, 3. Siteyi kolay dolaşılabilir buluyorum, 9. Doğru bilgi sağlar, 10. İnandırıcı bilgi sağlar, 11. Zamanında bilgi sağlar, 12. İhtiyaçlarımla ilgili bilgi sağlar, 13. Kolay anlaşılır bilgi sağlar, 15. Bilgiyi uygun bir biçimde sunar, 16. Saygındır, 17. İşlemleri tamamlamak konusunda güven verir, 18. Kişisel bilgilerimin güvenlikte olduğu hissini verir, 22. Hizmet ya da ürünlerin söz verildiği şekilde iletileceği konusunda kendimi güvende hissederim
Q2 (Hafife alınanlar)2. Siteyle olan etkileşimim açık ve anlaşılır
Q3 (Önemsiz kusurlar)5. Sitenin çekici bir görünümü vardır, 6. Tasarım sitenin türüne uygundur, 7. Site uzmanlarca hazırlanmış hissi verir, 8. Site benim için olumlu bir deneyim yaratır, 19. Kişiselleştirilmiş izlenimi yaratır, 20. Bir topluluğa ait olma hissi uyandırır, 21. Kurumla iletişim kurmayı kolaylaştırır
Q4 (Fırsatlar)14. Uygun detayda bilgi sağlar
2. Uluslararası Değişen Dünyada Bilgi Yönetimi Sempozyumu,22-24 Eylül 2010, Ankara Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümü
Q2 (Hafife alınanlar)20. Bir topluluğa ait olma hissi uyandırır
Q4 (Fırsatlar)2. Siteyle olan etkileşimim açık ve anlaşılır 3. Siteyi kolay dolaşılabilir buluyorum4. Siteyi kolay kullanılabilir buluyorum
Q3 (Önemsiz kusurlar)5. Sitenin çekici bir görünümü vardır 6. Tasarım sitenin türüne uygundur 7. Site uzmanlarca hazırlanmış hissi verir8. Site benim için olumlu bir deneyim yaratır19. Kişiselleştirilmiş izlenimi yaratır 20. Bir topluluğa ait olma hissi uyandırır
Q1 (Kazananlar)1. Sitenin kullanımını kolay öğrenilebilir buluyorum, 9. Doğru bilgi sağlar, 10. İnandırıcı bilgi sağlar, 11. Zamanında bilgi sağlar, 12.İhtiyaçlarımla ilgili bilgi sağlar, 13. Kolay anlaşılır bilgi sağlar, 14. Uygun detayda bilgi sağlar, 15. Bilgiyi uygun bir biçimde sunar, 16. Saygındır, 17. İşlemleri tamamlamak konusunda güven verir, 18. Kişisel bilgilerimin güvenlikte olduğu hissini verir, 22. Hizmet ya da ürünlerin söz verildiği şekilde iletileceği konusunda kendimi güvende hissederim
Quadrant analizi, önemsenen performans bileşenlerinin hangilerinden memnun olunduğu ya da olunmadığını net olarak göstermez.
Bir değişken “yüksek önem, yüksek memnuniyet” (kazananlar) bölgesinde yer alsa bile önem ve memnuniyet puanları arasındaki fark yüksek olabilir.
Boşluk analizi bu farkları net gösterir.2. Uluslararası Değişen Dünyada Bilgi Yönetimi Sempozyumu,22-24 Eylül 2010, Ankara Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümü
Önem puanları – Memnuniyet puanları: Büyük boşluklar= İlk ilgilenilmesi ve düzeltilmesi
gereken konular Küçük boşluklar= Güçlü yanlar Negatif boşluklar: Gereksiz zaman harcandığı,
kullanıcıyı fazla ilgilendirmediği anlaşılan konular
2. Uluslararası Değişen Dünyada Bilgi Yönetimi Sempozyumu,22-24 Eylül 2010, Ankara Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümü
2. Uluslararası Değişen Dünyada Bilgi Yönetimi Sempozyumu,22-24 Eylül 2010, Ankara Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümü
0,0 0,2 0,4 0,6 0,8 1,0 1,2
22. sözünü tutar21. kolay iletişim kurulur
20. topluluk hissi19. kişiselleştirme hissi
18. emniyetli17. güvenilir
16. saygın15. uygun biçimli bilgi14. doğru detayda bilgi
13. anlaşılır bilgi12. ilgili bilgi
11. zamanında bigi10. inandırıcı bilgi
9. doğru bilgi8. olumlu deneyim
7. uzmanlarca tasarlanmış6. site türün uygun tasarım
5. çekici4. kullanışlı
3. kolaydolaşılabilir2. anlaşılır
1. öğrenmesi kolay
Idefix - Boşluk ULAKBİM - Boşluk
Quadrant Analizi Her iki sitede de performans bileşenlerinin yarıdan
fazlası “kazananlar” (Q1) bölgesinde ve bu bileşenler her iki sitede de benzer.▪ Uygun detayda bilgi sunulması, güven ve güvenlik, vb.
Her iki sitede de kolay kullanım, zamanında ve ilgili bilgi sunulması ve güvenlik gibi performans bileşenlerine daha fazla önem atfedilmiş.
2. Uluslararası Değişen Dünyada Bilgi Yönetimi Sempozyumu,22-24 Eylül 2010, Ankara Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümü
..Quadrant Analizi Her iki sitede de tasarım, kişiselleştirme, sitenin
olumlu izlenim bırakması vb. performans bileşenleri fazla önemsenmemiş. Idefix kullanıcıları web sitesinden daha detaylı
bilgi alabilmeyi, ULAKBİM kullanıcıları ise daha rahat dolaşılabilir ve kullanılabilir bir web sitesi istemiş.
2. Uluslararası Değişen Dünyada Bilgi Yönetimi Sempozyumu,22-24 Eylül 2010, Ankara Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümü
Boşluk Analizi Kullanıcılara göre ULAKBİM web sitesinin dolaşım
ve kullanılabilirlikle ilgili sorunları var, site çekici değil, sitede anlaşılır ve ihtiyaçları ile ilgili bilgi yer almıyor. Kullanıcılara göre ULAKBİM web sitesinin güçlü
yanları saygın olması, bir topluluğa dahil olma hissi uyandırması, inandırıcı bilgi sunması.
2. Uluslararası Değişen Dünyada Bilgi Yönetimi Sempozyumu,22-24 Eylül 2010, Ankara Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümü
.. Boşluk Analizi Kullanıcılara göre Idefix web sitesi, zamanında,
ilgili ve yeterince detaylı bilgi sunmuyor, hizmet sunarken verilen sözler tam olarak tutulmuyor ve kullanıcıların güvenlik konusunda endişeleri var. Idefix kullanıcıları web sitesinden olumlu
deneyimlerle ayrılmaktan ve sitenin ününden memnun. Sitenin kolay anlaşılır ve kolay öğrenilebilir bir arayüzü olduğunu düşünüyorlar.
2. Uluslararası Değişen Dünyada Bilgi Yönetimi Sempozyumu,22-24 Eylül 2010, Ankara Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümü
Yaşar Tonta , İrem Soydal{tonta,soydal}@hacettepe.edu.tr
2. Uluslararası Değişen Dünyada Bilgi Yönetimi Sempozyumu,22-24 Eylül 2010, Ankara Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümü
