Софийски университет “Св. Климент Охридски” 2008 FINAL...
Transcript of Софийски университет “Св. Климент Охридски” 2008 FINAL...
1
ДЕПАРТАМЕНТ ЗА ЕЗИКОВО ОБУЧЕНИЕ И ЧУЖДЕСТРАННИ
СТУДЕНТИ
Член на ALTE
Софийски университет “Св. Климент Охридски”
2
Стандартизиран тест по български езикРетроспекция и перспективиКембридж 2008
Андонян M., Борисова A., Йончева Г., Тодоринова Ю.
3
Представени са някои основни моменти , свързани с изпитите по Стандартизираните тестове по български език:
4
Главни насоки на изследването:
Разработване на тестоветеИзпитвани лицаРезултати от изпититеИзводи от одита на ALTE 2007
5
НачалотоСъздаването и развитието на
стандартизираните тестове по български език започва през 2000 година и продължава и днес.
45 годишната история и опит на Департамента в ЧЕО и засиленият интерес към изучаването и сертифицирането на българския език като чужд са основните фактори в осъществяването на този процес.
6
Целта на теста е: Да задоволи интереса на чуждестранната
аудитория към тест по български език, създаден в съответствие с Европейската езикова рамка и стандартите на АЛТЕ.
Да служи като езиков стандарт за продължаване на образованието или за работа.
Да служи като стандартизиран инструмент за оценяване на резултатите от обучението по български език в ДЕО-ИЧС.
Да бъде част от процедурата по придобиване на българско гражданство.
7
Нива на компетентностСтандартизираният тест по български език като
чужд покрива 5 нива на езикова компетентност: A2, B1, B2, C1 and C2, които са строго приравнени към ЕЕР и работната рамка на АЛТЕ.
БАЗОВО НИВО – отговаря на ниво A2 от ЕЕР
ДОБРА КОМПЕТЕНТНОСТ – B1 и B2 от ЕЕР
ВИСОКА КОМПЕТЕНТНОСТ – C1 и C2 по ЕЕР
8
Конструиране на теста
Тестовият конструкт, типовете задачи и формат, които измерват 4-те основни рецептивни, продуктивни и интерактивни умения, са базирани на модела на комуникативната компетентност на Бахман-Тачева.
9
Съдържание на тестаЕзиковият материал за теста се подбира от
различни автентични източници: вестници списания учебници и справочници брошури художествена литература и др. Основните принципи за подбор са описани в
инструкцията за авторите на тестови задачи.
10
Критерии за подбор на съдържанието Външният контекст и езиковата
употреба за различните нива по ЕЕР Нивото на измерваните умения Типични теми и тематични области,
характерни за различните нива Социо-културен контекст Лексикален обхват Граматика Специфични трудности за изучаващите
български език като чужд.
11
Качество на тестовите задачиКачеството на тестовите задачи се установява чрез
апробирането им върху контролна група, идентична на изпитваната популация (т.нар. предварителен тест или pre-testing).
Поради обективни фактори, произтичащи от досегашния начин на администриране на изпитите за ниво, pre-testing в реални условия практически не може да се осъществи.
По тази причина качеството на тестовите задачи и валидността на теста досега са оценявани чрез апробиране в учебни условия или посредствомекспертно оценяване, организирано от Изпитния борд.
12
Нови изпитни материалиПреди да се използват, новите изпитни
материали се преглеждат и одобряват от две работни комисии:
Комисията по съдържанието проверява и одобрява езиковото и тематичното съдържание.
Комисията по етика следи за неподходяща и чувствителна езикова употреба при различни групи изпитвани лица (пол, раса, етнос, религия и др.)
13
Обучение на екипа
Изпитният борд провежда семинари и практически занятия, предназначени за:
автори на тестови задачиекзаминаториексперти, включени в
оценъчните процедури.
14
Изпитни центровеДва изпитни центъра администрират
Стандартизирания тест по български език: Тестовият център в ДЕО, съвместно с
катедрата по Български език Изпитният център в IMXA – Солун.Имаме договори за изграждане на нови
изпитни центрове в: Пиза (Италия) Нант (Франция)но те все още не действат.
15
Проверка и оценяванеИзвършва се по ясни и подробно описани в
отделни инструкции критерии за оценяване на писмена и устна продукция.Тези инструкции детайлно определят:
процедурите за оценяване критериите за оценяване граничните стойности за различните
оценки оценъчната скала
16
Оценяване
Задачите с избираем отговор се оценяват с предварително зададен брой точки, които се дават само при верен отговор.Не се отнемат точки при
грешен или непопълнен отговор.
17
Оценяване Устният изпит се оценява по
специална инструкция и формира отделна оценка, която се включва в крайната оценка от изпита с коефициент 0,25.
По регламент на устния изпит се прави пълен аудиозапис, който се съхранява в отделна папка заедно с остналите изпитни материали на кандидата.
18
Точност на оценяванетоВсички компоненти на изпита се
оценяват непосредствено след провеждането му.
Екзаминаторите се подбират от щатния състав на катедрата по български език в ДЕО. Предстои те да бъдат лицензирани от Изпитния борд.
Списъкът на лицензираните екзаминатори се утвърждава от Изпитния борд в началото на всяка учебна година.
19
Отговорности на екзаминаторитеЕкзаминаторите следва да изпълняват
стриктно оценъчните процедури и да попълват грижливо изпитните документи на кандидатите.
При непопълнени данни изпитните материали стават негодни за последващ статистически анализ и се изключват от общата бройка на изпитаните лица.
Това е особено важно за всички изпитни протоколи и двете анкетни карти, които подлежат на статистически анализ.
20
Роля на супервайзераАдекватността на оценяването на изпитните
материали се следи от наблюдаващия изпитасупервайзер, който има правото да потвърди или да оспори оценките, дадени от екзаминаторите.
При неодобрение на оценките супервайзерът има правото да ги коригира на своя отговорност, след което той внася случая за разглеждане от Изпитния борд.
Наблюдаващ изпита може да бъде ръководителят на катедрата по български език или определено от него хабилитирано лице.
21
Обща оценка от изпита
Говорене25%Писане
38%
Четене15%
Слушане22%
Общата оценка от изпита се образува от резулатите от различните части на изпита както следва:
22
Времетраене и праг на изпитаВреметраенето на целия
изпит е 3 часа. Минималният резултат
(праг) за вземане на изпита е 60% от максимума.
23
Пост-тестов анализ Кодексът за практика на АЛТЕ изисква
последващ анализ на тестовите резултати, който аргументирано да доказва, че те не са повлияни от странични фактори.
Чрез анализа на данните от двете изпитни анкети се разкрива профилът на изпитаните лица и се правят редица полезни за Департамента изводи.
Резултат от такъв анализ е и настоящата презентация.
24
Анкетни картиОтговорите в анкетните карти предоставят
необходимата информация за: предварителната подготовка и образование
на кандидатите с каква цел се явяват на изпита информационни източници за изпита и
въздействие на рекламата непосредствени впечатления от организацията
и степента на удовлетвореност от представянето на изпита
Тази информация се събира и изисква задължително от всички членове на АЛТЕ.
25
Разпределение на изпитаните лица за периода 2000-2007
Total = 419
43 5062
90
174
0
20
40
60
80
100
120
140
160
180
2000/2003 2004 2005 2006 20070
20
40
60
80
100
120
140
160
180
200
26
Цели за явявяне на изпит
За общи цели3%
Работа34%
Гражданство15%
Образование48%
Изпитите се използват предимно за продължаване на образованието, работа или гражданство.
27
B2 ниво се избира предимно за образователни цели
A2
B1
B2
C1
C2
workgeneraleducationcitizenship
28
B1 ниво се избира предимно от кандидати за гражданство
A2
B1
B2
C1
C2
workgeneraleducationcitizenship
29
B1, B2, C1 и C2 нива се избират предимно за работа
A2
B1
B2
C1
C2
workgeneraleducationcitizenship
30
Цели за явяване на изпит според средната възраст
2126
3540
education general work citizenship
31
Цели за явяване на изпитспоред пола
7
53
4
4332
75
4
4639
128
8
89
0
20
40
60
80
100
120
140
citizenship education general work
female male totalЗа гражданство се явяват повече мъже
32
Цели за явяване на изпит според националността
Turkish; 39%
Greek; 64%
Greek; 35% Other; 38%
Other; 26%
Education Work
33
Разпределение на изпитаните лица по възрастови групи
26 - 4035%
- 188%
40 +17%
19 - 2540%
34
Разпределение на изпитаните лица по пол
male53%
female47%
35
Кои са най-предпочитанитеинформационни източници за теста?
Advertissment
Test Book
Friends
IMHA Institute
Internet
None
Office
Staff
40+ years26-40 years19-25 years-18 years
36
Достатъчна ли е предварител-ната информация за теста?
YES50%NO
19%
No answer18%
Neither13%
37
Кои са факторите за подготовка за теста?
0 10 20 30 40 50 60
-18 years
19-25 years
26-40 years
40+ years
TeacherSelf-practiceText book
Преподавателят е основен фактор за предтестова подготовка.
38
Как изпитаните оценяват ефективността на предтестовата подготовка?
-18 years old
19-25 yearsold
26-40 yearsold
40+ years old
positivenegative
Младежите имат по-негативно отношение към предтестовата подготовка.
39
Какъв е средният успехза различните нива?
4.75
4.72
4.60
5.18
5.43
4.00 4.50 5.00 5.50 6.00
A2
B1
B2
C1
C2
40
Статистически средни на успеха по възрастови групи
5.1
4.6
4.99
4.93
4.84
5.38
4.75
5
5
5
4 4.5 5 5.5 6
-18
year
s19
-25
year
s26
-40
year
s40
+ye
ars
All
Mean Median
Тинейджърите показват най-високи резултати
41
Статистически средни на успеха по пол
5.01
5
4.68
4.75
2 3 4 5 6
Mea
nM
edia
n
MaleFemale
42
Среден успех и роден език
3.00 3.50 4.00 4.50 5.00 5.50 6.00
Turkish
Asian
Greek
Hebrew
Arabic
French
German
English
Italian
Spanish
Slavic
43
Как изпитаните преценяват своето представяне?
19%
15%
54%
12%
no answer
worse
as expected
better
44
Самооценка на представянето по нива
0% 20% 40% 60% 80% 100%
A2
B1
B2
C1
C2
worseas expectedbetter
27% от ниво C1 оценяват представянето си като по-лошо от очакваното
45
Как изпитаните оценяват качеството на изпита?
no answer17%
very good39%
good8%
satisfactory1%
unsatisfactory1%
excellent34%
81% отизпитаните одобряват качеството на изпита
46
Изводи от одита на АЛТЕ
Тестът за ниво B2 беше одитиран от АЛТЕ през м. юни 2007.
Одитът разкри някои пропуски и същевремено наложи незабавни действия за подобряване на качеството на теста и начина за администриране на изпитите за нива.
47
Увеличаване на броя на изпитаните лица Малкият брой изпитани лица (под 400) бе основна
критика при одита на теста. За да отговори на това изискване Съветът на
департамента реши всички чуждестранни студенти да се явят безплатно на теста за ниво В2вместо на годишен изпит по български език
С това решение се защити и тезата, че нивото B2 е предназначено за академични цели
90 студенти се възползваха от това решение Изпълнителният съвет на АЛТЕ даде
изключително висока оценка за това решение (още повече, че то е взето по наша инициатива)!
48
Апробиране на изпитните тестове Апробирането на тестовете в реални
изпитни условия, определянето на психометричните качества на тестовите задачи, надежността и валидността на тестовете остава най-важната задача с оглед на предстоящите одити на другите нива.
Наложително е въвеждането на задължителенпредварителен тест, който да служи както за определяне на нивото на кандидата, така и за апробиране на нови задачи и на отделни части от тестовете.
49
Надежност на тестовете
Въвеждане на опорни задачи с доказани психометрични параметрив различните варианти на тестовете.
Увеличаване на броя на изпитаните лица.
50
Банка от тестови задачи
Да започне работа по създаване на банка от тестови задачис установени психометрични параметри.
51
Калибрирани модели за оценяванеДа се пристъпи по-активно към
установяване накалибрирани моделиза оценяване на различните типове задачи за различните нива на теста.
52
Благодарим за вниманието