Kaj in kako merijo študentske ankete?

»Če ne moreš dokazati, kar bi rad dokazal, dokaži nekaj drugega in se pretvarjaj, da gre za isto stvar. V osuplosti, ki sledi trku statistike s človeškim umom, bo komaj kdo opazil razliko.« (Darrell Huff, How to Lie with Statistics, 1954)

Študenti so edini neposredni vsakodnevni opazovalci poučevanja učiteljev in s tem potencialno vreden vir informacij o poučevanju, ki so ga deležni. Za potrebo po takšnih informacijah obstajata vsaj dva razloga: prvi je izboljšati učinkovitost poučevanja, drugi pa zagotoviti razumno in pošteno osnovo za sprejemanje odločitev o promociji in nagrajevanju učiteljev. Raziskave pa odkrivajo razširjen problem napačnega interpretiranja rezultatov anket in opozarjajo na vprašljivo veljavnost anket kot merskih instrumentov ter njihovo vprašljivo uporabnost za oba zgornja namena.

Veliko očitkov na račun študentskih anket se nanaša na vsebino anket (anketna vprašanja) in na veljavnost anket kot merskih instrumentov  Kar zadeva vsebino anket, je pogost očitek ta, da anketna vprašanja večinoma nimajo zveze s poučevanjem in rezultati anket že iz tega razloga ne morejo služiti kot osnova za vrednotenje poučevanja. Kar pa zadeva veljavnost anket kot merskih instrumentov, raziskave ugotavljajo, da na odgovore na anketna vprašanja vplivajo dejavniki, ki z učinkovitostjo poučevanja nimajo veliko skupnega, kot npr. pričakovanja študentov glede ocen, starost in spol učitelja, prisotnost pri urah, zahtevnost predmeta, študijska uspešnost študenta, pa tudi učiteljeva telesna privlačnost. Kot je pokazala ena od raziskav (Felton idr.,2004), k visokim ocenam v anketah prispevata nezahtevnost predmeta in spolna privlačnost učitelja, med ugotovitvami druge raziskave (Ambady in Rosenthal, 1993) pa je bila tudi ta, da je mogoče ocene študentov napovedati iz odziva študentov po 30 sekundah gledanja videa učiteljevega poučevanja brez vključenega zvoka.

V zadnjih letih se vse več kritik na račun študentskih anket nanaša na statistični vidik anket, predvsem na uporabo metod za zbiranje in analizo pridobljenih podatkov (npr. McCullough in Radson, 2011; Stark in Freishtat, 2014). Kot je znano, je za izvedbo anket najbolj značilna uporaba lestvice Likertovega tipa (najpogosteje petstopenjske ali sedemstopenjske), kjer se študenti opredeljujejo do niza trditev o predmetu in učitelju, vsakemu od odgovorov na lestvici pa se pripiše numerična vrednost, ki omogoča izračun rezultata za vsako od trditev in izračun povprečja za učitelja, oddelek ali ustanovo. V odmevnem prispevku izpred nekaj let Stark in Freishtat (2014) z Univerze Kalifornije Berkeley v ZDA (prvi je profesor statistike), ugotavljata, da je, gledano s statističnega vidika, takšno početje brez pravega smisla, ker izhaja iz predpostavke, da pomeni (pri sedemstopenjski lestvici) razlika med 3 in 4 isto stvar kot razlika med 6 in 7, da pomeni 5 isto stvar različnim študentom in študentom pri različnih predmetih ter da se da 3 in 7 uravnotežiti v dve 5. Avtorja ne vidita nobenega razloga, da bi, ko gre za učinkovitost poučevanja, moralo biti karkoli od tega res, kar ponazorita z naslednjo šalo: »Trije statistiki gredo na lov. Zagledajo srno. Prvi statistik ustreli; strel gre pol metra v levo od srne. Ustreli drugi; strel gre pol metra v desno od srne. Tretji zavpije: ‘Imamo jo’!«

Še bolj pa sta Stark in Freishtat (2014) kritična do izračunavanja in uporabe povprečij rezultatov študentskih anket. Kot pišeta avtorja, gre pri številkah 1, 2, 3 … za ordinalne kategorije (od najslabše do najboljše) in ne za količine ter bi, če bi številke nadomestili z opisnimi besedami (npr. od »povsem neučinkovit« do »izjemno učinkovit«), informacija v ničemer ne izgubila na pomenu. Avtorja sta prepričana, da bi morali, če si prizadevamo za izboljšanje poučevanja, nameniti pozornost samemu poučevanju, ne pa povprečjem s seznamov od študentov pridobljenih številk, ki s poučevanjem nimajo veliko zveze. Kompleksnosti poučevanja in pedagoške učinkovitosti namreč ni mogoče reducirati na zaporedje številk.

Zgornji očitki študentskim anketam niso edini. Avtorji opozarjajo tudi na težave pri ubesedovanju in razvrščanju vprašanj, na problem dvojnih ali trojnih vprašanj (dve ali tri vprašanja v enem), na vprašljivo uporabnost prekratkih ali prekompleksnih, nejasnih ali dvoumnih vprašanj ter »doma narejenih« vprašanj, pridobljenih z različnih seznamov, brez psihometričnega preverjanja in revidiranja.

Ne glede kritike in očitke bodo študentske ankete ostale, saj njihove vrednosti ni mogoče zanikati. Študenti imajo skozi izpolnjevanje anket edinstveno priložnost, da povedo svoje mnenje o nekaterih vidikih poučevanja in o svojih izkustvih s poučevanjem pri predmetu. Vendar pa študenti niso v dobrem položaju, da bi presojali učinkovitost poučevanja. Ankete lahko učinkovito pokažejo na težave pri poučevanju (npr. slaba slišnost, nejasnost razlage, nedostopnost učitelja), ne pa tudi vzrokov zanje. In šele če poznamo vzroke težav, lahko iščemo rešitve in predlagamo spremembe.

In s čim, če ne s študentskimi anketami, bi lahko presojali učinkovitost poučevanja? Po preprosti logiki je dokaz učinkovitega poučevanja to, kar so se študenti pri predmetu resnično naučili, in so po isti logiki pedagoško bolj učinkoviti učitelji tisti, ki več študentov pripeljejo do tega, da se naučijo več. Dejstvo je namreč, da tudi z najboljšo anketo lahko zgolj ovrednotimo stanje, kakršno je, medtem ko so za izboljšanje učinkovitosti poučevanja potrebni drugi pristopi, predvsem to, da univerze in visokošolske ustanove učiteljem omogočijo in od njih zahtevajo, da se usposobijo za učinkovito poučevanje.

Še kratko pojasnilo. Večina literature na temo študentskih anket in vprašanj, ki jih naslavlja ta prispevek, izvira iz tujih, predvsem angloameriških visokošolskih kontekstov, resnih prispevkov domačih avtorjev na to temo skorajda ni. V enem takšnih prispevkov Bren in Lavrič (2017) predstavljata metodološki okvir ter izvedbo študentskih anket, ki se danes uporabljajo na Univerzi v Mariboru. V informacijo zainteresiranemu bralcu sem v seznam virov vključil dva prispevka o izvajanju študentskih anket na slovenskih univerzah. Prvi (Mihevc, 1998) prinaša informativen zgodovinski pregled problematike študentskih anket na Univerzi v Ljubljani, drugi (Cvetek, 2006) pa krajšo primerjavo študentskih anket na Univerzi v Mariboru med letoma 1991 in 2006. V razmislek in za primerjavo s sedaj veljavnimi anketami, ki se uporabljajo na slovenskih univerzah in visokošolskih ustanovah, pa je spodaj seznam vprašanj iz prve uradne enotne (in računalniško podprte) študentske ankete na Univerzi v Mariboru, pri nastanku katere sem avtor tega prispevka sodeloval in o njej tudi pisal (Cvetek, 1991, 2006).

ŠTUDENTSKA ANKETA UNIVERZE V MARIBORU (1991)

Predmet

  1. Vsebina pri tem predmetu je v skladu z izobraževalnimi cilji programa in pričakovanji študentov.
  2. Ta predmet temelji na spoznavanju pojmov in zakonitosti.
  3. Intelektualna zahtevnost tega predmeta je visoka in terja od študentov aktivno sodelovanje ter poglobljen študij.
  4. Ta predmet je nepogrešljiv za stroko in profil diplomanta.
  5. V celoti gledano so študenti s tem predmetom zadovoljni.

Učitelj

  • Jasno posreduje glavne cilje in vsebino predmeta.
  • Študentom posreduje aktualna znanja s področja, ki ga predava.
  • Spodbuja zanimanje študentov za vsebino svojega predmeta.
  • Zahtevne vsebine predstavi na vsem razumljiv način.
  • Dobro uporablja primere in ponazoritve.
  • Spodbuja samostojno razmišljanje in intelektualno radovednost študentov.
  • Vsebino svojega predmeta povezuje z drugimi področji znanja.
  • Predstavlja izvore idej in zamisli.
  • Odkriva in spodbuja ustvarjalne sposobnosti študentov.
  • Študente navaja k uporabi sodobne literature. 
  • Študentom je lahko dostopen in pripravljen pomagati z nasveti.
  • Spoštuje študente kot osebnosti.
  • Kaže zanimanje za mnenja študentov, tudi če se razlikujejo od njegovega.
  • Skrbno in natančno odgovarja na vprašanja, ki mu jih zastavijo študenti.
  • Spodbuja študente k pogovoru o stvareh, ki se jim zdijo pomembne.
  • Izpiti pri tem učitelju so ustrezen in objektiven preizkus študentovega znanja.
  • Gledano v celoti, kako ocenjuješ učiteljevo sposobnost poučevanja?

Opomba: Študenti so na vprašanja v obliki trditev odgovarjali s 4-stopenjsko lestvico Likertovega tipa (popolnoma soglašam, soglašam, ne soglašam, nikakor ne soglašam), lahko pa so se tudi izognili odgovarjanju (ne morem se odločiti). Za računalniško podporo obdelave anket je s posebej v ta namen izdelanim programom poskrbel Računalniški center univerze (RCUM).

Viri:

Ambady, N. in Rosenthal, R. (1993). Half a Minute: Predicting  Teacher  Evaluations From  Thin  Slices of Nonverbal Behavior and Physical Attractiveness. Journal of  Personality  and  Social  Psychology, 64(3), 431–441.

Bren, M. in Lavrič, M. (2017). Ten years of students’ e-evaluation at the University of Maribor. V: Dahlgaard-Park, Su Mi and Dahlgaard, Jens J. (Eds). Challenges and opportunities of quality and sustainability in the 4th industrial revolution : proceedings, 20th QMOD-ICQSS Conference, International Conference Quality and Service Sciences. Elsinore, Danska, 5–7.

Cvetek, S. (2006). Študentske ankete nekoč in danes. Katedra, 1(6), 12–13.

Cvetek, S. (1991). Student Evaluation of Teaching at the University of Maribor, Slovenia. Prispevek na mednarodnem srečanju ISSED (International Society for Staff and Educational Development), 20.–25.6.1991,  Skalsky Dvůr, (takrat) Češka in Slovaška federacija, 1–6.

Felton, J.,Mitchell, J. in B. in Stinson, M. (2004). Web-Based Student Evaluations of Professors: The Relations between Perceived Quality, Easiness, and Sexiness. Assessment & Evaluation in Higher Education, 29(1), 91–108.

Huff, D. (1973). How to Lie with Statistics. Penguin Books, (1. izd. 1954).

McCullough, B.D. in Radson, D. (2011). Analysing Student Evaluations of Teaching: comparing means and proportions. Evaluation & Research in Education, 24(3), 183–202.

Mihevc, B. (1998). Študentske ankete o pedagoškem delu učiteljev in asistentov – od 1968 do 1998. V: Bogomir Mihevc, Barica Marentič Požarnik in sodelavci (ur.) Za boljšo kakovost študija (str. 189–209). Ljubljana: Center za pedagoško izobraževanje Filozofske fakultete & Slovensko društvo za visokošolsko didaktiko.

Stark, P. B. in Freishtat, R. (2014). An evaluation of course evaluations. Science Open Research–Section: SOR-EDU. Pridobljeno s http://www.physics.emory.edu/faculty/weeks/journal/stark-preprint14.pdf

Delite objavo na svojem družbenem omrežju...

Share on facebook
Deli na Facebook
Share on twitter
Deli na Twitter
Share on linkedin
Deli na Linkdin
Share on email
Deli na Email

Napišite komentar

Vaš e-naslov ne bo objavljen. * označuje zahtevana polja