Jean-Luc PATRY1, Angela GASTAGER

38 Pages·2013·0.32 MB·Lithuanian

ISSN 1822-1645
12 http://dx.doi.org/10.7720/1822-1645.9.1
Jean-Luc PATRY1, Angela GASTAGER
Zalcburgo universitetas • salzburg university
nepriklausomŲ peer reVieWers’
eksperTŲ DiLeMos: DiLeMMas:1
1
VerTyBiŲ anTinomijos VaLues antinoMies
VerTinanT aukŠTojo When eValuaTinG hiGher
MoKsLo instituCijas2 eDuCation institutions2
SantRaUKA aBsTracT
Atliekant bet kokius įvertinimus, visada at­ Whenever evaluations are done, there are an­
siranda interesų konfliktų tarp socialinių tinomies of interests both within and between
dalininkų ir jiems patiems. Norint paaiškinti stakeholders. To ac count for such antinomies,
tokias antinomijas, buvo sukurta taksonomi­ taxonomy has been developed which will
ja, pristatoma ir aptariama šiame straipsnyje. be presented and discussed using the peer­
Kaip pavyzdys panaudotas universitetų įver­ review processes in university evaluations as
tinimo procesas, atliekamas nepriklausomų example.
ekspertų. The taxonomy contains four dimensions:
Taksonomija yra keturių dimensijų: a) iš­ a) seven values domains are distinguished
skiriamos septynios vertybių sritys (etinės, (ethical, methods, social and in teractive, legal,
metodinės, socialinės ir interaktyvios, teisi­ economic, personal, and societal values); an­
nės, ekonominės, asmeninės, visuomeninės tinomies can be within or between domains;
ir politinės); b) antinomijos gali būti „arba... b) antinomies can be of the either­or­type
arba“ (dichotomija; „alternatyvi antinomi­ (dichotomy; “alternative antinomy”), or they
ja“) arba „daugiau ar mažiau“ tipo (labiau can be of the more­or­less type (more of one
išreiškiamas kažkuris klausimas; „palaips­ issue implies less of the other; “gradual an­
ninė antinomija“); c) egzistuoja tikslų svar­ tinomy”); c) there are antinomies on the goal
bos antinomijos (prieštaringi to paties arba dimension (dif erent goals of the same or of
kito socialinio dalininko tikslai, t. y. skirtin­ diferent stakeholders are in antinomy, i.e.,
gi tikslai negali būti pasiekti vienu metu) ir cannot be achieved simultaneously) and on
priemonių masto antinomijos (nors tikslai the means dimension (although the goals are
ir neprieštarauja vieni kitiems, jų pasiekimo not in antinomy, the means to achieve them
priemonės nesuderinamos), abiem atvejais
1 Part of Patry’s contribution was written while he was
1 J.­L. Patry dalį straipsnio parašė būdamas Melburno Mo­ a visiting scholar at the Monash University, Melbourne,
nash universiteto Australijoje kviestiniu mokslininku. Australia.
2 Autoriai dėkoja dviem anonimiškiems ekspertams ir 2 The authors wish to thank two anonymous reviewers and
Denis Phillips bei Kęstučiui Pukeliui už naudingas pastabas Denis Phillips and Kestutis Pukelis for their helpful remarks
ankstesnėms šio rankraščio versijoms. to earlier versions of this manuscript.
Jean-Luc PATRY, Angela GASTAGER
NEPRIKLAUSOMŲ EKSPERTŲ DILEMOS: VERTYBIŲ ANTINOMIJOS VERTINANT AUKŠTOJO MOKSLO INSTITUCIJAS
PEER REVIEWERS’ DILEMMAS: VALUES ANTINOMIES WHEN EVALUATING HIGHER EDUCATION INSTITUTIONS 13
gali būti taikoma alternatyvi ir palaipsninė are incompatible), on both dimensions there
antinomija; d) antinomijos atveju siūloma ir can be alternative and gradual antinomies; d)
įrodinėjama normatyvinė sprendimų priėmi­ a normative hierarchy for decision making in
mo hierarchija. the case of antinomies is proposed and argued
Nepriklausomiems ekspertams verti­ for.
nant aukštojo mokslo įstaigas, galima ap­ In evaluating higher education institu­
tikti įvairius antinomijų tipus. Pateiksime tions with peer review, all types of antinomies
praktinio vertinimo metu aptiktus pavyz­ can be found. Examples for such antinomies
džius ir detaliai išanalizuosime prototipinę we have encountered in practical evaluations
antinomiją: nepriklausomi ekspertai laiko­ will be given, and a prototypical antinomy will
mi socialiniais dalininkais, todėl bus aptarti be analyzed in det ail: The peers are seen as
jų interesai ir tikslai (vieno socialinio dali­ stakeholders, and their interests and goals will
ninko vidaus antinomijos). Taikant norma­ be discussed (antinomies within one stake­
tyvinę hierarchiją, galima atrasti sprendimą, holder). Applying the normative hier archy can
bet negalima pakeisti vertintojų asmeninių help to find a solution, yet it cannot replace the
sprendimų. evaluators’ personal decision.
paGrinDiniŲ TerminŲ apiBrĖŽimai DeFinitions oF Key terMs
• Aukštojo mokslo institucijos – tai vertini­ • Higher education institutions – the database
mo antinomijų analizės duomenų bazė, kurią for the analysis of antinomies in peer review
nepriklausomi ekspertai, dirbantys įvairiose valuations of higher education institutions is
aukštojo mokslo institucijose – universitetų the authors’ own experience as peer review­
katedrose, taikomuosiuose universitetuose, ers in higher education institutions of dif erent
pedagoginiuose universitetuose ir pan. (Aus­ kinds: University departments, Applied Uni­
trijoje, Šveicarijoje, Lietuvoje ir kitose šalyse), versities, Teachers’ Colleges, etc. in Austria,
vertina remdamiesi savo patirtimi. Switzerland, Lithuania and other countries.
• Ekspertinis vertinimas – ekspertų koman­ • Peer Review – the aim of a peer reviewing
dos atliekamas vertinimas apie institucijos evaluation is typically to check the institu­
veiksmingumą specifiniais aspektais, pavyz­ tion’s efectiveness by a team of experts with
džiui švietimo, tyrimų ir administravimo respect to specific aspects, such as education,
klausimais ir pan. Dalis ekspertų yra to paties research, and administration. At least some of
akademinio lygmens kaip ir vertinami kole­ the reviewers are on the same academic level
gos bei dirba panašiose institucijose. (“peers”) as the evaluees and work in similar
• Vertybių dilemos – kai veiksmas sutelk­ institutions.
tas į tam tikras vertybes, pavyzdžiui, etines, • Values dilemmas – in a “dilemma” the pro­
asmenines, ekonomines ar teisines, t. y. „di­ tagonist can do either P or P, but no combi­
1 2
lemos“ atveju protagonistas gali atlikti P nation of both. The action is focused on certain
1
arba P , bet ne abu. Kitų antinomijų atveju values, like ethical, personal, economic, and
2
nesuderinamumas nėra griežtas – labiau sie­ legal values. In other antinomies the mutual
kiama kompromiso tarp dviejų vertybių: ry­ exclusion is not strict, instead there is a trade­
šiai tarp P ir P priklauso tipui daugiau P, of between the two values: the relationship
1 2 1
mažiau P ; mes tai vadiname palaipsninėmis between P and P is of the type the more P,
2 1 2 1
antinomijomis. the less P; we call it gradual antinomies.
2
14 aukŠtojo mokslo kokybė • the quality of higher education •2012/9
antinoMijos soCiaLiniuose anTinomies in social neTWorks
tinKLuose
In the intersection of social networks an­
Socialinių tinklų susikirtimo taškuose gali tinomies between the involved persons and
susidaryti antinomijos tarp susijusių asmenų institu tions may occur since diferent people
ir institucijų, nes skirtingi žmonės gina skir­ defend diferent and often contradicting aims
tingus ir dažnai prieštaringus tikslus bei in­ and interests. This holds also in evaluations:
teresus. Tai tinka ir įvertinimų atžvilgiu: bet any stakeholder (and we include the evalua­
kuris socialinis dalininkas (įvertintojus pri­ tors among the stakeholders) is confronted
skiriame prie socialinių dalininkų) susiduria with several antinomies between values.
su keliomis antinomijomis tarp vertybių. In evaluation processes such antinomies
Įvertinimo procesų metu tokios antino­ between values are quite frequent: most eval­
mijos tarp vertybių pasitaiko gana dažnai: uators (Turner, 2003) or at least two third of
dauguma įvertintojų (Turner, 2003) arba them (Morris & Cohn, 1993) reported that
bent jau du trečdaliai (Morris, Cohn, 1993) they had encountered ethical antinomies. As
teigė susidūrę su etinėmis antinomijomis. to the directors of foundations that financed
Trečdalis fondų direktorių, finansavusių evaluations, one third reported ethical antino­
įvertinimus, pranešė apie etines antinomijas mies (Morris, 2007). Hence such antinomies
(Morris, 2007). Taigi tokios antinomijos yra are not the exception, but the rule. Modeling
ne išimtis, o taisyklė. Jų, kaip laiko momen­ them as a moment in time, or as a single prob­
to ar pavienės spręstinos problemos, mode­ lem to be resolved, will not suffice (see Meter,
liavimas nėra pakankamas (žr. Meter, 2006, 2006, 151), rather evaluation must be seen as
151). Įvertinimas turi būti labiau laikomas process with per sistently antinomic aims and
procesu su nuolat antinomiškais tikslais ir interests. Ac cording to Morris (2007, 413), “it
interesais. Pasak M. Morris (2007, 413), „at­ appears that many challenges in this domain
rodo, kad daug šios srities sunkumų vis dar continue to slip under the radar, causing an­
ignoruojama, dėl ko vėliau vertinant atsiran­ tinomies later in the evaluation”. Addressing
da antinomijų“. Jas nagrinėti – išankstinė są­ them is a precondition and the first step if
lyga ir pirmasis žingsnis, jei ne į sprendimo, not towards a solution, so in any case towards
tai bent į supratimą ir racionalų tvarkymąsi, awareness and dealing rationally with them,
kas gali reikšti apgalvotą ir pagrįstą pasirin­ which might mean a deliberate, yet justified
kimą iš kelių variantų. Šiame darbe pirmiau­ choice among the options. In this paper we
siai pristatysime pagrindinius duomenis apie present, first, a short background of the type
naudojamą įvertinimų tipą: aukštojo mokslo of evaluations with which we are dealing: peer
institucijų nepriklausomų ekspertų įvertini­ review evaluation of higher education insti­
mą. Antra, pateiksime hierarchinę taksono­ tutions. Secondly we introduce a hierarchi­
miją antinomijų įvertinimams, kurią sudaro cal taxonomy of antinomies in evaluations,
keturios tarpusavyje susijusios dimensijos consisting in four interrelated dimensions
(vertybių sritys; alternatyvi ir palaipsninė (domains of values; alternative and gradual
antinomijos; antinomijos tikslo ir priemo­ antinomies; antinomies on the goal and on
nių lygmenimis; siūloma principų, taikomų, the means levels; and a proposed hierarchy of
susidūrus su antinomija, hierarchija). Trečia, principles to be applied when confronted with
panaudosime taksonomiją prototipinėms an antinomy). Thirdly we use the taxonomy to
antinomijoms analizuoti nepriklausomų eks­ analyze proto typical antinomies in peer review
pertų atliktuose aukštojo mokslo institucijų evaluations of higher education institutions.
Jean-Luc PATRY, Angela GASTAGER
NEPRIKLAUSOMŲ EKSPERTŲ DILEMOS: VERTYBIŲ ANTINOMIJOS VERTINANT AUKŠTOJO MOKSLO INSTITUCIJAS
PEER REVIEWERS’ DILEMMAS: VALUES ANTINOMIES WHEN EVALUATING HIGHER EDUCATION INSTITUTIONS 15
įvertinimuose. Galiausiai aptarsime ryšius Finally the relationships between the diferent
tarp skirtingų taksonomijos dimensijų ir jų dimensions of the taxonomy and their useful­
naudingumą. ness are discussed.
1 1
aukŠTojo mokslo insTiTucijŲ peer reVieW eValuaTions oF
eksperTinis VerTinimas HigHer eDuCation institutions
Nepriklausomų ekspertų atliekamas vertini­ A peer reviewing evaluation is one type of eval­
mas – vienas iš įvertinimo tipų. Jį organizuoja uation among others. It is or ganized either by
įgaliojanti įstaiga (nepriklausoma įstaiga ar a mandating agency (an independent agency
politinis prižiūrėtojas) arba pati instituci­ or the politi cal supervisor) or the institution
ja. Pastaruoju atveju institucija veikia ir kaip itself; in the latter case the institution is also the
įgaliojanti įstaiga, bet dažniausiai įvertinimas mandating agency, but initiates the evaluation
inicijuojamas dėl išorinio spaudimo. Paprastai most often under some external pressure. The
tikslas būna patikrinti institucijos veiksmin­ aim is typically to check the institution’s efec­
gumą specifiniais aspektais, pavyzdžiui, dėl tiveness with respect to specific aspects, such as
švietimo, tyrimų ir administravimo. Dėmesys education, research, and administration. The
būna sutelktas į: 1) institucijos darbą, kurį rodo focus is (1) on the performances of the institu-
joje dirbančių ar besimokančių asmenų arba tion, represented through the achievements, at­
asmenų, kaip nors susijusių su švietimo ins­ titudes, etc., of persons working or studying at
titucijos darbo ir mokymosi procesais (tai yra that institution or who are involved in any way
kai kurie iš vertinimo socialinių dalininkų), in the working and learning processes of the
pasiekimai, požiūris ir pan.; 2) faktus ir turinį, edu cational institution (these are some of the
pavyzdžiui, studijų turinį, mokslo programą, stakeholders of the evaluation); (2) on the facts
mokslinius pajėgumus ir pan. Jų autoriai gali and contents such as the curriculum, the scien­
būti kita socialinių dalininkų grupė, 3) proce- tific program, the scientific out put, etc., whose
sai ir pagrindinės struktūros (pvz., sprendimų authors may be another group of stakeholders,
priėmimo struktūros ir procesai, organizavi­ (3) on the processes and underlying structures
mas ir pan.), skirti šiam procesui atlikti arba (e.g., decision making structures and process­
sukurti tokius faktus ir turinį. es, the organization, etc.) to reach those perfor­
Paprastai procedūra vyksta taip: pasi­ mances or to develop these facts and contents.
renkama skirtingas kvalifikacijas turinčių The procedure is typically that a team of
ekspertų komanda (mažiausiai vienas eks­ reviewers of diferent qualifications (usually
pertas pagal temą, kuria rūpinasi institucija, at least an expert on the topic the institution
dėstymo ir studijavimo ekspertas, vertinimo is concerned with, an expert on teaching and
ekspertas; dažnai būna ir administravimo learning, and an expert on evaluation; often
ekspertas, prireikus – ir praktinio pritaikymo also an expert in administration and if ap­
ekspertas). Kai kurie jų yra to paties akademi­ propriate one dealing with practical applica­
nio lygmens („kolegos“), kaip vertinamieji, ir tion) is chosen. At least some of the reviewers
dirba panašiose institucijose – šis darbas su­ are on the same academic level (“peers”) as the
telktas būtent į tokius įvertintojus. Paprastai evaluees and work in similar institutions – the
ekspertai privalo deklaruoti nepriklausantys focus of the present paper lies on these evalu­
institucijai, kuri bus įvertinama. ators. The reviewers have usually to declare
16 aukŠtojo mokslo kokybė • the quality of higher education •2012/9
Pasak F. A. van Vught ir D. F. Westerheij­ their independence from the institution to be
den (1994), vertinant aukštąjį mokslą, būdin­ evaluated.
gi keturi elementai: vadovaujantis atstovas, According to van Vught and Westerhei­
įsivertinimas, ekspertinis vertinimas apsilan­ jden (1994) four elements are characteristic for
kius vietoje ir ataskaita. Tiksliau, vertinimo evaluations in higher education: a managing
procedūras, kuriose dalyvavome, sudarė to­ agent, a self­evaluation, a peer review with site
kie žingsniai (žr. Speer, 2010; panašaus sąrašo visit, and a report. More precisely, the evalua­
1 langelis): tion procedures we were involved in consisted
1. Įgaliojanti įstaiga (veikianti ir kaip in the following steps (see also Speer, 2010,
įgaliojantis atstovas) sudaro vertinimo dar­ box 1, for a similar list):
botvarkę, į kurią įtraukiami įvertinimo metu 1. The mandating agency (which acts also
atsakytini klausimai. as managing agent) formulates an evaluation
2. Vertintojus (kolegas ir kitus) parenka agenda including the questions to be answered
įgaliojanti įstaiga. within the evaluation.
3. Įvertinta institucija atlieka įsivertini­ 2. The evaluators (peers and others) are
mą, kurio rezultatai pateikiami ataskaita. chosen by the mandating agency.
4. Ekspertai perskaito ataskaitą, paprašo 3. The evaluated institution performs
papildomos medžiagos, jeigu reikia, ir sudaro a self­evaluation whose results are document­
klausimų, į kuriuos turės atsakyti institucija, ed in a report.
sąrašą. 4. The reviewers read the report, ask for
5. Institucija suteikia reikalingą pa­ additional material if necessary, and formu­
pildomą medžiagą ir atsako į kai kuriuos late a question pool to be answered by the
klausimus. institution.
6. Ekspertai apsilanko institucijoje ir 5. The institution provides the required
bendraudami su jos žmonėmis bei būdami additional material and responds to some of
vietoje ieško atsakymų į klausimus; dažnai tai the questions.
apima pirmąją atsakomąją reakciją. 6. The reviewers visit the institution and
7. Ekspertai parašo ataskaitą. through interaction with the people of the institu­
8. Paprastai institucijai suteikiama gali­ tion and a site visit look for answers to the ques­
mybė pateikti pastabas dėl ataskaitos. tions; frequently this includes a first feedback.
9. Vertintojai (ekspertai) sudaro galutinę 7. The reviewers write a report.
ataskaitą ir įteikia ją įgaliojančiai įstaigai. 8. Usually the institution has the opportu­
10. Įgaliojanti įstaiga imasi tolesnių žings­ nity to comment on the report.
nių (įvertinimo pasekmės ir pan.). 9. A final report is authored by the peers
Procedūros gali skirtis, bet bendra struk­ and handed over to the mandating institution.
tūra paprastai būna gana panaši. Ši procedūra 10. The mandating institution takes the fur­
ir taikoma antinomijų analizei; naudojant ki­ ther steps (consequences of the evaluation, etc.).
tokią procedūrą, reikia atitinkamai pritaikyti The procedures may vary, but the general
analizę. structure is usually quite similar. This will be
Nepriklausomų ekspertų aukštojo the procedure assumed for the analysis of the
mokslo institucijų įvertinimo antinomijų antinomies; if a difering procedure is used,
analizės duomenų bazė – tai autorių, kaip the analysis needs to be adapted.
nepriklausomų ekspertų, patirtis skirtingose The database for the analysis of antinomies
aukštojo mokslo institucijose: universitetų in peer review evaluations of higher educa­
katedrose, taikomuosiuose universitetuose, tion institutions to be presented below is the
Jean-Luc PATRY, Angela GASTAGER
NEPRIKLAUSOMŲ EKSPERTŲ DILEMOS: VERTYBIŲ ANTINOMIJOS VERTINANT AUKŠTOJO MOKSLO INSTITUCIJAS
PEER REVIEWERS’ DILEMMAS: VALUES ANTINOMIES WHEN EVALUATING HIGHER EDUCATION INSTITUTIONS 17
pedagoginiuose universitetuose ir pan. authors’ own experience as peer reviewers in
Austrijoje, Šveicarijoje, Lietuvoje ir kitose higher education institutions of dif erent kinds
šalyse; dėl etinių priežasčių šių instituci­ (University departments, Applied Universities,
jų nenurodome. Įvertinimo komitetuo­ Teachers’ Colleges, etc.) in Austria, Switzer­
se straipsnio autoriai paprastai atlikdavo land, Lithuania and other countries; for ethical
dėstymo ir studijavimo ekspertų funkci­ reasons we do not disclose the respective insti­
jas, paprastai programos didaktinės dalies tutions. The authors’ function in the evaluation
įvertinimą; pedagoginiuose universitetuose committees was usually the expert in teaching
visi kolegos buvo dėstymo ir studijavimo, and learning focusing particularly on the eval­
bet skirtingų sričių specialistai: straipsnio uation of the education part of the program; in
autoriai – švietimo tyrėjai, dauguma kitų Teachers’ Colleges, all peers were specialists of
kolegų – universitetų, kurių prioritetai ne teaching and learning, but with diferent foci:
tokie moksliški, dėstytojai. Be to, straipsnio the authors were the researchers in education;
autoriai dažnai atliko įvertinimo specialistų mostly the other peers where teachers from
funkcijas įvertinimo grupėje; būtent atlik­ other Colleges whose priorities were less sci­
dami šias funkcijas dažniausiai susidurdavo entific. In addition, the authors had often the
su antinomijomis. function of evaluation specialists within the
evaluation group; it is in this function that they
encountered antinomies most frequently.
2 2
Keturių DiMensijų antinoMijų a Four-DiMensionaL taXonoMy
taKsonoMija Vertinant oF antinoMies in eVaLuation
Antinomija – tai situacija, kai protagonistas An antinomy is a situation in which the pro­
gali pasirinkti vieną iš dviejų galimybių – tagonist has the choice between two possibili­
P arba P . Kiekviena jų pasižymi tam tikra ties, P and P. Each of these possibilities has a
1 2 1 2
verte (arba verčių rinkiniu), bet pasirinkus cer tain value (or set of values) for him or her,
P galimybę, nebus pasiektos vertybės, sie­ but choosing possibility P will result in not
1 1
jamos su galimybe P , o pasirinkus P , su P achieving the values associated with possibil­
2 2 1
susijusios vertybės tampa neįmanomos. Kad ity P, and doing P renders the values related
2 2
ir ką protagonistas darytų, vertybės, sieja­ with P impossi ble. Whatever the protagonist
1
mos su viena ar kita galimybe, bus atmestos. does will break the value related with one or
Galima sakyti, kad vertybės, susijusios su P the other possibility. One can also say that the
1
ir P yra antagonistinės. Vertybės, kuriomis values related with P and P are antagonistic.
2, 1 2
rizikuojama šiose antinomijose, nepriklauso The values that are at stake in these antino­
vertintinų programų ar institucijų verty­ mies are not the values of the programs or in­
bėms, nebent prieštarautų vertintojų gina­ stitutions to be evaluated unless these are in
moms ar kitoms įvertinimo procesui svar­ opposition to the values the evaluators defend
bioms vertybėms. or other values that are important within the
Dažnai egzistuoja daugiau nei dvi ga­ evaluation process.
limybės ir išplaukiančios vertybės. Pavyz­ Often there are more than two possibili­
džiui, S. Delamontas (2005) nurodo keturis ties and ensuing values. Delamont (2005) for
antagonistinius vertybių rinkinius, iš kurių instance mentions four antagonistic sets of
18 aukŠtojo mokslo kokybė • the quality of higher education •2012/9
įvertintojas gali rinktis: praktinę vertybę, values an evaluator may have to choose from:
mokslinį reikšmingumą (immortality), žlug­ practical value, scholarly immortality, project
ti pasmerktą projektą ir „nežinomų pasaulių doomed to fail, and explore the wonders of
stebuklų tyrinėjimą“. Dėl paprastumo nagri­ unknown worlds. For sake of simplicity, we
nėsime dvi vienalaikes vertybes. will deal only with two simultaneous values.
Jeigu nenurodyta kitaip, šiame darbe Unless specified otherwise, throughout
sąvoka vertybės aprėpia daugiau nei įpras­ this paper the concept of values is broader than
tai literatūroje vartojama sąvoka. Ji apima typically used in the literature; it includes what
tai, ką atitinkamas asmuo laiko svarbiais is regarded as important, relevant or necessary
dalykais, pvz., jos ar jo interesai, susiję su to achieve from the standpoint of the respective
tuo ką būtina pasiekti ir pan.; tam tikru person and includes his or her interests, etc. In
požiūriu vertybės gali būti laikomos tiks­ some way, values can be seen as goals someone
lais, kuriuos kažkas nori įgyvendinti. Šiame wants to achieve; however, in this text the term
tekste terminas tikslas priešinamas priemo- “goal” is opposed to the means that someone
nėms, naudojamoms tiems tikslams pasiek­ uses to achieve these goals (see the third di­
ti (žr. 3 taksonomijos dimensiją), ir siekiant mension of the taxonomy below) and will not
išvengti painiavos nebus vartojamas kita be used elsewhere to avoid confusion.
reikšme. It must also be mentioned that many of the
Be to, reikia paminėti, kad dauguma ver­ values are formulated as maximum (e.g., “get­
tybių formuojamos kaip maksimumas (pvz., ting as much information as possible”). The
„gauti kuo daugiau informacijos“). Straipsnio authors are well aware that focusing uniquely
autoriai puikiai supranta, kad nedera susi­ on such values is inappropriate, and that many
telkti tik ties šiomis vertybėmis ir kad daugu­ of these maximum values are unattainable.
ma tokių maksimumų yra nepasiekiama. Jų The reason for their inappropriateness and un­
netinkamumo ir nepasiekiamumo priežastis attainability is always that they are antinomic
ta, kad jos visada antinomiškos kitoms verty­ with other values; to address these antinomies
bėms; norint nagrinėti šias antinomijas, reikia it is necessary to put the values bluntly so that
tiesiai nurodyti vertybes, kad būtų atskleistas their role in the antinomies and the respective
jų vaidmuo antinomijose ir atitinkamos prie­ opposite values can be revealed.
šingos vertybės. The taxonomy to be presented has four in­
Taksonomija, kurią pateiksime, yra ketu­ terrelated dimensions:
rių tarpusavyje susijusių dimensijų: • First, seven domains that are relevant in
• Pirmiausia išskiriamos septynios sri­ evaluation studies are distinguished.
tys, svarbios įvertinimo tyrimams; • Second, two types of antinomies are dis­
• Antra, išskiriami du antinomijų tipai: tinguished: alternative antinomies (dilemmas)
alternatyvios antinomijos (dilemos) ir pa­ and gradual antinomies.
laipsninės antinomijos; • Third, antinomies on the goal and on
• Trečia, išskiriamos tikslų svarbos ir the means dimensions are distinguished.
priemonių masto antinomijos; • Fourth, a tentative hierarchy of princi­
• Ketvirta, siūloma bandomoji principų, ples to be used when trying to solve antino­
kurie bus naudojami antinomijas įvertinimo mies in evalua tion studies is pro posed.
tyrimų metu, hierarchija. The first three dimensions have been ap­
J.­L. Patry ir A. Gastager (2004) pritaikė plied to the evaluation of teaching in a spe­
pirmas tris dimensijas mokymui įvertinti tam cific university in Patry and Gas tager (2004).
tikrame universitete. Šiame darbe pirmoji In the present paper, the first dimension has
Jean-Luc PATRY, Angela GASTAGER
NEPRIKLAUSOMŲ EKSPERTŲ DILEMOS: VERTYBIŲ ANTINOMIJOS VERTINANT AUKŠTOJO MOKSLO INSTITUCIJAS
PEER REVIEWERS’ DILEMMAS: VALUES ANTINOMIES WHEN EVALUATING HIGHER EDUCATION INSTITUTIONS 19
dimensija šiek tiek patobulinta, pridėta ket­ been improved slightly, the fourth dimension
virtoji dimensija ir visos pritaikytos nepri­ has been added, and the application is to peer
klausomam aukštojo mokslo institucijų eks­ reviewing in the evaluation of higher educa­
pertiniam įvertinimui. tion institutions.
2.1. VerTyBiŲ sriTys 2.1. DoMains oF VaLues
Norint identifikuoti vertybių antinomijas To identify values antinomies in evaluation, it is
vertinant, pirmiausia reikia išskirti tas, ku­ first necessary to distinguish the values that are
rios yra „statomas ant kortos“ (svarbiausios). at stake in an evaluation. In order to avoid being
Vengiant siauro požiūrio, naudinga sudaryti too narrow in doing this it is useful to have a list
galimų antinomijoje būsiančių vertybių są­ of potential values that could be in antinomy so
rašą, kad nebūtų pamiršta nė viena svarbi that no important domain gets forgotten.
sritis. In a meta­evaluation study of evaluators’
Vertintojų (Gastager, Patry, 2006) antino­ antinomies (Gastager & Patry, 2006) six areas
mijų meta­įvertinimo metu buvo išskirtos še­ of values were distinguished: Ethical, methodi­
šios vertybių sritys: etinės, metodinės, socia­ cal, social and intera ctive, legal, economic, and
linės ir interaktyviosios, teisinės, ekonominės personal values; further analyses showed that a
ir asmeninės; vėlesni tyrimai parodė, kad seventh domain was necessary: societal issues.
reikalinga ir septinta sritis – visuomeninės Six of seven domains can be found in the litera­
vertybės. Šešios iš septynių sričių minimos ture on evaluation; only the economic domain is
literatūroje apie įvertinimą; retai kalbama rarely addressed. The domains are presented be­
tik apie ekonominę sritį. Šiame straipsnyje low with a few examples from peer review evalu­
aptariant sritis pateikiami keli pavyzdžiai iš ations of higher education institutions; these ex­
ekspertinio aukštojo mokslo institucijų verti­ amples are by no means exhaustive, but rather
nimo. Pavyzdžiai nėra išsamūs, tik iliustruoja serve as illustrations for the values at stake.
svarbiausias vertybes. 1. Ethical values include values based on
1. Etinės vertybės apima etiškai pagrįstas ethical justification. Examples for such values
vertybes: sąžiningumą ir skaidrumą (pvz., are honesty and transparen cy (e.g., explain­
aiškinant vertinimo priemones ir pagrindi­ ing the in struments and the central is sues of
nius dalykus tiriamiesiems). Kita vertybė – the evaluation to the investigated persons).
pažado laikymasis (pvz., dėl konfidencialu­ A further value is holding ones promi se (for
mo). Tokio pobūdžio vertybės aptariamos instance regarding confidentiality). Values of
per etinius debatus, tiriant įvertinimą (pvz., this kind are dis cussed in the ethical debates
Morris, 2005; Schwandt, 1997; Simons, 2006); in evaluation research (e.g., Morris, 2005;
dauguma vertinimo asociacijų yra sukūru­ Schwandt, 1997; Simons, 2006), most evalua­
sios etines normas (pvz., Amerikos įvertini­ tion association have developed ethical guide­
mo asociacija, 2004; Australazijos įvertinimo lines (e.g., American Evaluation Association,
bendrija, 2000; Jungtinis švietimo įvertinimo 2004; Australasian Evaluation Society, 2000;
standartų komitetas, 1994), o visi vertintojai Joint Committee on Standards for Educational
vienaip ar kitaip atsižvelgia į etinius aspek­ Evaluations, 1994), and all evaluators include,
tus. Pavyzdžiui, W. Shadish, T. D. Cook ir in one way or another, ethical reflections.
L. C. Levington (1991) atskleidė įvairių auto­ Shadish, Cook, and Levington (1991), for in­
rių etines nuostatas vertinant; vienos nuoro­ stance, showed the ethical backgrounds of dif­
dos į etiką yra išsamesnės už kitas, skiriasi ir ferent important authors in evaluation; some
autorių požiūriai. refer ences to ethics are more explicit, others
20 aukŠtojo mokslo kokybė • the quality of higher education •2012/9
Reikia paminėti, kad čia vartojama etinių are rather implicit, and there are many difer­
vertybių sąvoka yra siauresnė už bendrąją. ences between authors.
Etinės vertybės aptariamos per etinius de­ It must be mentioned that the concept of
batus, pagrindinį dėmesį skiriant tam, kaip ethical values used here is narrower than the
žmonės turėtų elgtis vieni su kitais; šiuo kon­ concept of values in general (see above). Ethi­
krečiu atveju – kaip įvertintojai turėtų elgtis cal values are values which are addressed in
su dalyvaujančiais asmenimis (socialiniais ethical debates, the focus being on how people
dalininkais, žmonėmis, dirbančiais aukštojo should deal with each other, in this particular
mokslo institucijoje ir pan.). case how the evaluators should deal with the
Tipiškos nepriklausomų ekspertų eti­ people involved in the evaluation (stakehold­
nės vertybės – etiškas elgesys, pavyzdžiui, ers, people working in the higher education
gerbiamas dalyvio savarankiškumas, infor­ institution, etc.).
macija dėl sutikimas, vengiama skriaudos ir Typical ethical values of peer reviewers
apgaulės, ir pan.; sąžiningumas ir skaidru­ are ethical conduct like respecting the partici­
mas, pavyzdžiui, vertybių detalizavimas, su­ pants’ autonomy, informed consent, avoiding
sikoncentravimas į faktus, o ne į insinuacijas, harm and deception, etc.; honesty and trans­
ir pan.; konfidencialumas, vadinasi, negalima parency, like making values explicit, focusing
atskleisti informantų vardų (anonimiškumas on facts instead of insinuations, etc.; confiden­
neįmanomas, nes skirtingų grupių atstovai tiality, which means not revealing the names
susitinka asmeniškai); taip pat gerbtinas ins­ of the informants (anonymity is not possible
titucijos poreikis gauti grįžtamąją informaci­ since in the site visit the representatives of the
ja ir reaguoti į ją. diferent groups of the institution are met in
2. Metodais renkama informacija – tai person); and respecting the institution’s need
pavyzdžių rinkimas, plano sudarymas, ver­ for information through feedback and giving
tinimas, tikėtinų konkuruojančių hipote­ the possibility to respond.
zių atmetimas, tinkama duomenų analizė 2. The methods include everything that is
ir interpretavimas, ir pan. Tam priklauso done to gather valid information, such as sam­
ir metateorinės, metaetinės bei metodolo­ pling, design, assess ment, ruling out plausible
ginės vertybės, pabrėžiančios pagrindinius rival hypotheses, but also appropriate analysis
vertinimui naudojamus metodus. Ko gero, and interpretation of the data, etc. Included
metodai yra labiausiai aptarinėjami vertini­ are also the meta­theoretical, meta­ethical,
mo klausimai; M. C. Alkin ir C. A. Christie and methodo logical values underlying the ac­
(2004, p. 13), D. T. Campbell, T. D. Cook ir tual met hods used in the evaluation. Methods
L. J. Cronbach suvokia vieną iš trijų „įverti­ belong probably to the most discussed issues
nimo medžio“ šakų kaip metodų šaką; kita in evaluation; Alkin and Christie (2004, p. 13)
vertus, E. Guba ir Y. S. Lincoln (1989, 2000), conceive one of the three main branches of their
aprašydami medžio „įvertinimą“, kritikuoja “evaluation tree” as the me thods branch with
šiuos metodus. authors like Campbell, Cook, and Cronbach; on
Bendras metodų vertybių tikslas – gauti the other hand, authors like Guba and Lincoln
optimalius duomenis apie instituciją; šiame (1989, 2000), who are depicted in the “valuing”
kontekste sąvoką optimalus autoriai gali su­ branch of the tree, criticize these methods.
prasti skirtingai. Vis dėlto, metodai nagrinėja Methods values serve the general aim of
klausimą, kaip vertintojai renka duomenis ir gaining optimal information about the institu­
argumentuoja savo teiginius (įskaitant ir savo tion; diferent authors may difer in what they
padarytas išvadas). Nors metodais kartais consider optimal in this context. In any case,
Jean-Luc PATRY, Angela GASTAGER
NEPRIKLAUSOMŲ EKSPERTŲ DILEMOS: VERTYBIŲ ANTINOMIJOS VERTINANT AUKŠTOJO MOKSLO INSTITUCIJAS
PEER REVIEWERS’ DILEMMAS: VALUES ANTINOMIES WHEN EVALUATING HIGHER EDUCATION INSTITUTIONS 21
suabejojama (pvz., rezultatais nepatenkinti methods address the question how the evalu­
socialiniai dalininkai; žr. Chelimsky, 2006), ators proceed in gathering data and in arguing
susijusius klausimus paprastai sprendžia įver­ their statements (including the conclusions they
tinimo specialistai. reach). Although sometimes methods are being
Visais įvertinimų atvejais viena svar­ challenged from the outside (e.g., by stakeholders
biausių vertybių – pagrįstumas (validity). who are not satisfied with the results, see Chelim­
Tai suprantama kaip idealus niekieno ne­ sky, 2006, for an example), the relevant issues are
paveiktas vertinimas; kadangi tai nerealu, typically dealt with by specialists in evaluation.
svarbu pagrįsta teorija paaiškinti šališkumą In all evaluations one of the most impor­
(pvz., Patry, 2011). Visos pastabos priklauso tant values is validity. This includes the ideal
nuo teorijos (Hanson, 1958), tad vertinto­ of uninfluenced assessment; because this is not
jams žinoti pagrindinę teoriją, net jeigu ver­ realistic, it is important to account for biases
tinimas ir nėra skirtas teorijoms patikrinti. with a reasonable theory (see, for instance, Pa­
Dėl epistemologijos skirtumų (žr. Alkin, try, 2011). Further, since all observation is the­
Christie, 2004; Shadish ir kt., 1991; ir kt.) ory­dependent (Hanson, 1958), it is necessary
reikėtų atsižvelgti į asmens nuomonę – juk that the evaluators are aware of their underly­
įvertinimo komiteto ekspertų požiūriai gali ing theory even if evaluation does not aim at
skirtis, o neišsiaiškinus kyla nesusipratimai testing theories, and because of the diferences
ir painiava. in epistemology (see Alkin & Christie, 2004;
3. Socialinės ir interaktyvios vertybės su­ Shadish et al., 1991; and others), it is also ap­
sijusios su elgesiu ir aprėpia pagarbą, man­ propriate to be aware of one’s stand in this re­
dagumą, bendravimo stilių, derybas ir pan., gard – it might well be that the peers within
jautrumą (Forss ir kt., 2002, p. 35), taktą (van an evaluation committee might have diferent
Manen, 1991) arba tinkamus ryšius (Abma, opinions which, if not made explicit, may lead
2006) bendraujant ir pan. Sąvokos pataria- to misunderstandings and confusion.
masis demokratinis požiūris (House, 1980; 3. Social and interactive values concern
House, Howe, 2000; ir pan.), ketvirtos kar- requests and expectancies about dealing with
tos įvertinimas (Guba, Lincoln, 1989) ar su- each other and include courtesy, politeness,
teikiantis mokėjimų įvertinimas (Fetterman appropriate interaction stiles, negotiation, etc.,
ir kt., 1996) dažniausiai vartojamos šiems “Fingerspitzengefühl” (Forss and others, 2002,
tikslams. 35), tact (van Manen, 1991) or adequate rela­
Šios srities vertybės – socialinės psicho­ tionship (Abma, 2006) in social interaction,
logijos tema, kur pagrindinis dėmesys skiria­ etc. Concepts like the deli berative democratic
mas socialiniams ryšiams optimizuoti, o viską approach promoted by House (1980; House &
siejanti vertybė – renkant būtiną informaciją Howe, 2000; etc.), the fourth generation evalu­
gerbti partnerių orumą, asmenybę, poreikius ation (Guba & Lincoln, 1989) or empower­
ir savarankiškumą. ment evaluation (Fetterman and others, 1996)
Bet koks socialinis bendravimas ir tinka­ focus partic ularly on this issue.
mas elgesys priklauso nuo situacijos (Patry, The values addressed in this domain are
2011), vadinasi, vertintojai turi atsižvelgti į the topic of social psychology and focus on the
kontekstą. Kitaip sakant, vertinant jų vaid­ question of optimizing social interaction, the
muo yra kitoks nei įprastai bendraujant, susi­ overarching value being that the dignity, the
tikus kitomis aplinkybėmis, – tokiose mažose personality, the needs and the autonomy of the
šalyse kaip Austrija, Šveicarija ar Lietuva tai partners are respected while the necessary in­
atsitinka dažnai. formation is acquired.