VEIKLOS VERTINIMAS
4.1. Veiklos vertinimo pagrindai
VEIKLOS VERTINIMAS
4.1. Veiklos vertinimo pagrindai
Norint įvertinti kiekvienos programos ar veiklos ekonomiškumą, efektyvumą ir / ar rezultatyvumą, būtina aiškiai nustatyti, kokie veiklos aspektai ir kaip bus atrenkami, stebimi ir vertinami. Pradėti reikėtų nuo to, kokios norimą rezultatą sukuriančios funkcijos atliekamos.
Vertinimo procesas tampa daug paprastesnis, jei vertinama ne apskri-tai organizacijos veikla, o jos programų efektyvumas ar veiksmingumas. Tai galima padaryti, jei tiriamos organizacijos veikla skirstoma į specia-liai suformuluotas programas, susiejant jas su konkrečiomis organizacijoje atliekamomis funkcijomis arba jų rinkiniais.
Iš pirmo žvilgsnio atrodo, kad toks darbas neturi prasmės ir reikalauja daug papildomo darbo. Tačiau tik taip galima pasiekti, kad gana sudėtinga veikla būtų tinkamai išnagrinėta ir įvertinta.
Veiklos tikslų nustatymas. Kad ir kaip būtų keista, tačiau kiekvienos
organizacijos, institucijos ar sistemos veiklos tikslai nėra lengvai suvokia-mi, o nenustačius tikslų neįmanoma suprasti, ką reikėtų matuoti. Veiklos tikslai turi išplaukti iš organizacijos veiklos misijos arba paskirties. Kai tokia paskirtis apibrėžta, reikia detalizuoti, kokių rezultatų tikimasi laiko sekoje, t. y. ko siekiama arba kokie uždaviniai turi būti įgyvendinti, suderi-nus juos pagal tų uždavinių įvykdymo trukmę. Kiekvienas iš tų uždavinių įgyvendinamas atliekant tam tikrus veiksmus arba darbus. Tų darbų seka gali būti struktūruota ir išdėstyta atsižvelgiant į jų tarpusavio priklausomy-bę. Tada pasidaro aišku, kokių rezultatų reikia tikėtis atlikus kiekvieną iš tų darbų ir, vadinasi, pasirinkti atitinkamus vertinimo rodiklius.
Kiekvienos organizacijos, institucijos ar sistemos veiklos tikslai su-formuluoti strateginiuose tų organizacijų planuose, tačiau tai paprastai
būna padaryta ganėtinai abstrakčiai, todėl auditorius turi atlikti kruopštų darbą, norėdamas sudaryti būtinų įvykdyti uždavinių turinį, jų struktūrą ir sąsajas. Tai ganėtinai sunkus darbas, reikalaujantis gero tiriamos veiklos išmanymo. Sudarius tokią schemą pereinama prie kiekvieno darbo rodiklių nustatymo ir jų pasirinkimo.
Pagrindiniai veiklos rodikliai. Pasirinkti rodikliai turi būti
pamatuo-jami, patikimi, reprezentatyvūs (angl. valid), praktiškai naudingi ir leisti įvertinti laukiamų išdavų kriterijų – produktyvumo, veiksmingumo ir t. t. – reikšmes. Tie rodikliai gali būti kokybiniai ir kiekybiniai. Tenka nuspręsti, kokioje skalėje gali būti matuojami konkretūs rodikliai.
Pasirenkant kokybinius rodiklius, reikia nustatyti tų rodiklių gradaci-jas, sietinas su tos veiklos rezultatyvumu. Kaip nustatyti tokias gradacigradaci-jas, atskira problema, svarstoma toliau.
Kiekybiniams rodikliams apskaičiuoti ir įvertinti taikoma statistinės charakteristikos: vidurkiai, dispersijos, procentiliai, medianos, koreliaci-jos koeficientai ir t. t. Tų rodiklių apskaičiavimo procedūros išplėtotos ir lengvai atliekamos taikant specialiais šiems tikslams skirtas kompiuterines programas. Sunkumai prasideda aiškinant gautus vertinimus. Reikia pri-pažinti, kad statistinių žinių stygius paverčia niekais gana sunkiai surinktų duomenų tikslingą panaudojimą.
Pereinamąją vietą tarp veiklos rodiklių ir kriterijų užima gana plačiai taikomi įvairūs indeksai. Pavyzdžiui, gyventojų perkamosios galios indek-sas sujungia ir integruotai vertina tokius rodiklius kaip vidutinis atlygi-nimas, maisto produktų krepšelio kainos vidurkis, būtiniausių vartojimo prekių kainų vidurkis, komunalinių paslaugų kainos vidurkis ir kitus rodik-lius, ribojančius gyventojo galimybes tenkinti įvairius savo poreikius. šį indeksą galima traktuoti kaip kriterijų, bet jei norima įvertinti valstybėje vykdomos socialinės politikos efektyvumą ar veiksmingumą, jis tampa tik vienu iš tos politikos vertinimo rodiklių.
Renkantis veiklos matavimo rodiklius ypač svarbu pasirūpinti jų vali-dumu, t. y. reprezentatyvumu arba tinkamumu. Galimos tokios rekomenda-cijos.
Pirma, kai kurie rodikliai gali turėti akivaizdžią prasmę (angl. face
validity), nekeliančią didelių abejonių. Pavyzdžiui, kai vertinamas
111 4. Veiklos vertinimas
kandidatų, pareiškusių norą stoti į šią mokyklą, apskaičiuotas atrinkus vi-sas aukštąsias mokyklas. šis rodiklis nekelia abejonių dėl jo tinkamumo arba validumo.
antra, kai rodiklis suderintas su keliais (keliolika) pasirinktais tos veik los srities ekspertais (angl. Consensual validity).
Trečia, pasirenkamas rodiklis yra susijęs koreliaciniu ryšiu su jau pa-siteisinusiais kitais rodikliais (angl. Correlational validity).
Ketvirta, pasirenkamas rodiklis turi prognozavimo savybių (angl.
Pre-dictive validity), t. y. kai naudojamas rodiklis gali būti panaudotas dabar ir
ateityje plėtojantis veiklai.
apskaičiuojant veikos rodiklius, susiduriama su įvairiomis situacijo-mis. Viena iš jų yra duomenų nesuderinamumas (angl. Noncomparability
of Data). Tai atsitinka tais atvejais, kai naudojamasi skirtingais duomenų
šaltiniais. Kiekviename šaltinyje duomenys gali skirtis ne tik jų parengimo forma, bet ir turiniu. Reikia išsiaiškinti, kokie duomenys, gauti iš skirtingų šaltinių, tinka apskaičiuojant konkretų rodiklį, kaip juos pertvarkyti, kad būtų galima suvesti į vieną lentelę ar bazę. Tai ypač svarbu, kai naudo-jamasi skirtingų institucijų, priklausančių bendrai sistemai, duomenimis.
Papildomi rodikliai. Jeigu tiesiogiai nepasiseka išmatuoti kokios
nors veiklos rodiklių, gali būti, kad tai galima padaryti pasitelkus papildo-mus rodiklius, kurie yra susiję koreliaciniu ryšiu su norimu įvertinti rodik-liu. Tokie matavimai vadinami netiesioginiais (angl. Indirect Measures). Pavyzdžiui, norima įvertinti kokios nors studijų programos įgyvendinimo kokybę. Nemokėdami to padaryti tiesiogiai, galime pasitelkti tokį rodiklį kaip studentų skundų dėl tos studijų programos kokybės skaičius. Jis vi-sada prieinamas ir yra susijęs su tos programos studijų kokybe, t. y. netie-siogiai nusako studijų kokybės lygmenį, tačiau tik iš dalies, neatsižvelgta nei į skundų turinį, nei į auditorinių ir savarankiško darbo valandų santykį, nei į atitinkamos literatūros prieinamumą, nei į dėstytojų kvalifikaciją ir t. t. Kiekvienam tokiam veiksniui įvertinti galima pasirinkti konkretų ro-diklį. Tiesa, iškils problemų, kiek tie netiesioginiai rodikliai yra reprezen-tatyvūs ir kaip juos suvesti kartu, t. y. kaip įvertinti visų netiesioginių ro-diklių sąsajas su dominančiu integraliuoju rodikliu, šiuo atveju – studijų programos įgyvendinimo kokybe.
Nereti atvejai, kai kokia nors veikla vertinama pasitelkus jau priimtus rodiklius, tačiau dalis iš jų gali gerokai iškreipti padėtį, jei tokie rodikliai apskaičiuojami su tam tikrais nukrypimais nuo tikrovės. Jie tiesiog prastai atspindi tikrąją padėtį dėl perdėto ar nepakankamo dėmesio kokiems nors veiklos aspektams (angl. Under-or Overreporting indicators). Tarkime, studentas, nepatenkintas jo žinių įvertinimu, kreipiasi į apeliacinę komi-siją. Komisija patenkina arba ne studento skundą. Rodiklis – procentas studentų patenkintų skundų – nėra pakankamai objektyvus studentų žinių vertinimo procedūros matas dėl daugelio priežasčių, tarp kurių galima pa-minėti tokias: ne visi studentais kreipiasi į apeliacinę komisiją, nors nėra patenkinti paskelbtu vertinimu; dėstytojai nemėgsta skundų, nes mano, kad taip abejojama jų kompetencija; studentas subjektyviai vertina savo žinias ir t. t. Tačiau ir tokie rodikliai gali būti sėkmingai panaudojami, kai, pa-vyzdžiui, jų reikšmės lyginamos kasmet ar tam tikrais laiko tarpsniais; kai tokie palyginimai atliekami atsižvelgus į studijų dalykus, skirtingas prog-ramas ar skirtingus dėstytojus. Tokių rodiklių validumas taip pat gali būti patikrintas organizavus specialų eksperimentą, kurio metu nepriklausomi ekspertai vertina jo atitiktį praktikai. Deja, tai ganėtinai sudėtinga proce-dūra, kelianti abejonių dėl tokių ekspertų atrankos, paties eksperimento atlikimo metodikos, formuluojamų išvadų patikimumo ir t. t.