MEMAKNAI HASIL PISA MELALUI PERSPEKTIF KELEMAHAN SAMPEL: SAATNYA BERANJAK DARI PARADIGMA RANKING

(1)

MEMAKNAI

HASIL

PISA

MELALUI

PERSPEKTIF

KELEMAHAN

SAMPEL:

SAATNYA

BERANJAK

DARI

PARADIGMA

RANKING

Interpreting PISA Results through Sample Weaknesses Perspective:

It’s Time to Move from Rank Paradigm

Rahmawati

Pusat Penilaian Pendidikan, Balitbang, Kemdikbud rahmawati@kemdikbud.go.id

Abstract. Most of the time, an international study result is associated with the acquisition of rank and position

comparison between countries. One of the most widely recognized international studies recently, is the Programme for International Student Assessment (PISA). Indonesia has been following PISA from 2001 to 2015. Unfortunately, information that often known by public is the lowest ranking or low score. The eligible PISA sample are 15 years old students in the formal school system. The scope of the sample is weak when the coverage of students residing in the school system differs across countries, as well as the learning duration of 15-year-olds students. This study aims to present empirical evidence of the weakness of the scope of the sample which affecting student achievement and at the end the rank and position comparison. Empirical data used in this study are international PISA database cycles of 2003, 2006, 2009, 2012, and 2015. The analysis performed in order to compare student achievement between the age of 15 years old who has been schooling 9 years with age of 15 years who has been schooling 10 years. This comparison was conducted for each participating countries PISA for 5 PISA study cycles. The results show that years of schooling makes a difference. In all countries, students with 10 years of schooling achievement are higher than students with 9 years of schooling. This finding applies to PISA 2003 database upto PISA 2015. Ironically, the data analysis results show that the proportion of students who have 10 years of schooling experiences, vary between countries. This unbalance proportion raises issues of bias. A country which dominated by 10-years of schooling students tends to benefit from countries where more students are only nine years of schooling experiences. The sample bias should be prudent in interpreting the ranking of PISA results.

Keywords: PISA, Years of Schooling, Sample Bias.

Abstrak. Studi internasional akrab dikaitkan dengan perolehan ranking dan perbandingan posisi antar negara.

Salah satu studi internasional yang diakui secara luas adalah Programme for International Student Assessment (PISA). Indonesia telah mengikuti PISA sejak tahun 2001 sampai 2015, dan acapkali yang diketahui publik adalah ranking terbawah atau skor yang rendah. Sampel PISA adalah siswa di sistem persekolah formal yang berusia 15 tahun. Ruang lingkup sampel tersebut lemah ketika cakupan siswa yang berada di sistem persekolahan berbeda antar negara, demikian pula dengan lama belajar siswa usia 15 tahun. Penelitian ini bertujuan untuk menyajikan bukti-bukti empirik tentang kelemahan ruang lingkup sampel yang memengaruhi hasil capaian siswa dan ranking negara. Data empirik yang digunakan adalah data PISA internasional tahun 2003, 2006, 2009, 2012, dan 2015. Perbandingan capaian siswa antara usia 15 tahun lama belajar 9 tahun dengan usia 15 tahun lama belajar 10 tahun dilakukan untuk setiap negara partisipan PISA. Perbandingan tersebut dilakukan pada 5 siklus studi PISA. Hasil menunjukkan bahwa lama belajar memberikan perbedaan. Pada semua negara, siswa dengan lama belajar 10 tahun capaiannya lebih tinggi dibandingkan siswa dengan lama belajar 9 tahun, dan berlaku pada hasil PISA 2003 sampai PISA 2015. Ironisnya hasil analisis data menunjukkan proporsi siswa lama belajar 10 tahun antar negara tidaklah sama, sehingga berpotensi bias terhadap hasil capaian. Negara yang didominasi siswa belajar 10 tahun cenderung diuntungkan dibandingkan negara yang lebih banyak siswanya baru belajar 9 tahun. Bias sampel hendaknya menjadikan kehati-hatian dalam memaknai ranking hasil PISA.

(2)

PENDAHULUAN

Apakah yang terbayangkan dari hasil studi internasional yang diikuti oleh Indonesia? Umumnya jawaban pertanyaan tersebut tidak jauh dari peringkat terbawah, ranking sepuluh terendah, nilai Indonesia jauh di bawah nilai rata-rata. Hal yang sangat lumrah.

Salah satu studi internasional yang diikuti oleh Indonesia adalah programme for international student assessment (PISA). Studi tersebut dipercaya dan diakui oleh banyak negara dan saat ini menjadi studi di bidang capaian pendidikan yang diikuti oleh lebih dari 80 negara dengan lebih dari 550.000 siswa menjadi sampel studi tersebut. Indonesia berpartisipasi pada PISA sejak awal dimulai tahun 2001 sampai 2018.

Jika kata kunci pencarian hasil pisa Indonesia digunakan pada mesin pencari internet, maka laman yang muncul sebagai hasil pencarian akan memuat tajuk judul seputar peringkat dan ranking. Hasil pencarian pada bagian gambar akan memuat grafik, tabel, maupun infografis mengenai peringkat, ranking, posisi atau urutan Indonesia dibandingkan dengan negara peserta lainnya. Padahal tujuan utama dari PISA adalah mengevaluasi system

pendidikan di seluruh dunia

(www.oecd.org/pisa), bukan sekedar membuat daftar urutan negara berdasarkan capaian siswanya.

Interpretasi hasil asesmen secara referensi norma ketika tujuan asesmen tersebut membuat evaluasi system atau diagnose memerlukan kehati-hatian. Pada asesmen kemampuan Bahasa, sebagaimana asesmen lainnya yang erat dengan pertumbuhan anak, hasil akan disimpulkan secara normative dengan menyatakan peserta tes memiliki kemampuan yang setara dengan kelompok usia tertentu (McCauley & Swisher, 1984). Simpulan yang mencocokkan dengan kelompok usia tersebut akan valid ketika definisi kemampuan dari asesmen hanya dipengaruhi oleh usia sampel dan bukan faktor lainnya (Ebert & Scott, 2014). Penelitian Ebert dan Scott (2014) menunjukkan ketika sampel berada pada kelompok usia yang lebih tua, kemampuan berbahasa akan dipengaruhi oleh pengalamannya belajar di sekolah. Simpulan tentang referensi norma umur lebih valid pada kelompok usia muda yang relative tidak dipengaruhi oleh pembelajaran dari sekolah.

PISA adalah studi yang menarik sampel berdasarkan usia. Sampel yang berhak mengikuti tes PISA adalah siswa usia 15 tahun

dengan asumsi telah menyelesaikan masa pendidikan dasar 9 tahun. PISA bertujuan untuk mengetahui, kecakapan hidup seperti apakah yang dimiliki oleh siswa dari berbagai system pendidikan di seluruh dunia ketika telah dibekali selama 9 tahun (OECD, 2017). Namun asumsi telah menyelesaikan pendidikan dasar selama 9 tahun ketika siswa berusia 15 tahun menjadi ambigu saat usia memasuki pendidikan dasar bervariasi lintas system pendidikan. Suatu negara memiliki kebijakan pendidikan dasar dimulai saat anak berusia 6 tahun, tetapi negara lainnya menghimbau orangtua untuk menyekolahkan anak di usia 7 tahun. Perbedaan usia masuk sekolah tersebut mengakibatkan lama pengalaman belajar yang berbeda bagi anak kelompok usia 15 tahun. Jika memulai sekolah pada usia lebih mudah, maka saat berusia 15 tahun, semakin lama pengalaman belajar yang dimilikinya.

Wu, M (2009) membahas permasalahan perbedaan lama belajar tersebut dengan cara membandingkan hasil PISA dengan hasil studi internasional lainnya yaitu trend in international mathematics and science study (TIMSS). Berbeda dengan PISA, TIMSS memilih sampel berdasarkan level kelas: kelas 4 ataukah kelas 8. Pemilihan sampel TIMSS memastikan setiap siswa sampel memiliki durasi pengalaman belajar yang sama lintas semua negara peserta. Hasil penelitian Wu menunjukkan bahwa durasi bersekolah serta cakupan materi pada kedua survey mampu menjelaskan 93% dari perbedaan skor antar 22 negara partisipan yang mengikuti kedua studi PISA serta TIMSS tahun 2003.

Penelitian ini bertujuan untuk mengkaji pengaruh lama masa belajar terhadap capaian siswa pada studi PISA. Pengaruh tersebut dianalisis berdasarkan data seluruh negara peserta sejak PISA 2003, 2006, 2009, 2012, dan 2015. Diharapkan hasil kajian ini dapat menimbulkan pemahaman baru bahwa simpulan mengenai ranking dan peringkat tidak dapat dilepaskan secara bebas dari konteks pemilihan sampel yang bervariasi dari lama masa belajar.

METODE

Penelitian ini merupakan penelitian kuantitatif yang menggunakan database internasional PISA tahun 2003 sampai 2015 (https://nces.ed.gov/surveys/pisa/idepisa/). Data tersebut melibatkan hasil capaian lebih dari 72 negara peserta dengan jumlah siswa sampel setiap siklusnya sebesar 300.000 sampai

(3)

500.000 siswa. Aplikasi daring dari National Center for Educational Statistics berupa alat analisis digunakan untuk menghasilkan tabel capaian setiap negara serta persentase peserta setiap negara berdasarkan jenjang kelas.

Variable yang digunakan dalam kajian ini adalah capaian matematika siswa, capaian sains siswa, capaian membaca siswa, serta jenjang kelas yang sedang ditempuh oleh siswa saat menempuh tes PISA. Analisis yang digunakan adalah analisis deskriptif sederhana yang menghasilkan tabel rerata serta persentase siswa untuk setiap domain berdasarkan kelas dan negara. Variable jenjang kelas yang sedang ditempuhnya merupakan variable yang merepresentasikan durasi pengalaman belajar (years of schooling).

Penggunaan alat analisis daring memudahkan proses analisis karena capaian siswa yang berdasarkan nilai plausible values secara otomatis telah dijalankan, demikian pula dengan perhitungan galat pengukuran akibat teknik sampling yang berstrata.

HASIL DAN PEMBAHASAN

Capaian Internasional

Tabel 1,2 dan 3 menunjukkan capaian skor matematika, membaca, serta sains studi PISA 2003 sampai 2015 dari negara-negara OECD. Capaian siswa pada setiap siklus PISA dikelompokkan berdasarkan kelas yang sedang ditempuhnya: apakah kelas 9/lebih rendah dari kelas 9 ataukah kelas 10/lebih tinggi dari kelas 10. Pengelompokan tersebut menunjukkan tahun lama belajar atau pengalaman belajar siswa. Kelas 9 atau lebih rendah artinya memiliki masa bersekolah kurang dari 9 tahun, sedangkan kelas 10 atau lebih artinya memiliki masa bersekolah lebih dari 10 tahun.

Hasil pada ketiga tabel menunjukkan bahwa secara rerata OECD, siswa kelas 10 nilainya lebih tinggi dibandingkan siswa kelas 9, lintas semua domain literasi dan berlangsung sejak PISA 2003 sampai 2015. Selisih nilai antara kedua kelompok tersebut mencapai 66 poin dari simpangan baku 100. Perbedaan ini begitu lebar terutama pada skor membaca. Perbedaan kemampuan siswa kelas 10 dengan kelas 9 pada negara-negara OECD peserta PISA relative konstan, 60 poin beda baik pada matematika, sains maupun membaca sejak siklus PISA 2003 sampai 2015. Konsistensi hasil tersebut menunjukkan bahwa benar terdapat beda kemampuan antara sampel siswa yang telah bersekolah 10 tahun dengan siswa yang lama bersekolahnya 9 tahun.

Merujuk kepada persentase siswa kelas 10 dibandingkan siswa kelas 9 pada negara-negara OECD peserta PISA, tampak secara rerata jumlah siswa kelas 10 lebih banyak dibandingkan jumlah siswa kelas 9, namun perbedaannya berkisar antara 2-8%.

Tabel 1. Rerata Skor Matematika PISA Negara OECD

kelas 9 atau lebih rendah kelas 10 atau lebih tinggi 2015 452 46% 509 54% 2012 456 46% 519 54% 2009 457 49% 519 51% 2006 456 47% 517 53% 2003 462 48% 524 52%

Tabel 2. Rerata Skor Membaca PISA Negara OECD

Tabel 3. Rerata Skor Sains PISA Negara OECD

kelas 9 atau lebih rendah kelas 10 atau lebih tinggi 2015 453 46% 513 54% 2012 465 46% 524 54% 2009 463 49% 523 51% 2006 461 47% 521 53% 2003 - - - -

Capaian Nasional

Hasil capaian siswa Indonesia juga menunjukkan adanya perbedaan antara siswa kelas 10 atau lebih tinggi dibandingkan siswa kelas 9. Siswa kelas 10 capaiannya lebih tinggi 50 poin skor dibandingkan siswa kelas 9. Jika dilihat dari selisih absolut, tampaknya perbedaan yang terjadi di Indonesia lebih kecil dibandingkan perbedaan negara-negara OECD. Namun jika perbedaan tersebut dihitung secara relative terhadap rerata nilai Indonesia, maka selisih 50 poin adalah sekitar 0,17 dan lebih tinggi maknanya dibandingkan beda relative negara-negara OECD.

Berbeda dengan negara OECD, perbedaan negara Indonesia terlebar pada domain matematika. selain itu, persentase siswa Indonesia di kelas 9 lebih besar dibandingkan dengan siswa di kelas 10. Perbedaan persentase siswa paling mencolok pada PISA 2003, hampir 2/3 bagian sampel adalah siswa dengan lama

(4)

belajar 9 tahun. Hal ini tentunya berdampak kepada hasil total Indonesia secara rata-rata.

Tabel 4. Rerata Skor Matematika PISA Indonesia

Tabel 5. Rerata Skor Membaca PISA Indonesia

Tabel 6.Rerata Skor Sains PISA Indonesia

kelas 9 atau lebih rendah kelas 10 atau lebih tinggi 2015 386 53% 422 47% 2012 361 48% 400 52% 2009 359 55% 409 45% 2006 366 52% 424 48% 2003

Melihat kecenderungan perbedaan hasil capaian antara siswa kelas 9 dengan siswa kelas 10, menarik melihat dampaknya terhadap peringkat negara-negara peserta jika dilakukan sub sampel pada sampel PISA. Tabel 7 adalah perbandingan peringkat negara-negara antara dua kondisi: (a) ketika digunakan data seluruh siswa sampel yaitu siswa berusia 15 tahun sesuai definisi PISA, (b) ketika digunakan data sampel siswa berusia 15 tahun yang berada di kelas 9 ketika menempuh tes PISA.

Hasil menunjukkan bahwa peringkat ataupun ranking ataupun urutan yang lazim menjadi focus utama pemberitaan menjadi berubah ketika dilakukan subsample berdasarkan kondisi lama belajar di sekolah. Indonesia yang berdasarkan data seluruh siswa berada di peringkat ke 9 dari posisi terbawah, naik 4 peringkat menjadi ke 13 dari bawah jika perbandingan ranking hanya berdasarkan pada hasil siswa kelas 9. Data menunjukkan pula 6 negara tidak memiliki siswa kelas 9, semua siswa 15 tahun di keenam negara tersebut telah belajar di sekolah selama 10 tahun atau lebih. Keenam negara tersebut adalah: Jepang, Norwegia, NewZealand, United Kingdom, Iceland, dan Malta.

Tabel 7. Perbandingan Capaian Negara Peserta PISA Berdasar Data Seluruh Sampel dan Data Siswa Kelas 9

Skor Matematika PISA 2015 semua siswa sampel

Skor Matematika PISA 2015 siswa kelas 9

Singapore 564 Chinese Taipei 536 Hong Kong - China 548 Macao - China 528

Macao - China 544 Estonia 527

Chinese Taipei 542 Hong Kong - China 527

Japan 532 Singapore 522

B-S-J-G (China) 531 Denmark 519

Korea, Republic of 524 Finland 517

Switzerland 521 Korea, Republic of 517

Estonia 520 Switzerland 514 Canada 516 B-S-J-G (China) 511 Netherlands 512 Poland 510 Denmark 511 Canada 500 Finland 511 Ireland 500 Slovenia 510 Sweden 495

Belgium 507 Russian Federation 493

(5)

Poland 504 Latvia 487 Ireland 504 Czech Republic 486

Norway 502 Netherlands 482

Austria 497 Hungary 481

New Zealand 495 Lithuania 478

Vietnam 495 Slovak Republic 472 Russian Federation 494 Australia 470 Sweden 494 Buenos Aires - Argentina 469 Australia 494 OECD average 462

France 493 Slovenia 459

United Kingdom 492 Croatia 459

Czech Republic 492 Luxembourg 453

Portugal 492 Israel 452

OECD average 490 Austria 448

Italy 490 Belgium 447

Iceland 488 Romania 446

Spain 486 Bulgaria 445

Luxembourg 486 Portugal 435

Latvia 482 Spain 435

Malta 479 International average 434

Lithuania 478 Italy 429

Hungary 477 Vietnam 423

Slovak Republic 475 Moldova, Republic of 420 Israel 470 Montenegro, Republic of 418

United States 470 Albania 406

Croatia 464 Thailand 404

International Average 462 France 402

Buenos Aires - Argentina 456 United States 400

Greece 454 Costa Rica 399

Romania 444 Mexico 391

Bulgaria 441 Chile 389

Cyprus 437 United Arab Emirates 389

United Arab Emirates 427 Turkey 384

Chile 423 Trinidad and Tobago 376

Turkey 420 Uruguay 375

Moldova, Republic of 420 Georgia 372

Uruguay 418 Cyprus 370

Montenegro, Republic of 418 Indonesia 369 Trinidad and Tobago 417 Macedonia, Republic of 368

Thailand 415 Qatar 368

Albania 413 Colombia 365

Mexico 408 Greece 363

Georgia 404 Algeria 356

Qatar 402 Lebanon 352

Costa Rica 400 Peru 345

Lebanon 396 Kosovo 344

Colombia 390 Brazil 328

(6)

Indonesia 386 Jordan 324 Jordan 380 Dominican Republic 314

Brazil 377 Macedonia, Republic of 371 Tunisia 367 Kosovo 362 Algeria 360 Dominican Republic 328

Tabel 8. Perbandingan Capaian Negara Peserta PISA Berdasar Data Seluruh Sampel dan Data Siswa Kelas 10

Skor Matematika PISA 2015 semua siswa sampel

Skor Matematika PISA 2015 siswa kelas 10

Singapore 564 B-S-J-G (China) 588

Hong Kong - China 548 Switzerland 574

Macao - China 544 Macao - China 574

Chinese Taipei 542 Singapore 569

Japan 532 Hong Kong - China 563

B-S-J-G (China) 531 Estonia 551

Korea, Republic of 524 Belgium 551

Switzerland 521 Chinese Taipei 546

Estonia 520 Portugal 542 Canada 516 Latvia 542 Netherlands 512 Netherlands 540 Denmark 511 Luxembourg 537 Finland 511 Germany 537 Slovenia 510 Denmark 535 Belgium 507 Japan 532

Germany 506 Korea, Republic of 525

Poland 504 Ireland 521

Ireland 504 France 520

Norway 502 Canada 518

Austria 497 Spain 517

New Zealand 495 Buenos Aires - Argentina 513

Vietnam 495 Slovenia 513

Russian Federation 494 Hungary 512

Sweden 494 Austria 511

Australia 494 Russian Federation 511

France 493 Czech Republic 509

United Kingdom 492 OECD Average 507

Czech Republic 492 Vietnam 506

Portugal 492 Lithuania 502

OECD average 490 Norway 502

Italy 490 Italy 501

Iceland 488 Australia 495

Spain 486 Slovak Republic 495

Luxembourg 486 Iceland 488

Latvia 482 Croatia 485

(7)

Lithuania 478 United States 475

Hungary 477 Israel 474

Slovak Republic 475 United Kingdom 470

Israel 470 New Zealand 465

United States 470 Greece 458

Croatia 464 Trinidad and Tobago 458

International Average 462 Uruguay 453

Buenos Aires - Argentina 456 Romania 451

Greece 454 Moldova, Republic of 448

Romania 444 Bulgaria 444

Bulgaria 441 Chile 442

Cyprus 437 Cyprus 441

United Arab Emirates 427 Turkey 434

Chile 423 Malta 427

Turkey 420 Mexico 425

Moldova, Republic of 420 Lebanon 423

Uruguay 418 Costa Rica 422

Montenegro, Republic of 418 United Arab Emirates 421

Trinidad and Tobago 417 Thailand 419

Thailand 415 Montenegro, Republic of 418

Albania 413 Albania 418

Mexico 408 Algeria 416

Georgia 404 Georgia 416

Qatar 402 Indonesia 411

Costa Rica 400 Colombia 406

Lebanon 396 Qatar 404

Colombia 390 Peru 396

Peru 387 Tunisia 391

Indonesia 386 Jordan 385

Jordan 380 Macedonia, Republic of 380

Brazil 377 Brazil 370

Macedonia, Republic of 371 Kosovo 368

Tunisia 367 Dominican Republic 346 Kosovo 362

Algeria 360 Dominican Republic 328

Tabel 9.Perbandingan Capaian Membaca Negara Peserta Berdasarkan Kelompok Kelas pada PISA 2012, PISA 2009, PISA 2006, dan PISA 2003

PISA 2012 PISA 2009 PISA 2006 PISA 2003

Kelas 9 Kelas 10 Kelas 9 Kelas 10 Kelas 9 Kelas 10 Kelas 9 Kelas 10

OECD Average 440 504 464 513 461 511 468 517 International Average 423 484 439 484 434 484 459 505 Australia 472 513 473 515 462 512 467 524 Austria 479 508 458 494 481 514 490 505 Belgium 455 553 449 550 431 545 439 548 Canada 485 530 483 532 480 536 486 541 Chile 400 461 401 468 388 463 — — Czech Republic 374 486 463 505 474 501 473 509

(8)

Denmark 452 506 503 548 501 517 496 555 Estonia 494 522 513 552 515 571 — — Finland 476 533 542 ‡ 552 ‡ 549 ‡ France 407 546 417 545 419 535 437 539 Germany 420 496 489 551 488 558 494 556 Greece 384 484 416 489 374 466 400 478 Hungary 404 493 499 534 483 519 479 506 Iceland ‡ 483 ‡ 498 ‡ 484 ‡ 492 Ireland 454 517 488 525 507 548 503 562 Israel 463 491 438 482 410 444 — — Italy 430 505 418 502 401 483 410 488 Japan ‡ 538 ‡ 520 ‡ 498 ‡ 498 Korea, Republic of 512 537 515 540 ‡ 557 520 534 Luxembourg 414 458 450 530 450 542 462 539 Mexico 403 442 396 456 383 446 383 440 Netherlands 436 486 482 536 478 538 485 546 New Zealand 459 514 ‡ 464 ‡ 461 447 525 Norway ‡ 504 ‡ 503 ‡ 484 ‡ 500 Poland 420 522 507 ‡ 514 632 502 ‡ Portugal 467 535 463 533 448 532 428 519 Slovak Republic 451 487 457 492 449 485 462 476 Slovenia ‡ 483 ‡ 482 ‡ 494 — — Spain 439 522 435 518 414 499 422 510 Sweden 347 487 501 555 508 559 515 569 Switzerland 435 506 501 551 503 542 507 534 Turkey 425 500 429 483 469 442 441 446 United Kingdom 520 499 ‡ 452 ‡ 461 ‡ ‡ United States 418 505 414 506 — — 468 511 Albania 387 399 381 393 — — — — Argentina 355 431 354 437 326 414 — — Azerbaijan — — 360 367 350 359 — — Brazil 401 449 406 464 415 458 430 470 Bulgaria 277 446 440 430 407 428 — — Chinese Taipei 513 529 485 501 487 501 — — Colombia 377 424 382 432 355 414 — — Costa Rica 390 442 — — — — — — Croatia ‡ 479 467 506 472 497 — — Cyprus 385 452 — — — — — —

Dubai - United Arab

Emirates — — 413 465 — — — —

Hong Kong - China 526 560 509 551 522 554 499 527

Indonesia 381 419 383 430 369 427 371 414 Jordan 331 404 337 412 316 411 — — Kazakhstan 369 396 393 387 — — — — Kyrgyz Republic — — 315 318 280 303 — — Latvia 426 502 496 548 493 553 498 539 Liechtenstein ‡ 518 495 ‡ 517 ‡ 534 ‡ Lithuania 421 479 473 493 477 512 — — Macao-China 504 546 488 524 490 532 512 540 Macedonia — — — — — — — — Malaysia 274 403 — — — — — — Montenegro, Republic of ‡ 420 406 430 388 420 — — Panama — — 342 406 — — — — Peru 336 401 319 393 — — — — Qatar 372 387 351 372 292 313 — — Romania 418 438 424 440 399 425 — —

(9)

Russian Federation 435 477 455 485 414 458 423 453

Serbia, Republic of ‡ 447 443 501 402 452 — —

Serbia and Montenegro — — — — — — 411 461

Shanghai - China 564 583 554 564 — — — —

Singapore 494 549 516 537 — — — —

Thailand 420 446 389 430 378 434 398 437

Trinidad and Tobago — — 364 453 — — — —

Tunisia 363 443 376 446 355 435 370 438

United Arab Emirates 385 443 — — — — — —

Uruguay 381 453 382 469 358 456 375 474

Vietnam 421 525 — — — — — —

Keterangan: — tidak berpartisipasi dalam PISA siklus tersebut ‡ tidak ada siswa sampel dalam kelompok kelas tersebut

Ketidakkonsistenan urutan negara juga terlihat ketika subsample dilakukan untuk kelompok siswa yang berada di kelas 10 saat menempuh tes PISA. Posisi Indonesia kembali naik secara peringkat jika perbandingan dilakukan hanya pada kelompok siswa yang telah bersekolah 10 tahun. Posisi Indonesia yang berada di peringkat ke 9 dari bawah berdasarkan data seluruh siswa menjadi naik 1 peringkat jika perbandingan berdasarkan kelompok siswa kelas 10. Hasil juga menunjukkan terdapat tiga negara yang tidak memiliki siswa kelas 10 karena system pendidikan yang tidak memungkinkan siswa mulai bersekolah pada usia 6 tahun. Ketiga negara tersebut adalah Finlandia, Polandia, Swedia.

Hal menarik lainnya dari tabel 8 adalah fakta bahwa pada semua negara, rerata nilai siswa kelas 10 lebih tinggi dibandingkan rerata seluruhnya. Hal ini mengindikasikan bahwa

pada semua negara lebih lama satu tahun bersekolah memiliki dampak terhadap capaian siswa yang lebih tinggi. Hasil tabel 8 adalah analisis data PISA 2015. Hasil yang sama juga ditunjukkan untuk PISA 2003 sampai PISA 2012 lintas semua domain dan lintas semua negara. Fenomena perbedaan nilai antar kelompok lama pengalaman bersekolah menunjukkan adanya pengaruh dari lama bersekolah.

Gambar 1 menunjukkan variasi proporsi siswa kelas 9 dan kelas 10 antar negara. Sumbu ordinat menunjukkan selisih antara persentase siswa kelas 10 di suatu negara dengan persentase siswa kelas 9 di suatu negara. Nilai sumbu ordinat yang positif menunjukkan negara tersebut lebih besar proporsi siswa kelas 10 dibandingkan siswa kelas 9. Sebaliknya, sumbu ordinat yang negative menunjukkan proporsi kelas 9 lebih besar dibandingkan proporsi kelas 10.

(10)

Setiap titik pada diagram pancar gambar 1 menunjukkan negara partisipan PISA 2015. Terlihat bahwa sebagian negara didominasi siswa kelas 10 dan sebagian lainnya didominasi siswa kelas 9. Beberapa negara cukup berimbang proporsi antara siswa kelas 10 dan siswa kelas 9. Namun jika dilihat sumbu absisnya, semua negara berada di sisi positif, artinya semua negara rerata capaian kelas 10 lebih tinggi dibandingkan kelas 9. Maka negara dengan proporsi siswa kelas 10 lebih dominan akan diuntungkan rerata nilai keseluruhannya. Sebaliknya negara yang didominasi oleh sampel siswa kelas 9, cenderung underestimate nilai rerata seluruh siswa.

KESIMPULAN

Salah satu sifat dasar manusia adalah memposisikan dirinya. Keikutsertaan Indonesia pada studi internasional, khususnya PISA seringkali menyedot perhatian mengenai bagaimanakah posisi siswa Indonesia dibandingkan siswa dari negara lain. PSA sebagai sebuah survei yang mengumpulkan data berdasarkan sampel bukan populasi, memiliki kelemahan. Salah satu kelemahannya adalah mengabaikan factor lama siswa bersekolah atau yang umum disebut sebagai years of schooling. Hasil analisis subsample terhadap sampel PISA yang mengelompokkan siswa berdasarkan lama siswa bersekolah mengindikasikan bahwa makna ranking serta peringkat sangat artifiasial. Peringkat dan ranking sangat ringkih berubah tergantung sudut pandang sampel yang diambil oleh peneliti.

Oleh karena itulah, interpretasi yang perlu diambil secara bijaksana adalah mendiagnosa kelemahan dan mengevalusi sistem untuk menghasilkan capaian yang lebih baik. Turkey menyikapi hasil PISA melalui sejumlah program. Tetapi program reformasi kurikulum tersebut dianggap tidak cukup memadai (Gur, Celik, & Ozoglu, 2011). Indonesia telah melakukan langkah perubahan besar dengan pergantian kurikulum 2013. Saatnya melakukan sinkronisasi terhadap capaian siswa Indonesia pada standar internasional yang diujikan oleh PISA melalui sejumlah program. Bercermin dari Turkey, evaluasi perlu dilakukan di semua lini. Buku telah mengikuti perkembangan abad 21 ataukah belum, bentuk pelatihan guru yang bagaimanakah yang efektif, bagaimanakah cara supervise pengawas sekolah di negara lain yang tinggi capaian PISA-nya. Mengikuti PISA, jangan terjebak hanya memaknai sampai peringkat dan ranking yang terpuruk.

REFERENSI

Ebert, K.D & Scott, C (2014). Samples and Norm Referenced Test Scores in Language Assessment of School Age Children. Language, Speech, and hearing Services in Schools. Vol 45. 337-350. Doi: 10.1044/2014_LSHSS-14-0034

Gur, B, Celik, Z, & Ozoglu, M (2011). Policy option for Turkey: a critique of the interpretation and utilization of PISA results in Turkey. Journal of Education Policy. Volume 27, Pages 1-21. https://doi.org/10.1080/02680939.2011. 595509

OECD (2017). PISA 2015 Technical Report. http://www.oecd.org/pisa/sitedocument /PISA-2015-technical-report-final.pdf Mc. Cauley, R & Swisher, L (1984). Use and

Misuse of Norm Referenced Test in a Clinical Assessment. Journal of Speech and hearing disorders. Vol 49. 338-348. Doi:10.1044/jshd.4904.338

National center for educational statistic. Pisa data Explorer. https://nces.ed.gov/ surveys/pisa/

Wu, M (2009). A comparison of PISA and TIMSS 2003 achievement results in mathematics. Prospects, 2009-Springer.