top of page
Search

Di Luar Proksi Jurnal: Evaluasi Kritis terhadap Penilaian Riset, dari DORA hingga Kebangkitan Metrik Integritas

  • Writer: Dr. Juneman Abraham
    Dr. Juneman Abraham
  • 12 hours ago
  • 24 min read

Catatan: Teks dalam laman ini disusun dengan konseptualisasi dari Juneman Abraham namun operasionalisasinya dengan asistensi GenAI.


Pendahuluan: Jebakan Proksi dalam Evaluasi Ilmiah


Evaluasi terhadap karya ilmiah dan para penelitinya berada pada titik kritis. Selama beberapa dekade, komunitas akademik global telah terperangkap dalam apa yang dapat disebut sebagai "jebakan proksi"—sebuah ketergantungan yang persisten dan problematis pada proksi kuantitatif dan tidak langsung untuk menilai sifat penelitian yang kompleks dan kualitatif. Praktik ini, yang didorong oleh kebutuhan akan efisiensi administratif dan ilusi objektivitas, telah secara fundamental membentuk kembali insentif, perilaku, dan bahkan nilai-nilai dalam dunia akademis. Sebagai respons terhadap distorsi ini, sebuah gerakan fundamental lahir dalam bentuk Deklarasi San Francisco tentang Penilaian Riset (DORA), sebuah seruan untuk kembali ke prinsip pertama: menilai riset berdasarkan keunggulannya sendiri, bukan berdasarkan jurnal tempat riset itu dipublikasikan.1

Namun, sementara DORA terus menggalang dukungan global, lanskap penilaian riset tidaklah statis. Ia telah bermutasi, melahirkan metrik-metrik baru yang lebih canggih yang menjanjikan untuk mengatasi kekurangan dari pendahulunya. Di satu sisi, metrik seperti Field-Weighted Citation Impact (FWCI) telah menjadi standar emas dalam pemeringkatan universitas global untuk menilai kualitas atau dampak penelitian dengan menormalisasi sitasi di berbagai bidang.3 Di sisi lain, sebagai respons terhadap krisis integritas yang berkembang—yang ditandai oleh merebaknya

paper mills, plagiarisme, dan fabrikasi data—metrik baru seperti Research Integrity Risk Index (RI2) telah muncul untuk mengukur risiko integritas di tingkat institusional.5

Laporan ini berargumen bahwa kemunculan metrik-metrik baru ini, meskipun lahir dari niat baik untuk meningkatkan keadilan (dalam kasus FWCI) atau menjaga etika (dalam kasus RI2), bukanlah solusi, melainkan merupakan perwujudan baru dari masalah awal. Metrik-metrik ini, terlepas dari perbedaan tujuannya, secara fundamental tetap terperangkap dalam logika penilaian berbasis proksi yang sama yang ingin dibongkar oleh DORA. Kemajuan sejati dalam evaluasi riset menuntut pergeseran radikal—menjauh dari penilaian terhadap wadah publikasi (jurnal) dan kembali pada penilaian yang langsung, bernuansa, dan holistik terhadap konten, praktik, dan dampak riset itu sendiri. Laporan ini akan menelusuri lintasan dari idealisme DORA, menganalisis kegagalan spektakuler di jurnal-jurnal paling bergengsi, mendekonstruksi biner yang terlalu sederhana antara jurnal "reputabel" dan "predator," dan pada akhirnya, mengajukan kritik terpadu terhadap budaya proksi yang terus-menerus menghambat kemajuan ilmu pengetahuan sejati.


Bagian 1: Imperatif DORA: Kebutuhan Abadi untuk Menilai Riset Berdasarkan Keunggulannya Sendiri



1.1 Genesis Sebuah Pemberontakan: Konteks Sejarah dan Motivasi


San Francisco Declaration on Research Assessment (DORA) tidak muncul dari ruang hampa. Ia lahir dari rasa frustrasi dan urgensi yang mendalam di kalangan komunitas ilmiah. Titik puncaknya terjadi pada Pertemuan Tahunan American Society for Cell Biology (ASCB) di San Francisco pada 16 Desember 2012. Di sana, sekelompok editor jurnal dan penerbit terkemuka berkumpul untuk mengatasi apa yang mereka identifikasi sebagai "kebutuhan mendesak" untuk mereformasi cara output penelitian dievaluasi oleh lembaga pendanaan, institusi akademik, dan pemangku kepentingan lainnya.1

Katalis utama di balik pertemuan ini adalah penggunaan yang meluas dan sering kali tidak kritis terhadap Journal Impact Factor (JIF) sebagai ukuran pengganti (surogat) untuk kualitas artikel penelitian individual. Praktik ini, meskipun lazim di semua disiplin ilmu, dirasakan sangat merusak di bidang-bidang seperti biologi sel, di mana para peserta pertemuan merasa bahwa JIF dari banyak jurnal tidak secara akurat mencerminkan nilai sebenarnya dari karya yang dipublikasikan bagi komunitas mereka.7 Mereka menyadari bahwa sebuah metrik yang awalnya dirancang oleh Thomson Reuters (sekarang Clarivate Analytics) sebagai alat bantu bagi pustakawan untuk memutuskan jurnal mana yang akan dilanggan telah berubah menjadi penentu utama dalam keputusan perekrutan, promosi, dan pendanaan—sebuah tujuan yang tidak pernah dimaksudkan untuknya.2 Pertemuan ini menghasilkan serangkaian rekomendasi yang kemudian dikenal sebagai DORA, yang dipublikasikan pada Mei 2013.7


1.2 Mendekonstruksi Tirani Impact Factor


Kritik DORA terhadap JIF bukanlah sekadar keluhan samar, melainkan sebuah analisis tajam terhadap kelemahan metodologis dan konseptual metrik tersebut. Dokumen pendirian DORA secara eksplisit menguraikan beberapa masalah fundamental yang terdokumentasi dengan baik terkait penggunaan JIF sebagai alat evaluasi penelitian 2:

  1. Distribusi Sitasi yang Sangat Miring: Argumen inti DORA adalah bahwa JIF, sebagai sebuah rata-rata, adalah representasi yang sangat buruk dari sitasi artikel-artikel di dalam sebuah jurnal. Distribusi sitasi sangat miring, di mana sebagian kecil artikel (seringkali kurang dari 15-20%) menerima sebagian besar sitasi, sementara mayoritas artikel menerima sitasi jauh di bawah rata-rata. Dengan demikian, menggunakan JIF untuk menilai sebuah artikel individual secara statistik tidak valid; itu sama saja dengan mengasumsikan bahwa setiap artikel di jurnal tersebut memiliki kualitas "rata-rata," sebuah asumsi yang terbukti salah.

  2. JIF Dapat Dimanipulasi: DORA menyoroti bahwa JIF dapat "dipermainkan" atau dimanipulasi secara artifisial melalui kebijakan editorial. Misalnya, editor dapat meningkatkan JIF jurnal mereka dengan menugaskan lebih banyak artikel ulasan (review articles), yang secara historis cenderung lebih banyak dikutip daripada artikel penelitian primer. Praktik lain termasuk memaksa penulis untuk mengutip artikel lain dari jurnal yang sama (coercive citation).

  3. Properti JIF Bersifat Spesifik Bidang: Perbandingan JIF antar disiplin ilmu sangat tidak adil. Bidang-bidang seperti ilmu biomedis memiliki budaya sitasi yang jauh lebih tinggi dan perputaran literatur yang lebih cepat daripada bidang-bidang seperti matematika atau ilmu sosial. Oleh karena itu, JIF yang "tinggi" dalam satu bidang mungkin setara dengan JIF yang "rendah" di bidang lain, membuat perbandingan langsung menjadi tidak berarti.

  4. Kurangnya Transparansi: Data dan metode yang digunakan oleh Clarivate untuk menghitung JIF tidak sepenuhnya transparan atau tersedia secara terbuka untuk umum. Komunitas akademik, yang merupakan penghasil utama dari data (artikel dan sitasi) yang mendasari metrik tersebut, tidak memiliki akses penuh untuk memverifikasi atau menganalisis perhitungannya secara independen.2

Berdasarkan kelemahan-kelemahan ini, rekomendasi umum DORA sangat jelas dan tegas: "Jangan gunakan metrik berbasis jurnal, seperti Journal Impact Factors, sebagai ukuran pengganti kualitas artikel penelitian individu, untuk menilai kontribusi ilmuwan individu, atau dalam keputusan perekrutan, promosi, atau pendanaan".1


1.3 Filosofi DORA: Seruan untuk Penilaian Holistik dan Langsung


Namun, DORA lebih dari sekadar kritik terhadap JIF. Ia mengajukan sebuah visi positif untuk reformasi, yang berpusat pada rekomendasi inti: "kebutuhan untuk menilai riset berdasarkan keunggulannya sendiri daripada berdasarkan jurnal tempat riset tersebut dipublikasikan".1 Ini adalah pergeseran filosofis dari evaluasi berbasis

wadah ke evaluasi berbasis konten.

Untuk mewujudkan visi ini, DORA mendorong pendekatan yang lebih holistik dan komprehensif terhadap penilaian riset. Ini termasuk pengakuan bahwa output penelitian ilmiah sangat beragam dan tidak terbatas pada artikel jurnal yang ditinjau sejawat. DORA secara eksplisit menyerukan kepada lembaga dan penyandang dana untuk mempertimbangkan nilai dan dampak dari semua jenis output penelitian, termasuk:

  • Kumpulan data (datasets)

  • Perangkat lunak (software) dan kode

  • Protokol dan reagen

  • Kekayaan intelektual (paten)

  • Pelatihan dan bimbingan terhadap ilmuwan muda.1

Selain itu, DORA menganjurkan penggunaan berbagai ukuran dampak yang lebih luas, melampaui sitasi semata. Ini mencakup indikator kualitatif dari dampak penelitian, seperti pengaruhnya terhadap kebijakan publik, praktik klinis, pengembangan teknologi, atau keterlibatan masyarakat.1 Dengan kata lain, DORA menantang komunitas akademik untuk bertanya, "Apa kontribusi substantif dari karya ini?" daripada hanya bertanya, "Di mana karya ini diterbitkan?".


1.4 Satu Dekade Reformasi: Adopsi, Kemajuan, dan Tantangan yang Persisten


Sejak diluncurkan, DORA telah menjadi inisiatif global yang signifikan. Hingga Mei 2024, lebih dari 25.000 individu dan organisasi di 159 negara telah menandatangani deklarasi tersebut, termasuk lembaga pendanaan besar, universitas, penerbit, dan masyarakat ilmiah.6 Penandatanganan ini menunjukkan adanya konsensus yang luas di tingkat prinsip mengenai perlunya reformasi.

Beberapa institusi telah mengambil langkah-langkah konkret untuk mengimplementasikan prinsip-prinsip DORA. Misalnya, Canadian Institutes of Health Research (CIHR), salah satu dari lima lembaga pendanaan utama Kanada yang menandatangani DORA, telah mengintegrasikan prinsip-prinsip ini ke dalam proses tinjauan sejawatnya. Manual tinjauan sejawat mereka secara eksplisit mengarahkan peninjau untuk menilai produktivitas secara luas (tidak hanya berdasarkan publikasi) dan mempertimbangkan konteks pelamar (misalnya, tahap karier).6 Demikian pula, Wellcome Sanger Institute di Inggris menyatakan bahwa kriteria perekrutan dan promosi mereka secara eksplisit didasarkan pada manfaat ilmiah dari publikasi, bukan jurnal tempat publikasi tersebut, dan mereka mempertimbangkan berbagai output penelitian serta potensi bias dalam penggunaan metrik.8

Namun, perjalanan menuju implementasi penuh masih panjang dan penuh tantangan. Kasus Universitas Liverpool pada tahun 2021 menjadi contoh yang gamblang. Meskipun universitas tersebut adalah penandatangan DORA, mereka menggunakan metrik field-weighted citation-impact (FWCI)—sebuah proksi berbasis sitasi—untuk menentukan staf akademik mana yang berisiko diberhentikan. Tindakan ini memicu kritik tajam dari organisasi DORA dan para penulis Leiden Manifesto, menyoroti adanya kesenjangan yang dalam antara komitmen yang dinyatakan dan praktik institusional.7

Kasus ini mengungkap sebuah konflik inti: nilai-nilai yang dianut oleh komunitas akademik, seperti yang tertuang dalam DORA, seringkali bertentangan dengan logika operasional administrasi universitas modern. Administrasi cenderung memprioritaskan metrik yang terukur, dapat dipertahankan secara hukum, dan efisien untuk pengambilan keputusan berskala besar. DORA, pada hakikatnya, adalah sebuah intervensi budaya dan filosofis yang menantang budaya "evaluasi melalui proksi" yang telah mendarah daging karena kenyamanan administratifnya. Keberhasilan DORA tidak dapat diukur hanya dari jumlah penandatangan. Tantangan sebenarnya terletak pada rekayasa ulang sistem administratif dan budaya institusi penelitian agar selaras dengan prinsip-prinsip DORA—sebuah tugas yang jauh lebih sulit daripada sekadar menandatangani sebuah deklarasi.


Bagian 2: Paradoks Integritas melalui Proksi: Bagaimana Research Integrity Risk Index (RI2) Bertentangan dengan Semangat DORA


Seiring dengan meningkatnya kesadaran akan masalah integritas penelitian—seperti skandal paper mills, praktik kepenulisan yang curang, dan kartel sitasi—muncul kebutuhan akan alat baru untuk mendeteksi dan memantau risiko-risiko ini di tingkat institusional. Sebagai respons, sebuah metrik baru telah diperkenalkan: Research Integrity Risk Index (RI2). Namun, meskipun tujuannya mulia, analisis mendalam terhadap metodologinya mengungkapkan sebuah paradoks yang mengkhawatirkan: RI2, dalam upaya mengukur integritas, justru mengulangi kesalahan fundamental yang ingin diberantas oleh DORA.


2.1 Memperkenalkan Metrik Baru untuk Krisis Baru: Research Integrity Risk Index (RI2)


Research Integrity Risk Index (RI2) diperkenalkan sebagai metrik komposit pertama yang secara eksplisit dirancang untuk memprofilkan risiko integritas penelitian menggunakan indikator yang berbasis empiris dan transparan.5 Pengembangnya berargumen bahwa metrik ini berbeda dari pemeringkatan konvensional yang cenderung menghargai volume publikasi dan visibilitas sitasi. Sebaliknya, RI2 berfokus pada metrik yang sensitif terhadap integritas dan diklaim tahan terhadap manipulasi dan inflasi bibliometrik.5 Tujuannya adalah untuk mengidentifikasi institusi-institusi yang profil bibliometriknya menyimpang secara signifikan dari norma global, yang mungkin memerlukan pemeriksaan lebih lanjut.10


2.2 Metodologi RI2: Sebuah Dekonstruksi Rinci


Untuk memahami kontradiksinya dengan DORA, penting untuk membedah metodologi RI2 secara rinci. Indeks ini terdiri dari dua komponen utama yang digabungkan menjadi satu skor tunggal 5:

  1. Risiko Retraksi (Retraction Risk): Komponen ini mengukur sejauh mana portofolio penelitian sebuah universitas mencakup artikel-artikel yang telah ditarik kembali (retracted). Secara spesifik, ia menargetkan retraksi yang disebabkan oleh alasan-alasan serius seperti fabrikasi atau falsifikasi data, plagiarisme, pelanggaran etika, manipulasi kepenulisan atau tinjauan sejawat, atau kesalahan metodologis yang fatal. Risiko ini dihitung sebagai jumlah retraksi per 1.000 artikel selama dua tahun kalender penuh terakhir sebelum tahun analisis (misalnya, 2022-2023 untuk analisis yang dilakukan pada tahun 2025). Tingkat retraksi yang tinggi dianggap mencerminkan potensi kelemahan dalam pengawasan penelitian dan budaya institusional. Data retraksi diambil dari tiga basis data: Retraction Watch, Medline, dan Web of Science.5

  2. Risiko Jurnal yang Dihapus (Delisted Journal Risk): Komponen ini mengukur proporsi publikasi sebuah institusi yang muncul di jurnal-jurnal yang telah dihapus (delisted) dari basis data Scopus atau Web of Science karena pelanggaran standar penerbitan, editorial, atau tinjauan sejawat. Risiko ini diukur selama dua tahun kalender penuh terakhir (misalnya, 2023-2024 untuk analisis tahun 2025). Publikasi di jurnal-jurnal yang dihapus dianggap sebagai cerminan kerentanan struktural dalam kontrol kualitas dan praktik penerbitan institusi.5 Scopus dan Web of Science menghapus jurnal berdasarkan berbagai kriteria, termasuk kinerja bibliometrik yang buruk (misalnya, tingkat sitasi yang rendah, tingkat sitasi diri yang tinggi), keluhan formal, perilaku penerbitan yang aneh (misalnya, lonjakan output yang tiba-tiba), atau kegagalan memenuhi standar kualitas editorial dan etika.5

Kedua komponen ini kemudian dinormalisasi menggunakan skala Min-Max relatif terhadap kelompok referensi tetap, yaitu 1.000 universitas dengan publikasi terbanyak di dunia. Skor RI2 komposit adalah rata-rata sederhana dari kedua komponen yang telah dinormalisasi tersebut:

RI2=(NormalizedRetractionRate+NormalizedDelistedRate)/2

Berdasarkan skor RI2 mereka, institusi kemudian diklasifikasikan ke dalam lima tingkatan risiko, mulai dari "Low Risk" hingga "Red Flag".5


2.3 Kontradiksi Fundamental: Menilai Integritas Melalui Lensa Tingkat Jurnal


Di sinilah letak kontradiksi fundamental RI2 dengan semangat DORA. Mari kita sandingkan kedua prinsip tersebut:

  • Prinsip DORA: Jangan gunakan metrik berbasis jurnal (seperti JIF) sebagai ukuran pengganti untuk kualitas sebuah artikel individual atau kontribusi seorang peneliti.1 Intinya adalah penilaian harus dilakukan pada unit analisis yang tepat—yaitu karya itu sendiri, bukan wadahnya.

  • Metodologi RI2: Menggunakan peristiwa-peristiwa di tingkat jurnal (sebuah artikel ditarik kembali dari sebuah jurnal, sebuah jurnal dihapus dari basis data) sebagai ukuran pengganti untuk risiko integritas dari seluruh program penelitian sebuah institusi.

RI2, meskipun menargetkan kebajikan akademik yang berbeda (integritas, bukan kualitas), secara metodologis jatuh ke dalam jebakan proksi yang sama persis dengan yang diidentifikasi oleh DORA. Ia mengalihdayakan (outsourcing) penilaian integritas sebuah institusi kepada status outlet publikasi yang digunakan oleh para penelitinya. Integritas sebuah universitas, menurut logika RI2, tidak dinilai berdasarkan program pelatihan etika internalnya, kekuatan komite pengawasnya, atau budaya keterbukaan dan rigoritasnya. Sebaliknya, ia dinilai berdasarkan "reputasi" jurnal-jurnal tempat para penelitinya menerbitkan karya, di mana "reputasi" ini secara negatif didefinisikan oleh peristiwa retraksi atau penghapusan dari daftar.

Ini adalah pelanggaran langsung terhadap semangat DORA. Ini sama saja dengan menilai keterampilan memasak seorang koki bukan dengan mencicipi makanannya, tetapi dengan menghitung berapa kali restoran tempat ia pernah bekerja mendapat ulasan buruk atau ditutup oleh dinas kesehatan. Penilaian semacam itu tidak hanya tidak langsung, tetapi juga berpotensi sangat menyesatkan. Seorang peneliti yang berintegritas tinggi bisa saja, karena ketidaktahuan atau tekanan, menerbitkan karyanya di jurnal yang kemudian dihapus. Sebaliknya, sebuah institusi dengan budaya integritas yang buruk mungkin dapat menghindari skor RI2 yang tinggi dengan secara strategis mengarahkan para penelitinya untuk menerbitkan di jurnal-jurnal "aman" yang belum masuk radar Scopus atau Web of Science.

Pergeseran dari proksi untuk kualitas (JIF) ke proksi untuk integritas (RI2) hanyalah sebuah mutasi konseptual dari masalah yang sama. Keduanya masih mengandalkan indikator tidak langsung yang berpusat pada jurnal. Hal ini menciptakan sebuah angka baru yang berisiko tinggi, yang sangat rentan terhadap Hukum Goodhart: "Ketika sebuah ukuran menjadi target, ia berhenti menjadi ukuran yang baik." Dihadapkan pada skor RI2 yang buruk, respons institusional yang paling rasional dan terdorong oleh metrik bukanlah melakukan pekerjaan sulit untuk mereformasi budaya—seperti meningkatkan pelatihan, memperkuat pengawasan, dan mendorong transparansi. Sebaliknya, respons yang lebih mudah adalah mengelola metrik itu sendiri: membuat daftar hitam jurnal, mencegah retraksi karena takut akan penalti, atau menekan peneliti untuk menghindari jurnal-jurnal yang berisiko, terlepas dari kualitas karya mereka. Perilaku "mempermainkan metrik" (gaming the metrics) semacam ini 11 adalah antitesis dari upaya menumbuhkan integritas yang sejati dan merupakan konsekuensi yang tak terhindarkan dari ketergantungan pada proksi.


Bagian 3: Mitos Sang Penjaga Gerbang: Mengapa Gengsi Jurnal Bukan Jaminan Integritas


Di tengah perdebatan tentang metrik dan penilaian, ada sebuah asumsi yang mendarah daging dalam budaya akademik: bahwa gengsi jurnal—yang sering kali diwakili oleh Impact Factor tinggi dan peringkat kuartil Q1/Q2—merupakan indikator yang andal untuk kualitas dan integritas penelitian. Jurnal-jurnal elite ini dipandang sebagai "penjaga gerbang" (gatekeepers) ilmu pengetahuan, yang melalui proses tinjauan sejawat yang ketat, menyaring karya-karya terbaik dan paling dapat dipercaya. Namun, asumsi ini adalah sebuah heuristik kognitif yang berbahaya. Serangkaian kegagalan spektakuler di puncak piramida penerbitan ilmiah menunjukkan bahwa gengsi bukan hanya bukan jaminan integritas, tetapi juga dapat menciptakan kerentanan unik terhadap pelanggaran etika.


3.1 Heuristik Gengsi: Hubungan yang Diasumsikan antara Impact Factor dan Keandalan


Kepercayaan pada gengsi jurnal sebagai proksi kualitas sangat kuat. Ia menyederhanakan proses evaluasi yang kompleks. Bagi komite perekrutan, lembaga pendanaan, dan administrator universitas, lebih mudah untuk menghitung jumlah publikasi di jurnal-jurnal "top" daripada membaca dan menilai secara kritis konten dari setiap karya. Namun, ketergantungan pada heuristik ini mengabaikan fakta bahwa proses penerbitan, bahkan di jurnal paling bergengsi sekalipun, dilakukan oleh manusia dan rentan terhadap kesalahan, bias, dan bahkan penipuan.


3.2 Studi Kasus—Anatomi Kegagalan Katastropik: Skandal Surgisphere


Tidak ada kasus yang lebih jelas dalam mengungkap kerapuhan sistem ini selain skandal Surgisphere. Pada puncak pandemi COVID-19, ketika dunia sangat membutuhkan informasi ilmiah yang andal, dua jurnal medis paling elite di dunia—The Lancet dan The New England Journal of Medicine (NEJM)—menerbitkan studi-studi besar yang kemudian harus ditarik kembali dengan cepat karena skandal integritas data.13

Studi-studi ini, yang mengklaim menganalisis data dari registri multinasional besar untuk mengevaluasi pengobatan COVID-19 seperti hydroxychloroquine, didasarkan pada basis data yang disediakan oleh sebuah perusahaan kecil yang sebelumnya tidak dikenal bernama Surgisphere.16 Perusahaan ini, yang dipimpin oleh salah satu penulis studi, Sapan Desai, mengklaim memiliki akses ke data rekam medis elektronik terintegrasi dari ratusan rumah sakit di enam benua.14 Namun, setelah publikasi, para ilmuwan di seluruh dunia dengan cepat menyuarakan keraguan. Data yang disajikan tampak tidak masuk akal—misalnya, jumlah pasien yang dilaporkan dari Australia melebihi data resmi pemerintah. Ketika para penulis non-Surgisphere dan auditor independen meminta akses ke data mentah untuk verifikasi, Surgisphere menolak, dengan alasan perjanjian kerahasiaan.13

Akibatnya, para penulis, kecuali Desai, tidak punya pilihan selain menarik kembali artikel mereka, mengakui bahwa mereka "tidak dapat lagi menjamin kebenaran sumber data primer".13 Skandal ini merupakan kegagalan total dari proses tinjauan sejawat dan penyaringan editorial di tingkat tertinggi penerbitan akademik. Ia menunjukkan betapa sistem ini bisa sangat rentan terhadap penipuan yang berani, terutama ketika didorong oleh urgensi topik yang "panas" dan iming-iming publikasi yang dapat mengubah dunia.17


Tabel 1: Anatomi Retraksi Berdampak Tinggi: Kasus Surgisphere



Aspek

Deskripsi Rinci

Sumber

Garis Waktu

Publikasi: Mei 2020. Kecurigaan Publik: Akhir Mei 2020. Expression of Concern: Awal Juni 2020. Retraksi: 4-5 Juni 2020.

15

Jurnal

The Lancet dan The New England Journal of Medicine (NEJM), dua jurnal medis dengan peringkat dan dampak tertinggi di dunia.

14

Klaim Inti

Analisis data dari registri pasien multinasional yang sangat besar untuk menilai efektivitas dan keamanan hydroxychloroquine dan obat lain pada pasien COVID-19.

13

Titik Kegagalan

Sumber data, Surgisphere Corporation, tidak dapat atau tidak mau menyediakan data mentah untuk audit independen. Hal ini mengungkap bahwa seluruh fondasi studi tersebut tidak dapat diverifikasi dan kemungkinan besar merupakan fabrikasi.

13

Proses Tinjauan Sejawat

Proses tinjauan sejawat dan editorial gagal mengidentifikasi tanda-tanda bahaya yang jelas, seperti ketidakmungkinan sebuah perusahaan kecil mengintegrasikan data dari ratusan rumah sakit secara global, atau inkonsistensi data dengan statistik publik.

14

Konsekuensi Nyata

Temuan yang salah ini menyebabkan penghentian uji klinis hydroxychloroquine oleh Organisasi Kesehatan Dunia (WHO) dan lembaga lain, yang berpotensi menghambat penelitian yang sah dan menimbulkan kebingungan global.

15

Dampak pada Kepercayaan

Skandal ini merusak kredibilitas jurnal-jurnal yang terlibat, proses tinjauan sejawat secara umum, dan menunjukkan betapa berbahayanya mengandalkan gengsi jurnal sebagai jaminan kualitas.

17



3.3 Sebuah Pola, Bukan Anomali: Retraksi yang Meluas di Jurnal-Jurnal Tingkat Atas


Skandal Surgisphere bukanlah insiden yang terisolasi. Ia adalah bagian dari pola yang lebih luas di mana jurnal-jurnal paling bergengsi pun tidak kebal terhadap pelanggaran integritas. Analisis terhadap data retraksi menunjukkan bahwa masalah ini bersifat sistemik.

Misalnya, pada tahun 2024, jurnal Nature menarik kembali sebuah artikel stem cell yang sangat berpengaruh dari tahun 2002, yang ditulis oleh laboratorium Catherine Verfaillie. Artikel ini, yang telah dikutip hampir 4.500 kali—menjadikannya artikel yang ditarik kembali yang paling banyak dikutip sepanjang masa—ditarik kembali setelah 22 tahun karena kekhawatiran tentang manipulasi gambar dan ketidakmampuan penulis untuk menyediakan data asli untuk verifikasi.18 Kasus-kasus lain di

Nature dan Science melibatkan retraksi karena fabrikasi data, plagiarisme, dan berbagai bentuk pelanggaran etika lainnya.21

Statistik yang lebih luas mengkonfirmasi tren ini. Sebagian besar retraksi—sekitar 67.4% menurut sebuah studi besar—disebabkan oleh pelanggaran (misconduct), termasuk penipuan atau dugaan penipuan (43.4%), publikasi ganda (14.2%), dan plagiarisme (9.8%). Hanya sekitar 21.3% yang disebabkan oleh kesalahan jujur (honest error).24 Tingkat retraksi secara keseluruhan juga terus meningkat, bahkan melebihi laju pertumbuhan jumlah artikel yang diterbitkan.25 Ini menunjukkan bahwa masalah integritas bukan hanya ada, tetapi juga semakin terungkap.

Kombinasi dari studi kasus profil tinggi dan data statistik yang lebih luas ini membantah mitos bahwa gengsi jurnal adalah benteng yang kokoh melawan penelitian yang buruk. Sebaliknya, ekonomi gengsi itu sendiri dapat menciptakan kondisi yang matang untuk kegagalan integritas yang spektakuler. Persaingan yang ketat untuk dapat diterbitkan di jurnal-jurnal "top," ditambah dengan imbalan karier yang sangat besar dari sebuah penemuan "terobosan," dapat memberi insentif bagi penulis untuk melakukan penipuan. Pada saat yang sama, hal itu dapat menyebabkan editor dan peninjau, yang terpesona oleh potensi dampak sebuah naskah yang menarik, untuk menangguhkan skeptisisme kritis mereka dan gagal melakukan uji tuntas yang paling dasar, seperti mempertanyakan asal-usul data. Oleh karena itu, mengandalkan gengsi jurnal sebagai proksi untuk keandalan bukan hanya tindakan yang malas; itu adalah tindakan yang berbahaya. Setiap penelitian, terlepas dari di mana ia diterbitkan, harus dievaluasi berdasarkan bukti dan metodologinya sendiri.


Bagian 4: Mendekonstruksi "Sang Predator": Meninjau Ulang Ekosistem Penerbitan Ilmiah


Perdebatan tentang integritas penelitian seringkali didominasi oleh konsep "jurnal predator," sebuah label yang digunakan untuk menggambarkan entitas penerbitan yang mengeksploitasi model bayar-untuk-terbit (pay-to-publish) demi keuntungan, seringkali dengan standar editorial dan tinjauan sejawat yang rendah atau tidak ada sama sekali. Namun, pembingkaian biner yang sederhana antara jurnal "reputabel" dan "predator" ini mengaburkan kompleksitas ekosistem penerbitan ilmiah dan tekanan sistemik yang dihadapi oleh para peneliti. Tinjauan kritis terhadap label ini, yang dipicu oleh argumen-argumen provokatif, memaksa kita untuk kembali ke pertanyaan fundamental tentang tujuan publikasi ilmiah.


4.1 Argumen Sang Provokator: Siapakah Predator yang Sebenarnya?


Sebuah esai provokatif berjudul "Why I publish in predatory journals and why you should too" menantang narasi konvensional secara langsung.26 Penulisnya, setelah memiliki rekam jejak publikasi yang sukses di jurnal-jurnal "reputabel," berargumen bahwa ia sekarang secara sadar memilih untuk menerbitkan di jurnal yang oleh para kritikus disebut "predator." Argumen utamanya adalah bahwa jurnal-jurnal "reputabel" tradisional, terutama yang berbasis langganan, adalah predator yang sebenarnya. Mereka:

  1. Mengeksploitasi Tenaga Kerja Gratis: Penulis menyediakan konten (hasil penelitian) dan peninjau sejawat menyediakan layanan kontrol kualitas, keduanya tanpa bayaran.

  2. Membangun Tembok Bayar (Paywalls): Jurnal-jurnal ini kemudian menjual akses ke konten tersebut kembali ke komunitas akademik dan masyarakat umum dengan harga yang sangat tinggi, menghalangi penyebaran pengetahuan yang bebas.

  3. Meraup Keuntungan Fantastis: Penerbit komersial besar menikmati margin keuntungan yang sangat tinggi dari model bisnis ini, yang didanai oleh uang publik (melalui hibah penelitian dan anggaran perpustakaan universitas).

Dari perspektif ini, jurnal-jurnal yang dicap "predator"—yang seringkali beroperasi dengan model akses terbuka (open access)—justru lebih selaras dengan tujuan dasar ilmu pengetahuan. Mereka membuat penelitian dapat diakses oleh siapa saja yang memiliki koneksi internet, memungkinkan jangkauan audiens yang lebih luas dan mempercepat siklus percakapan ilmiah.26 Penulis berpendapat bahwa dengan menerbitkan di jurnal akses terbuka ini, ia melayani tujuan fundamental komunikasi ilmiah—yaitu untuk dibaca dan terlibat—daripada melayani mesin keuntungan penerbit besar.


4.2 Di Luar Niat Jahat: Tekanan Sistemik yang Mendorong Perilaku Penulis


Argumen provokatif di atas menyoroti cacat pada model tradisional, tetapi mengapa begitu banyak peneliti menerbitkan di jurnal yang jelas-jelas memiliki praktik yang meragukan? Jawabannya jauh lebih kompleks daripada sekadar kebodohan atau niat jahat. Berbagai studi telah mengidentifikasi serangkaian tekanan sistemik yang kuat yang mendorong perilaku ini:

  • Budaya "Publish or Perish": Di banyak sistem akademik di seluruh dunia, evaluasi karier (promosi, jabatan, hibah) sangat bergantung pada kuantitas publikasi. Tekanan untuk terus-menerus menerbitkan mendorong peneliti, terutama yang berada di awal karier atau di institusi dengan sumber daya terbatas, untuk mencari jalan publikasi yang lebih cepat dan lebih mudah.27

  • Kurangnya Pelatihan dan Bimbingan: Banyak peneliti, terutama di negara-negara berkembang, tidak menerima pelatihan yang memadai tentang etika penerbitan atau cara mengidentifikasi jurnal yang memiliki reputasi baik. Mereka menjadi sasaran empuk bagi taktik pemasaran agresif dari jurnal-jurnal predator, yang seringkali meniru nama dan gaya situs web jurnal yang sah.27

  • Penghindaran Proses Tinjauan Sejawat yang Sulit: Proses tinjauan sejawat di jurnal-jurnal ternama bisa sangat panjang, melelahkan, dan terkadang dirasakan bias. Beberapa peneliti mungkin secara sadar memilih jurnal dengan tinjauan yang lebih longgar untuk menghindari penolakan atau revisi besar, terutama jika mereka merasa karya mereka tidak cukup "terobosan" untuk jurnal papan atas.29

  • Ancaman Identitas Sosial dan Bias Geografis: Beberapa peneliti dari negara-negara berkembang merasa bahwa jurnal-jurnal Barat yang bereputasi baik mungkin memiliki prasangka terhadap karya mereka. Mereka mungkin merasa lebih nyaman menerbitkan di jurnal dari wilayah mereka sendiri, bahkan jika jurnal tersebut memiliki standar yang lebih rendah.27

Faktor-faktor ini menunjukkan bahwa pilihan untuk menerbitkan di jurnal yang "meragukan" seringkali merupakan respons rasional, meskipun mungkin tidak ideal, terhadap lingkungan akademik yang sangat kompetitif dan seringkali tidak adil.


4.3 Dari Label Pejoratif ke Penilaian Fungsional


Dikotomi "predator" versus "reputabel" adalah sebuah penyederhanaan yang berlebihan dan menyesatkan. Di satu sisi, tidak dapat disangkal bahwa ada entitas yang sepenuhnya curang, yang terlibat dalam penipuan terang-terangan: membuat dewan redaksi palsu, mengklaim faktor dampak yang tidak ada, dan tidak menyediakan tinjauan sejawat sama sekali.28 Entitas ini secara aktif merusak catatan ilmiah dan merugikan para peneliti.31

Namun, di sisi lain, seperti yang ditunjukkan oleh skandal Surgisphere, label "reputabel" juga bukan jaminan kualitas atau etika. Ada spektrum praktik di seluruh industri penerbitan. Daripada mengandalkan label pejoratif, komunitas akademik perlu beralih ke penilaian fungsional yang lebih bernuansa terhadap semua jurnal. Penilaian ini harus didasarkan pada serangkaian kriteria yang spesifik dan transparan, seperti:

  • Keketatan dan Transparansi Tinjauan Sejawat: Apakah prosesnya jelas? Apakah identitas peninjau diungkapkan (opsional)? Apakah laporan tinjauan dipublikasikan?

  • Standar Editorial dan Etika: Apakah jurnal tersebut mengikuti pedoman dari organisasi seperti Committee on Publication Ethics (COPE)? Bagaimana mereka menangani koreksi dan retraksi?

  • Model Bisnis dan Diseminasi: Apakah jurnal tersebut akses terbuka atau di balik tembok bayar? Jika ada biaya pemrosesan artikel (APC), apakah biayanya transparan dan sepadan dengan layanan yang diberikan?

  • Nilai bagi Komunitas: Apakah jurnal tersebut benar-benar melayani komunitas ilmiah tertentu dengan menyediakan platform yang berharga untuk diskusi dan penyebaran pengetahuan?


4.4 Memfokuskan Kembali pada Tujuan Fundamental Publikasi Ilmiah


Kritik terhadap kedua sisi spektrum "predator-reputabel" membawa kita kembali ke prinsip pertama. Tujuan publikasi ilmiah adalah untuk memvalidasi, mengarsipkan, dan menyebarluaskan pengetahuan secara luas dan transparan guna memfasilitasi kemajuan ilmu pengetahuan.26 Sistem saat ini, baik yang didorong oleh keuntungan (model langganan) maupun yang didorong oleh volume (beberapa model akses terbuka), seringkali menyimpang dari tujuan-tujuan ini demi gengsi dan uang.

Masalahnya bukanlah segelintir jurnal "jahat," melainkan seluruh ekosistem di mana insentif pasar penerbitan tidak selaras dengan tujuan inti ilmu pengetahuan. Oleh karena itu, penilaian penelitian yang bertanggung jawab tidak dapat begitu saja menerima status "reputabel" sebuah jurnal begitu saja, juga tidak dapat serta-merta menolak sebuah artikel hanya karena muncul di jurnal yang dicap "predator." Hal ini sekali lagi memaksa kita untuk kembali ke prinsip inti DORA: konten, rigor, dan kontribusi dari karya itu sendiri adalah yang terpenting, bukan stempel dari wadah publikasinya.


Bagian 5: Jalan Menuju Penilaian yang Bertanggung Jawab: Keluar dari Jebakan Proksi


Sintesis dari analisis terhadap DORA, kegagalan jurnal elite, dan kompleksitas ekosistem penerbitan mengarah pada satu kesimpulan yang tak terhindarkan: komunitas riset global harus secara sadar melepaskan diri dari ketergantungan pada proksi. Metrik-metrik baru yang lebih canggih seperti FWCI dan RI2, meskipun dimaksudkan untuk memperbaiki kekurangan pendahulunya, pada akhirnya tetap merupakan variasi dari tema yang sama. Mereka adalah dua sisi dari mata uang yang sama-sama cacat, yang mengalihkan perhatian dari tugas esensial untuk menilai penelitian secara langsung. Jalan ke depan menuntut bukan penciptaan metrik yang lebih baik, melainkan pengurangan ketergantungan institusional dan budaya pada metrik itu sendiri.


Tabel 2: Kritik Komparatif terhadap Metrik Penilaian Riset



Aspek

Journal Impact Factor (JIF)

Field-Weighted Citation Impact (FWCI)

Research Integrity Risk Index (RI2)

Tujuan Utama

Proksi untuk Kualitas Jurnal/Artikel

Proksi untuk Kualitas Artikel yang Dinormalisasi

Proksi untuk Integritas Institusional

Metodologi Inti

Rata-rata sitasi mentah untuk sebuah jurnal dalam periode waktu tertentu.

Rata-rata sitasi yang dinormalisasi untuk sebuah artikel dibandingkan dengan artikel sejenis (bidang, tahun, tipe).

Tingkat retraksi dan publikasi di jurnal yang dihapus, diagregasi di tingkat institusi.

Ketergantungan Proksi

Tingkat Jurnal: Mengasumsikan kualitas artikel sama dengan rata-rata jurnalnya.

Tingkat Artikel (Berbasis Sitasi): Mengukur sitasi, bukan konten atau kualitas inheren.

Tingkat Institusi (Berbasis Jurnal): Mengukur peristiwa di tingkat jurnal sebagai cerminan praktik institusional.

Kelemahan Fundamental (Perspektif DORA)

Menilai jurnal, bukan konten artikel. Sangat miring dan dapat dimanipulasi.

Meskipun dinormalisasi, ia tetaplah proksi sitasi, bukan penilaian langsung terhadap konten, rigor, atau dampak kualitatif.

Menilai peristiwa terkait jurnal, bukan praktik, budaya, atau pengawasan integritas internal institusi.

Potensi Penyalahgunaan dan Konsekuensi Negatif

Mendorong budaya "publish or perish" dan pemilihan jurnal berdasarkan metrik, bukan kesesuaian.

Digunakan untuk keputusan berisiko tinggi seperti pemberhentian staf 7, mengintensifkan tekanan untuk "mempermainkan" sitasi.

Mendorong institusi untuk "mengelola metrik" (misalnya, membuat daftar hitam jurnal, menghindari retraksi) daripada memperbaiki budaya integritas.

Kesimpulan

Proksi yang kasar dan usang.

Proksi yang lebih canggih tetapi secara fundamental masih cacat karena tetap merupakan proksi.

Proksi baru untuk kebajikan yang berbeda (integritas), tetapi mengulangi kesalahan logis yang sama dengan proksi kualitas.



5.1 Dua Sisi dari Mata Uang yang Sama-sama Cacat: Mengapa FWCI dan RI2 Melanggengkan Masalah Proksi


Analisis komparatif di atas menunjukkan pola yang jelas. Baik FWCI maupun RI2, meskipun menargetkan aspek yang berbeda dari kinerja akademik, melanggengkan masalah ketergantungan pada proksi.

Field-Weighted Citation Impact (FWCI) sering dipuji sebagai perbaikan signifikan atas JIF. Dengan menormalisasi jumlah sitasi berdasarkan bidang, tahun publikasi, dan jenis dokumen, FWCI memungkinkan perbandingan yang lebih adil antar disiplin ilmu.4 Sebuah artikel di bidang humaniora dengan FWCI 1.5 secara teoritis menunjukkan dampak relatif yang sama dengan artikel di bidang biomedis dengan FWCI 1.5. Metrik ini telah diadopsi secara luas oleh platform seperti Scopus dan SciVal dan menjadi komponen kunci dalam metodologi pemeringkatan universitas dunia seperti QS dan THE.3 Namun, di balik kecanggihannya, FWCI tetap memiliki kelemahan fundamental:

  • Masih Berbasis Sitasi: Ia tidak mengukur kualitas, kebenaran, atau kontribusi intelektual sebuah karya; ia hanya mengukur seberapa sering karya itu dikutip oleh karya lain yang terindeks di Scopus. Sitasi bisa negatif, seremonial, atau tidak relevan.35

  • Ketergantungan pada Basis Data: Nilainya sepenuhnya bergantung pada cakupan Scopus. Publikasi yang tidak terindeks di Scopus tidak dihitung.4

  • Rentan terhadap Outlier: Seperti metrik rata-rata lainnya, FWCI seorang peneliti atau institusi dapat sangat dipengaruhi oleh satu atau dua publikasi yang sangat banyak dikutip, yang dapat memberikan gambaran yang tidak akurat tentang kinerja keseluruhan.4

Pada dasarnya, FWCI adalah upaya untuk menyempurnakan proksi, bukan untuk meninggalkannya. Ia masih gagal menilai penelitian berdasarkan keunggulannya sendiri.

Research Integrity Risk Index (RI2), seperti yang telah dianalisis secara mendalam di Bagian 2, menerapkan logika proksi yang sama pada domain integritas. Ia tidak mengukur secara langsung praktik penelitian yang bertanggung jawab di sebuah institusi. Sebaliknya, ia menggunakan peristiwa-peristiwa di tingkat jurnal—retraksi dan penghapusan dari daftar—sebagai indikator tidak langsung dari risiko integritas.

Dengan demikian, baik FWCI (untuk kualitas) maupun RI2 (untuk integritas) merupakan manifestasi dari kegagalan untuk mempelajari pelajaran inti DORA. Keduanya adalah upaya untuk menemukan "angka yang lebih baik," proksi yang lebih canggih, daripada terlibat dalam pekerjaan yang lebih sulit tetapi jauh lebih penting, yaitu evaluasi kualitatif secara langsung.


5.2 Rayuan Skalabilitas: Mendekonstruksi Daya Tarik Metrik


Mengapa dunia akademik begitu kecanduan pada proksi-proksi yang cacat ini? Daya tariknya terletak pada janji mereka akan objektivitas, efisiensi, dan skalabilitas—kualitas-kualitas yang sangat dihargai dalam manajemen universitas modern yang semakin birokratis.37 Menghadapi ribuan pelamar kerja atau ratusan proposal hibah, jauh lebih mudah dan lebih cepat untuk menyortir berdasarkan skor metrik daripada membentuk komite untuk membaca dan mendiskusikan setiap karya secara mendalam.

Namun, pengejaran "angka mudah" ini adalah sebuah ilusi. Desain setiap metrik pada dasarnya bersifat subyektif—keputusan tentang apa yang harus diukur, bagaimana cara mengukurnya, dan bagaimana cara menimbangnya adalah pilihan manusia yang sarat dengan nilai. Ketika metrik ini diterapkan dalam evaluasi berisiko tinggi, ia secara tak terelakkan menciptakan insentif yang salah dan mendorong perilaku "mempermainkan" sistem, seperti yang dijelaskan dalam makalah tentang RI2.11 Pada akhirnya, metrik tersebut merusak proses ilmiah yang seharusnya diukurnya.


5.3 Rekomendasi untuk Kerangka Penilaian yang Otentik


Keluar dari jebakan proksi membutuhkan lebih dari sekadar kritik; ia membutuhkan visi positif dan langkah-langkah yang dapat ditindaklanjuti. Berikut adalah rekomendasi konkret untuk para pemangku kepentingan utama guna membangun kerangka penilaian yang lebih otentik dan bertanggung jawab.

Untuk Lembaga Pendanaan dan Institusi Akademik:

  1. Wajibkan CV Naratif: Adopsi format seperti Résumé for Researchers (RoR) dari Royal Society atau format serupa yang memprioritaskan deskripsi kualitatif tentang kontribusi, keterampilan, dan dampak, daripada sekadar daftar publikasi dan metrik. Ini memaksa kandidat dan evaluator untuk fokus pada narasi kontribusi ilmiah.

  2. Terapkan Tinjauan Konten Langsung: Untuk keputusan penting seperti perekrutan, promosi, dan jabatan, wajibkan komite untuk membaca secara mendalam sejumlah kecil (misalnya, 3-5) output paling signifikan dari seorang kandidat. Komite harus memberikan penilaian kualitatif tertulis tentang konten, rigor metodologis, orisinalitas, dan dampak dari karya-karya tersebut.

  3. Perluas Definisi "Output": Secara formal, akui dan hargai beragam kontribusi ilmiah, sejalan dengan seruan DORA.1 Buatlah rubrik untuk mengevaluasi kualitas dan dampak dari kumpulan data, perangkat lunak, kode, paten, pengaruh kebijakan, keterlibatan publik, dan bimbingan.

  4. Berikan Insentif untuk Praktik Terbuka dan Transparan: Berikan penghargaan kepada peneliti yang secara proaktif terlibat dalam praktik yang meningkatkan rigor dan kepercayaan. Ini termasuk pra-registrasi studi, berbagi data dan kode secara terbuka, menerbitkan pracetak (preprints), dan berpartisipasi dalam tinjauan sejawat terbuka. Praktik-praktik ini adalah indikator langsung dan dapat diverifikasi dari integritas dan komitmen terhadap kemajuan ilmiah.

Untuk Peneliti Individual:

  1. Kurasi, Jangan Hitung: Ambil kendali atas narasi profesional Anda. Dalam CV, profil online, dan aplikasi, sajikan karya Anda dalam kerangka kontribusi intelektualnya, bukan hanya berdasarkan tempat publikasinya. Jelaskan mengapa sebuah karya penting, apa masalah yang dipecahkannya, dan apa dampaknya.

  2. Praktikkan Tinjauan Sejawat yang Bertanggung Jawab: Terlibatlah dalam tinjauan sejawat yang bijaksana, kritis, dan konstruktif sebagai tugas profesional inti. Tinjauan sejawat yang berkualitas adalah fondasi dari seluruh sistem komunikasi ilmiah. Dengan memperkuatnya, para peneliti secara kolektif meningkatkan kualitas dan integritas bidang mereka.

Solusi utama untuk masalah metrik yang buruk bukanlah menciptakan metrik yang "lebih baik," tetapi secara fundamental mengurangi ketergantungan institusional dan budaya kita pada metrik secara keseluruhan. Jalan ke depan menuntut investasi ulang yang disengaja dalam praktik penilaian oleh para ahli yang "lambat," padat sumber daya, tetapi jauh lebih bermakna. Ini adalah perwujudan sejati dari semangat DORA.


Kesimpulan: Di Luar Proksi, Menuju Keilmuan yang Otentik


Laporan ini telah menelusuri sebuah narasi yang mengkhawatirkan dalam dunia penilaian riset. Perjalanan ini dimulai dengan kejelasan dan kekuatan visi Deklarasi San Francisco tentang Penilaian Riset (DORA), yang menyerukan pembebasan dari tirani metrik berbasis jurnal dan pengembalian fokus pada konten ilmiah itu sendiri. Namun, perjalanan ini berlanjut dengan kemunculan proksi-proksi baru yang lebih kompleks—Field-Weighted Citation Impact (FWCI) untuk kualitas dan Research Integrity Risk Index (RI2) untuk integritas—yang, terlepas dari targetnya yang berbeda, secara fundamental melanggengkan kesalahan yang sama.

Tesis inti dari laporan ini adalah bahwa metrik-metrik baru ini bukanlah sebuah langkah maju, melainkan sebuah gerakan lateral di dalam "jebakan proksi" yang sama. Mereka mewakili pencarian yang tak kunjung usai akan "angka ajaib" yang dapat menggantikan penilaian manusia yang sulit dan bernuansa. Dengan terus mengandalkan indikator tidak langsung yang berpusat pada jurnal, sistem akademik global tetap rentan terhadap distorsi insentif, perilaku "mempermainkan metrik," dan kegagalan integritas yang spektakuler bahkan di lembaga-lembaga yang paling dihormati. Skandal Surgisphere dan rentetan retraksi di jurnal-jurnal elite bukanlah anomali, melainkan gejala dari sebuah sistem yang salah menempatkan kepercayaannya pada gengsi wadah daripada substansi isinya.

Jalan keluar dari krisis ini menuntut keberanian dan komitmen. Komunitas riset global—dari pemimpin universitas dan lembaga pendanaan hingga peneliti individual—harus memiliki keberanian untuk bergerak melampaui kenyamanan palsu dari angka-angka yang sederhana. Sudah saatnya untuk menghentikan perlombaan senjata metrik dan berinvestasi kembali dalam proses evaluasi yang lambat, sulit, dan padat sumber daya, tetapi pada akhirnya jauh lebih adil dan bermakna: penilaian kualitatif yang dilakukan oleh para ahli. Ini adalah satu-satunya cara untuk membangun kembali sebuah budaya di mana keunggulan dan integritas dihargai secara otentik, dan di mana ilmu pengetahuan dapat berkembang sesuai dengan tujuan tertingginya: memajukan pemahaman manusia.


Referensi

  1. San Francisco Declaration on Research Assessment - The American Society for Cell Biology, accessed July 8, 2025, https://www.ascb.org/files/SFDeclarationFINAL.pdf?f0d4d8

  2. Read the Declaration | DORA, accessed July 8, 2025, https://sfdora.org/read/

  3. Author Field Weighted Citation Impact (FWCI) - Research metrics help guide - LibGuides at Deakin University, accessed July 8, 2025, https://deakin.libguides.com/research-metrics/author-fwci

  4. Field-Weighted Citation Impact (FWCI) - Guides at The Education University of Hong Kong, accessed July 8, 2025, https://libguides.eduhk.hk/FWCI

  5. Methodology | Lokman I. Meho - American University of Beirut, accessed July 8, 2025, https://sites.aub.edu.lb/lmeho/methodology/

  6. The San Francisco Declaration on Research Assessment (DORA) - CIHR, accessed July 8, 2025, https://cihr-irsc.gc.ca/e/51731.html

  7. San Francisco Declaration on Research Assessment - Wikipedia, accessed July 8, 2025, https://en.wikipedia.org/wiki/San_Francisco_Declaration_on_Research_Assessment

  8. DORA – San Francisco Declaration on Research Assessment, accessed July 8, 2025, https://www.sanger.ac.uk/about/research-policies/dora-san-francisco-declaration-research-assessment/

  9. About DORA - San Francisco Declaration on Research Assessment (DORA), accessed July 8, 2025, https://sfdora.org/about-dora/

  10. Gaming the Metrics? Bibliometric Anomalies and the Integrity Crisis in Global University Rankings | bioRxiv, accessed July 8, 2025, https://www.biorxiv.org/content/10.1101/2025.05.09.653229v2.full-text

  11. [2505.06448] Gaming the Metrics? Bibliometric Anomalies and the Integrity Crisis in Global University Rankings - arXiv, accessed July 8, 2025, https://arxiv.org/abs/2505.06448

  12. RI2 | Lokman I. Meho - American University of Beirut, accessed July 8, 2025, https://sites.aub.edu.lb/lmeho/ri2/

  13. RETRACTED: Hydroxychloroquine or chloroquine with or without a ..., accessed July 8, 2025, https://www.thelancet.com/article/S0140-6736(20)31180-6/fulltext

  14. How Did This Pass Peer Review? The COVID-19 Retractions - Medscape, accessed July 8, 2025, https://www.medscape.com/viewarticle/932262

  15. Lancet, NEJM Retract COVID-19 Research Papers After Concerns Raised On Data Integrity, accessed July 8, 2025, https://www.kff.org/news-summary/lancet-nejm-retract-covid-19-research-papers-after-concerns-raised-on-data-integrity/

  16. Retraction of Two Published Studies Related to COVID-19 From Lancet, NEJM, accessed July 8, 2025, https://www.acc.org/latest-in-cardiology/articles/2020/06/04/17/21/retraction-of-two-published-studies-related-to-covid-19-from-lancet-nejm

  17. Sen. Johnson Requests Records from Top Medical Journals Regarding Retracted Studies, accessed July 8, 2025, https://www.ronjohnson.senate.gov/2021/12/sen-johnson-requests-records-from-top-medical-journals-regarding-retracted-studies

  18. retractionwatch.com, accessed July 8, 2025, https://retractionwatch.com/category/by-journal/nature-retractions/#:~:text=The%20retracted%20article%2C%20%E2%80%9CPluripotency%20of,most%2Dcited%20retracted%20paper%20ever.

  19. Much-cited Nature stem cell paper retracted after 22 years - Progress Educational Trust, accessed July 8, 2025, https://www.progress.org.uk/much-cited-nature-stem-cell-paper-retracted-after-22-years/

  20. nature retractions - Retraction Watch, accessed July 8, 2025, https://retractionwatch.com/category/by-journal/nature-retractions/

  21. Retraksi artikel ilmiah – Blog Kejar Tayang, accessed July 8, 2025, https://deceng5.wordpress.com/2021/08/15/retraksi-artikel-ilmiah/

  22. 'All authors agree' to retraction of Nature article linking microbial DNA to cancer. - Reddit, accessed July 8, 2025, https://www.reddit.com/r/EverythingScience/comments/1dr9plf/all_authors_agree_to_retraction_of_nature_article/

  23. Retraction in academic publishing - Wikipedia, accessed July 8, 2025, https://en.wikipedia.org/wiki/Retraction_in_academic_publishing

  24. Journals with most retracted articles | Download Table - ResearchGate, accessed July 8, 2025, https://www.researchgate.net/figure/Journals-with-most-retracted-articles_tbl1_231742591

  25. Editorial - The Secret Life of Retractions in Scientific Publications - PMC, accessed July 8, 2025, https://pmc.ncbi.nlm.nih.gov/articles/PMC10485848/

  26. Burgess-Jackson K. Why I Publish in “Predatory” Journals—and Why You Should, Too. Philos Int J 2020, 3(4), accessed July 8, 2025, https://medwinpublishers.com/PhIJ/why-i-publish-in-predatory-journals-and-why-you-should-too.pdf

  27. Why do authors publish in predatory journals? | Request PDF - ResearchGate, accessed July 8, 2025, https://www.researchgate.net/publication/322582744_Why_do_authors_publish_in_predatory_journals

  28. Essential Information about Predatory Publishers and Journals, accessed July 8, 2025, https://ejournals.bc.edu/index.php/ihe/article/download/9358/8368/16098

  29. Predatory Journals: The Threat to Credibility of Open Access Publishing - dline.info, accessed July 8, 2025, https://www.dline.info/jstm/fulltext/v5n1/jstmv5n1_3.pdf

  30. Why I published in a predatory journal - Hacker News, accessed July 8, 2025, https://news.ycombinator.com/item?id=14181612

  31. Predatory and Questionable Publishing Practices - WUR eDepot, accessed July 8, 2025, https://edepot.wur.nl/656201

  32. EP 03: FIELD-WEIGHTED CITATION IMPACT (FWCI) | 2-MIN METRICS SERIES - YouTube, accessed July 8, 2025, https://www.youtube.com/watch?v=VErGKwWDsug

  33. Research Impact: The Power of Field-Weighted Citations | Enago, accessed July 8, 2025, https://www.enago.com/academy/rethinking-research-impact-field-weighted-citations/amp/

  34. SciVal - Measuring Research Impact 5 - CityUHK Library Research Guides!, accessed July 8, 2025, https://libguides.library.cityu.edu.hk/rim_tools/scival

  35. Measuring impact - Scholarly Communications - Google Sites, accessed July 8, 2025, https://sites.google.com/workspace.hkbu.edu.hk/scholarlycommunications/measuring-impact

  36. The pros and cons of key metrics - University of Bradford, accessed July 8, 2025, https://www.bradford.ac.uk/library/research-support/bibliometrics-and-altmetrics/The_pros_and_cons_of_key_metrics.pdf

  37. Analisis Bibliometrik: Konsep, Metodologi, Dan Aplikasinya Dalam Penelitian Ilmiah - Universitas Negeri Makassar, accessed July 8, 2025, https://ojs.unm.ac.id/semnaslemlit/article/download/67272/28997

 
 
 

Comments

Post: Blog2_Post

©2021 by Juneman Abraham - Social psychologist. Proudly created with Wix.com

bottom of page