Po naključju sem v toku novic in informacij naletel na članek v Nature Scientific Reports. Predstavlja podatke iz raziskave 1500 znanstvenikov o obnovljivosti rezultatov raziskav. Če je bila prej ta težava postavljena zaradi bioloških in medicinskih raziskav, kjer je na eni strani to razložljivo (napačne korelacije, splošna zapletenost preiskovanih sistemov, včasih se očita celo znanstvena programska oprema), ima po drugi strani fenomenološki značaj (miši se na primer ponavadi obnašajo drugače z znanstveniki različni spoli (1 in 2)).
Vendar pa ni vse gladko z bolj naravnimi vedami, kot so fizika in inženiring, kemija, ekologija. Zdi se, da prav te discipline temeljijo na "absolutno" ponovljivih poskusih, izvedenih v najbolj nadzorovanih pogojih, žal, neverjeten - v vsakem pomenu besede - rezultat raziskave: do 70% raziskovalcev se je srečalo z neobnovljivimi poskusi in rezultati, ki jih dobijo ne le druge skupine znanstvenikov, ALI tudi avtorji / soavtorji objavljenih znanstvenih del!
Ali vsak pesjak hvali svoje močvirje?
Čeprav 52% anketirancev opozarja na krizo obnovljivosti v znanosti, jih manj kot 31% ocenjuje, da so objavljeni podatki v bistvu napačni, večina pa jih je navedla, da objavljenemu delu še vedno zaupajo.
Vprašanje: Ali obstaja kriza obnovljivosti rezultatov?
Seveda se ne bi smeli odrezati in plesti vso znanost kot tako le na podlagi te raziskave: polovica anketirancev je bila še vedno znanstvenike, povezane na tak ali drugačen način z biološkimi vedami. Kot ugotavljajo avtorji, je v fiziki in kemiji stopnja obnovljivosti in zaupanje v dobljene rezultate precej višja (glej graf spodaj), vendar še vedno ne 100%. Toda v medicini so stvari v primerjavi s preostalimi zelo slabe.
Promocijski video:
Na misel pride anekdota:
Marcus Munafo, biološki psiholog z univerze v Bristolu v Angliji, že dolgo zanima zanimanje za obnovljivost znanstvenih podatkov. Ko se spominja dni svojih študentskih dni, pravi:
Vprašanje: Koliko objavljenih del v vaši panogi je mogoče ponoviti?
Zemljepisna širina in globina problema
Predstavljajte si, da ste znanstvenik. Naletite na zanimiv članek, vendar rezultatov / poskusov ni mogoče ponoviti v laboratoriju. Logično je, da o tem napišete avtorjem izvirnega članka, vprašate za nasvet in postavite pojasnjevalna vprašanja. Po raziskavi jih je manj kot 20% to storilo kadar koli v svoji znanstveni karieri!
Avtorji študije ugotavljajo, da so morda takšni stiki in pogovori za znanstvenike sami preveč težavni, saj razkrivajo njihovo nesposobnost in nedoslednost v določenih vprašanjih ali pa razkrivajo preveč podrobnosti o trenutnem projektu.
Poleg tega je velika manjšina znanstvenikov poskušala objaviti ovrženje nenadomestljivih rezultatov, medtem ko se je soočala z nasprotovanjem urednikov in recenzentov, ki so zahtevali, da primerjave omalovažijo s prvotno študijo. Se sploh čudi, da je možnost poročanja o neobnovljivosti znanstvenih rezultatov približno 50%.
Prvo vprašanje: Ali ste poskušali reproducirati rezultate poskusa?
Drugo vprašanje: Ali ste poskušali objaviti svoj poskus ponovitve rezultatov?
Mogoče potem v laboratoriju vsaj opraviti preizkus obnovljivosti? Najbolj žalostno je, da tretjina vprašanih NIKOLI sploh ni razmišljala o ustvarjanju metod za preverjanje podatkov za obnovljivost. Le 40% jih je navedlo, da redno uporabljajo takšne tehnike.
V: Ste že kdaj razvili posebne tehnike / tehnične postopke za izboljšanje ponovljivosti rezultatov?
Drugi primer, biokemičar iz Združenega kraljestva, ki ni želel razkriti svojega imena, pravi, da poskus ponovitve, ponovitve dela za njen laboratorijski projekt preprosto podvoji čas in materialne stroške, ne da bi delo dodal ali dodal kaj novega. Dodatni pregledi se izvajajo le za inovativne projekte in nenavadne rezultate.
In seveda večna ruska vprašanja, ki so začela mučiti tuje kolege: kdo je kriv in kaj storiti?
Kdo je kriv?
Avtorji dela so opredelili tri glavne težave obnovljivosti rezultatov:
- Pritisk nadrejenih, da se delo pravočasno objavi
- Selektivno poročanje (očitno pomeni zatiranje nekaterih podatkov, ki "pokvarijo" celotno sliko)
- Nezadostna analiza podatkov (vključno s statističnimi)
Vprašanje: Kateri dejavniki so odgovorni za neponovljive znanstvene rezultate?
Odgovori (od zgoraj navzdol): - vzorčno poročanje - povečuje pritisk - slaba analiza / statistika - premajhna ponovljivost eksperimenta v laboratoriju - pomanjkljiv nadzor - pomanjkanje metode ali kode - slab eksperimentalni načrt - pomanjkanje neobdelanih podatkov iz primarnega laboratorija - groznost - nezadostno preverjanje s strani strokovnjakov / recenzentov –Problemi s poskusi reprodukcije –Tehnično strokovno znanje je potrebno za razmnoževanje –Variabilnost standardnih reagentov - „Neddachka in Pichalka“
Kaj storiti?
Od 1.500 anketiranih je več kot 1000 strokovnjakov zavzelo za izboljšanje statistike pri zbiranju in obdelavi podatkov, izboljšanje kakovosti nadzora s strani šefov in strožje načrtovanje eksperimentov.
V: Kateri dejavniki bodo pripomogli k boljši obnovljivosti?
Odgovori (od zgoraj navzdol): - Boljše razumevanje statistike - Strožji nadzor - Boljša eksperimentalna zasnova - Usposabljanje - Notranji laboratorijski pregled - Izboljšane praktične spretnosti - Spodbujanje formalnega navzkrižnega preverjanja podatkov - Medlaboratorijski pregled - Dodelitev več časa za vodenje projektov - Večji standardi znanstvenih revij - Dodelitev več časa za delo z laboratorijskimi zapisi
Zaključek in nekaj osebnih izkušenj
Prvič, tudi pri meni kot znanstveniku so rezultati osupljivi, čeprav sem se že navadil na določeno stopnjo nenadomestljivosti. To je še posebej očitno v delih, ki so jih Kitajci in Indijci izvajali brez "revizije" tretjih oseb v obliki ameriških / evropskih profesorjev. Dobro je, da so problem prepoznali in razmislili o njegovi rešitvi. O ruski znanosti bom taktično molčal v zvezi z nedavnim škandalom, čeprav mnogi pošteno opravljajo svoje delo.
Drugič, članek ignorira (ali bolje rečeno, ne upošteva) vloge znanstvenih metrik in strokovno pregledanih znanstvenih revij pri nastajanju in razvoju problema neuničljivosti rezultatov raziskav. V zasledovanju hitrosti in pogostosti objav (beri, povečanje indeksov citiranosti) kakovost močno pade in ni časa za dodatno preverjanje rezultatov.
Kot pravijo, so vsi liki izmišljeni, vendar temeljijo na resničnih dogodkih. Nekako je imel en študent priložnost pregledati članek, saj nima vsak profesor časa in energije za premišljeno branje člankov, zato se zbere mnenje 2-3-4 študentov in zdravnikov, iz katerega se oblikuje pregled. Napisan je bil pregled, v katerem je bilo opozorjeno na nenadomestljivost rezultatov po metodi, opisani v članku. To je profesorju nazorno pokazal. A da ne bi pokvarili odnosa s "sodelavci" - navsezadnje jim vse uspe - je bil pregled "popravljen". In objavljena sta 2 ali 3 takih člankov.
Izkazalo se je začaran krog. Znanstvenik članek pošlje uredniku časopisa, kjer navede "želene" in, kar je najpomembneje, "nezaželene" recenzente, torej v resnici pusti le tiste, ki so do skupine avtorjev pozitivno nastrojeni. Delo pregledajo, vendar ne morejo "sranje v komentarjih" in poskušajo izbrati manjše od dva zla - tu je seznam vprašanj, na katera je treba odgovoriti, nato pa bomo članek objavili.
Drug primer, o katerem je urednik Nature govoril pred slabim mesecem, so Grazelove sončne plošče. Zaradi velikega zanimanja za to temo v znanstveni skupnosti (navsezadnje še vedno želijo članek v Naravi!), So morali uredniki izdelati poseben vprašalnik, v katerem je treba navesti veliko parametrov, navesti kalibracije opreme, certifikate itd., Da potrdijo, da je metoda za merjenje učinkovitosti plošče so v skladu z nekaterimi splošnimi načeli in standardi.
In tretjič, ko znova slišite za čudežno cepivo, ki osvaja vse in vsakogar, nova zgodba o Jobsu v suknji, novih baterijah ali nevarnosti / koristi GSO ali sevanju pametnih telefonov, še posebej, če bi ga rumeni pisci spodbujali iz novinarstva, potem bodite razumevajoči in ne skočite na sklepe. Počakajte na potrditev rezultatov drugih skupin znanstvenikov, nabiranje matrike in vzorce podatkov.