Gli esperimenti psicologici sono scientificamente attendibili? Solo poco più di 1 su 3 è replicabile

[Baraddur]

Fonte: http://www.ilpost.it/2015/08/30/riprodu ... sicologia/

"30 AGOSTO 2015

Molti studi scientifici non sono replicabili, dice uno studio scientifico

Almeno in psicologia: riproducendo 100 ricerche è stato possibile ottenere risultati compatibili con gli originali in poco più di un terzo

Se ci si informa riguardo le nuove scoperte scientifiche, soprattutto quelle nel campo della psicologia, sulla stampa generalista, è facile avere l’impressione che vengano pubblicati settimanalmente studi che dicano tutto e il contrario di tutto. Spesso quest’impressione è dovuta al fatto che i giornali prendono per buoni studi poco autorevoli, e che non vengono pubblicati dalle più importanti riviste scientifiche, quindi solo dopo un accurato lavoro di verifica. Giovedì, la rivista scientifica Science ha pubblicato un articolo con i risultati di una lunga ricerca condotta dal Center for Open Science, un’organizzazione non profit con sede a Charlottesville, in Virginia, che sostiene che ripetendo la maggior parte degli studi che presentano nuove scoperte nel campo della psicologia si ottengono risultati diversi da quelli originali: non sono quindi riproducibili. E quella della riproducibilità è una delle basi del metodo scientifico, da Galileo in poi: se replicando uno studio si arriva a conclusioni molto diverse, quello studio in teoria non è scientificamente valido.

Brian Nosek, professore di psicologia alla University of Virginia e direttore del Center for Open Science, ha lavorato con 270 colleghi per provare a riprodurre parti di 100 studi pubblicati nel 2008 su tre diversi e autorevoli riviste di psicologia. Gli studi erano considerati importanti per capire le dinamiche della personalità, delle relazioni, dell’apprendimento e della memoria, e sulle loro conclusioni fanno affidamento diversi metodi utilizzati da educatori e terapisti. Lavorando in 90 diversi gruppi, i ricercatori hanno riprodotto solo parzialmente gli esperimenti, perché farlo interamente sarebbe stato troppo lungo e costoso: hanno scelto però fasi dello studio originale che secondo loro erano fondamentali per confermare il risultato ottenuto. Le diverse squadre hanno anche contattato i ricercatori dello studio originale per assicurarsi di riprodurre correttamente e fedelmente l’esperimento, e poi hanno riformulato le conclusioni sostituendo ai dati originali quelli ottenuti nella loro esperienza.

Solo in 47 casi su 100 le conclusioni originali erano compatibili con quelle ottenute riproducendo l’esperimento (con un intervallo di fiducia del 95 per cento). E solo in 39 casi i ricercatori che hanno replicato l’esperimento hanno reputato, soggettivamente, di aver raggiunto le stesse conclusioni dello studio iniziale. In totale, i ricercatori hanno concluso che solo il 36 per cento degli studi riprodotti ha dato risultati statisticamente compatibili. In 82 casi su 100 – compresi quindi quelli in cui le conclusioni erano compatibili – l’entità dei risultati finali era più modesta dell’originale: è stata quindi rilevata una sorta di “tendenza all’ingigantimento”. In pochissimi casi i nuovi risultati hanno contraddetto gli originali: erano semplicemente più deboli.

Le conclusioni dello studio del Center for Open Science non sono state in nessun caso che gli esperimenti iniziali fossero manipolati o da considerarsi falsi in assoluto: il fatto è che le prove a sostegno della maggior parte delle nuove scoperte nel campo della psicologia non sono solide come vengono presentate. Una parte del problema, spiega l’Economist, è rappresentato dai meccanismi che stanno dietro le scelte editoriali delle riviste di settore: per essere pubblicato, uno studio deve superare una peer review, cioè una valutazione fatta da altri scienziati, esperti nel settore in questione. Se è giudicato idoneo e l’editore decide di pubblicarlo, può benissimo succedere che lo studio non venga mai effettivamente replicato: per i ricercatori è molto più appagante e attraente arrivare a nuove scoperte piuttosto che confermare quelle degli altri. Secondo i ricercatori che hanno riprodotto gli esperimenti comunque questo studio non è una prova del fallimento della psicologia, ma invece rappresenta un esempio di «scienza che si comporta come dovrebbe».

Nosek ha spiegato che il problema con molti nuovi studi è che tra i ricercatori c’è una grande pressione a raggiungere conclusioni così accattivanti, certe e innovative da essere pubblicate sulle riviste più prestigiose, dal momento che le loro carriere e spesso i loro finanziamenti dipendono dalle pubblicazioni. Questo porta a volte i ricercatori a trarre le conclusioni che vogliono trarre, dai propri esperimenti, adattando o interpretando i risultati realmente ottenuti. C’è però anche chi crede che la ripetizione degli esperimenti porti a degli inconvenienti: molti scienziati affermati non accettano l’idea che un ricercatore più giovane e inesperto possa mettere in dubbio il frutto di anni di ricerche. Secondo Norbert Schwarz, professore di psicologia alla University of Southern California, spesso le ripetizioni sono solo «un attacco, un esercizio poliziesco», e che gli studi che riproducono un esperimento non vengono quasi mai esaminati e valutati dal punto di vista del metodo. La direttrice di Science Marcia McNutt ha detto in una conferenza stampa che spera che questo studio «non sia considerato l’ultima parola sulla questione della riproducibilità, ma invece come un inizio».

Negli ultimi mesi alcune riviste autorevoli hanno dovuto ritirare studi dopo la pubblicazione, perché erano stati smentiti: lo scorso maggio, ad esempio, proprio Science aveva ritirato uno studio su come gli attivisti di partito che fanno propaganda politica porta a porta o per le strade possono cambiare le opinioni degli elettori sui matrimoni gay perché temeva che i dati potessero essere stati falsificati. Recentemente molti giornali autorevoli hanno cambiato gli standard di trasparenza richiesti ai ricercatori pubblicati. Alan Kraut, direttore esecutivo dell’Association for Psychological Science, ha commentato lo studio dicendo: «L’unica scoperta che sarà riproducibile al 100 per cento è quella che sarà probabilmente trita e noiosa e già nota».

Trattandosi di esperimenti nel campo della psicologia dell’individuo, comunque, molti scienziati hanno notato che le ragioni delle differenze nei risultati possono dipendere da molti fattori, compresi quelli ambientali. Uno degli studi ripetuti ad esempio sosteneva che gli studenti che bevono una bibita zuccherata prendevano decisioni migliori quando veniva chiesto loro se preferivano un grande appartamento distante dal campus universitario o uno piccolo ma vicino. L’esperimento originale però era stato condotto alla Florida State University, il secondo alla University of Virginia: e decidere dove vivere a Charlottesville, la città della Virginia dove si trova l’università, è molto più semplice che a Tallahassee, dove si trova la FSU. Nosek ha ammesso che il suo stesso esperimento sarebbe difficile da riprodurre, perché i ricercatori hanno potuto prendere decisioni personali su come riprodurre effettivamente gli esperimenti e dal momento che hanno scelto gli studi da ripetere è possibile che abbia influito anche qualche forma di pregiudizio iniziale."

L'articolo del New York Times sulla stessa vicenda: http://www.nytimes.com/2015/08/28/scien ... -says.html

Tre popolari ricerche psicologiche che non hanno retto alla revisione: http://www.nytimes.com/interactive/2015 ... redid.html

Un'opinione in controtendenza: http://www.nytimes.com/2015/09/01/opini ... risis.html

[Baraddur]

Fonte: http://cultura.mindpress.it/156/fantasm ... ofessione/

"I fantasmi della psicologia, la crisi di una professione

Pubblicato l'11 marzo 2014

Riportiamo di seguito l’intervista rilasciata da Jerome Kagan, psicologo di fama mondiale, a Emanuela Cruciano in occasione della prossima uscita del suo ultimo libro I fantasmi della psicologia, la crisi di una professione. L’intervista è tratta dal numero 257 della rivista Focus.

Domanda: Nel suo ultimo libro, I fantasmi della psicologia, lei contesta il lavoro di psichiatri e psicologi. Che cosa non va?

Risposta: Il modo in cui viene condotta la ricerca in psicologia e psichiatria: ha molti punti deboli. Come la tendenza dei ricercatori ad affermare concetti psicologici basandosi su una singola misura, piuttosto che su una serie di parametri. Poi si ripone troppa fiducia nei report verbali: il 90 per cento delle ricerche si basa su ciò che le persone dicono di se stesse. Eppure si sa che le descrizioni verbali sono fallibili perché la gente vuole dare di sé una buona impressione e non ricorda con precisione tutto quello che le è successo in passato. Pertanto l’analisi dei questionari andrebbe sempre integrata con osservazioni sul comportamento. Per non parlare di studi condotti su campine non rappresentatii o che non tengono conto del contesto socioculturale in cui vivono i soggetti.

Non risparmia neanche un mostro sacro come Freud: che cosa gli contesta?

Sosteneva che l’ansia legata alla sessualità fosse la causa universale di tutte le nevrosi, mentre invece il contesto storico e sociale ha un ruolo di primo piano nell’indurre ansie e tensioni. Convinse tutti che i conflitti sessuali fossero la vera causa di ogni disagio ignorando tutti gli altri fattori. Certo, è innegabile il valore del suo contributo alla scienza: ha portato altri studiosi a riconoscere il ruolo dell’esperienza in famiglia, dell’inconscio, della fase edipica. Prima di lui tutti i medici europei si focalizzavano solo sulla biologia.

È così difficile fare ricerca sui disturbi mentali rispetto ai fenomeni biologici?

Sì, perché non si possono manipolare le persone per creare le condizioni necessarie all’esperimento. Le faccio un esempio: non si possono assegnare dei bambini a case diverse per stare a osservare come crescono. Inoltre, gli psicologi non hanno sviluppato le sofisticate tecnologie che, per esempio, hanno consentito ai biologi di fare scoperte straordinarie. Inoltre un disagio mentale è il risultato di una combinazione di geni, storia personale, ambiente. L’indagine è complessa. In passato, quando la scuola non era obbligatoria si registravano molti meno casi di Adhd (disturbo d’attenzione con iperattività) perché i bambini non dovevano restare seduti in classe per ore svolgendo compiti noiosi e pertanto non manifestavano irrequietezza.

In molti Paesi, Stati Uniti in testa, in effetti sembra sia scoppiata una epidemia di Adhd.

Questo perché i medici decidono di etichettare così molti casi di difficoltà di apprendimento. E non indagano le cause specifiche, caso per caso. Potrebbero scoprire che diversi bambini “iperattivi” semplicemente a scuola non sono motivati a far bene o non sono preparati a svolgere i compiti scolastici. Sono davvero pochi i piccoli che hanno una campromissione biologica all’origine della loro irrequietezza.

Come vanno affrontate le proprie sofferenze? C’è da fidarsi della psicoterapia?

La psicoterapia aiuta solo a condizione che il paziente e lo psicologo siano d’accordo sulla causa del problema. Questa condivisione è la cura migliore. Inoltre il paziente deve avere fiducia nel terapista e credere che si prenderà cura di lui. A questa condizione molte terapie possono funzionare perché la fiducia del paziente è un requisito fondamentale. Ma, sottolineo, il primo passo da fare è sempre cercare la causa del problema. Spesso sono fattori oggettivi. È provato, per esempio, che gli adulti meno istruiti e con un lavoro poco retribuito sono più propensi a sentirsi depressi rispetto ad adulti laureati e con un buon impiego. Il loro disagio si cura con un lavoro migliore, non con una pillola."

-

Fonte: http://www.bollatiboringhieri.it/scheda ... 8833925028

" «Fuori contesto». Si chiama così la terra di nessuno delle astrazioni indimostrate in cui vagolano da tempo i fantasmi della psicologia, ossia della disciplina che più di altre dovrebbe invece indagare gli esseri umani nella loro viva, singolare concretezza. A cacciare i fantasmi con intrepido fervore è proprio uno psicologo, tra i maggiori al mondo. Pochi come Jerome Kagan conoscono dall’interno le dinamiche dei progetti di ricerca e sono in grado di additare autorevolmente i preconcetti che ne viziano i risultati. Una miriade di studi empirici iperfinanziati e manuali diagnostici a diffusione universale condividono un identico cono d’ombra, perché si ostinano a ignorare la significatività – per gli stati mentali – dell’appartenenza culturale, della collocazione sociale e delle storie di vita degli individui. Esaminare le emozioni, i sentimenti e i comportamenti fidando soltanto nelle dichiarazioni verbali dei soggetti intervistati, misurare le relative attività cerebrali senza tener conto dei setting specifici, o invocare un’origine monocausale, perlopiù genetica, per le patologie psichiatriche sono procedure avventate, che finiscono con l’oscurare evidenze incontrovertibili e alterare i dati. Il benessere soggettivo descritto da una donna povera del Nicaragua non potrà essere calcolato sull’indice di felicità di un avvocato parigino; gli americani depressi di origine cinese non risponderanno a un questionario sulla depressione, ritenuta stigmatizzante, allo stesso modo delle madri norvegesi; un ragazzo ansioso di San Francisco parlerà della sua condizione secondo parametri inassimilabili a quelli di un monaco buddhista sessantenne, che forse non dispone neppure della parola «ansia» in tibetano. Ecco, ammonisce Kagan, bisogna ridare corpo a tutto ciò che, decontestualizzato, si è ridotto a ectoplasma. Una psicologia riformata dovrebbe aggiornare il motto delfico: «Conosci te stesso in ogni contesto». "

"Jerome Kagan è professore emerito di Psicologia alla Harvard University. Ha diretto la Mind/Brain/Behaviour Interfaculty Initiative ed è stato collaboratore del National Institute of Mental Health e del National Research Council. Gli studi pionieristici sulla psicologia dell’età evolutiva l’hanno consacrato tra i maggiori psicologi contemporanei.
Tra i suoi saggi tradotti in italiano: La natura del bambino. Psicologia e biologia dello sviluppo infantile (1988), Tre idee che ci hanno sedotto. Miti della psicologia dello sviluppo (2001) e Le tre culture. Scienze naturali, scienze sociali e discipline umanistiche nel XXI secolo (2013). Con Bollati Boringhieri ha pubblicato La trama della vita. Come geni, cultura, tempo e destino determinano il nostro temperamento (2011)."

Due interviste più lunghe e in inglese: 1) http://radioboston.wbur.org/2012/03/29/ ... ogy-ghosts 2) http://www.spiegel.de/international/wor ... 47500.html

[Baraddur]

Pare che la notizia che ho riportato sopra ha creato un grande dibattito in USA (ma quasi nessuno ha riportato la notizia in italiano a parte ILPOST http://www.ilpost.it/2015/08/30/riprodu ... sicologia/ e il tanto bistrattato Focus http://www.focus.it/scienza/scienze/psi ... dio-su-due )

Anche la voce di wiki sulla crisi della replicabilità degli esperimenti, è stata aggiornata.

Fonte: https://en.wikipedia.org/wiki/Replication_crisis

"Replication crisis

From Wikipedia, the free encyclopedia

The replication crisis (or replicability crisis) a methodological crisis in science, in which scientists have found that the results of many scientific experiments are difficult or impossible to replicate on subsequent investigation, either by independent researchers, or by the original researchers themselves.[1] Since the reproducibility of experiments is an essential part of the scientific method, this has potentially grave consequences for many fields of science in which significant theories are grounded on experimental work which has now been found to be resistant to replication.

The replication crisis has been particularly widely discussed in the field of psychology (and in particular, social psychology) and in medicine, where a number of efforts have been made to re-investigate classic results, and to attempt to determine both the validity of the results, and, if invalid, the reasons for the failure of replication.[2][3] Whether similar replicability crises affect other disciplines is not clear, as other disciplines have been less proactive in investigation.

In psychology

Replication failures are not unique to psychology and are found in all fields of science.[4] However, several factors have combined to put psychology at the center of controversy. Much of the focus has been on the area of social psychology, although other areas of psychology such as clinical psychology have also been implicated.

Firstly, questionable research practices (QRP) have been identified as common in the field. Such practices, while not intentionally fraudulent, involve converting undesired statistical outcomes into desired outcomes via the manipulation of statistical analyses, sample size or data management, typically to convert non-significant findings into significant ones.[5] Some studies have suggested that at least mild versions of QRP are highly prevalent.[6] False positive conclusions, often resulting from the pressure to publish or the author's own confirmation bias, are an inherent hazard in the field, requiring a certain degree of skepticism on the part of readers.[5]

Secondly, psychology and social psychology in particular, has found itself at the center of several scandals involving outright fraudulent research, most notably the admitted data fabrication by Diederik Stapel[7] as well as allegations against others. However, most scholars acknowledge that fraud is, perhaps, the lesser contribution to replication crises.

Third, several effects in psychological science have been found to be difficult to replicate even before the current replication crisis. For example the scientific journal Judgment and Decision Making has published several studies over the years that fail to provide support for the unconscious thought theory. Replications appear particularly difficult when research trials are pre-registered and conducted by research groups not highly invested in the theory under questioning.

These three elements together have resulted in renewed attention for replication supported by Kahneman.[8] Scrutiny of many effects have shown that several core beliefs are hard to replicate. A recent special edition of the journal Social Psychology focused on replication studies and a number of previously held beliefs were found to be difficult to replicate.[9] A 2012 special edition of the journal Perspectives on Psychological Science also focused on issues ranging from publication bias to null-aversion that contribute to the replication crises in psychology[10] In 2015, the first open empirical study of reproducibility in Psychology was published, called the Reproducibility Project. Researchers from around the world collaborated to replicate 100 empirical studies from three top Psychology journals. Fewer than half of the attempted replications were successful.[11]

Scholar James Coyne has recently written that many research trials and meta-analyses are compromised by poor quality and conflicts of interest that involve both authors and professional advocacy organizations, resulting in many false positives regarding the effectiveness of certain types of psychotherapy.[12]

The replication crisis does not mean that psychology is unscientific.[13][14][15] Rather this process is a healthy if sometimes acrimonious part of the scientific process in which old ideas or those that cannot withstand careful scrutiny are pruned.[16] The consequence is that some areas of psychology once considered solid, such as social priming, have come under increased scrutiny due to failed replications.[17] The British Independent newspaper wrote that the results of the reproducibility project show that much of the published research is just "psycho-babble".[18]

Nobel laureate and professor emiritus in psychology Daniel Kahneman argued that the original authors should be involved in the replication effort because the published methods are often too vague.[19] Some others scientists, like Dr. Andrew Wilson disagree and argue that the methods should be written down in detail.

References

Jump up ^ Schooler, J. W. (2014). "Metascience could rescue the 'replication crisis'". Nature 515 (7525): 9. doi:10.1038/515009a.
Jump up ^ Gary Marcus (May 1, 2013). "The Crisis in Social Psychology That Isn’t". The New Yorker.
Jump up ^ Jonah Lehrer (December 13, 2010). "The Ruth Wears Off". The New Yorker.
Jump up ^ Achenbach, Joel. "No, science’s reproducibility problem is not limited to psychology". The Washington Post. Retrieved 10 September 2015.
^ Jump up to: a b Simmons, Joseph; Nelson, Leif; Simonsohn, Uri (November 2011). "False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant". Psychological Science (Washington DC: Association for Psychological Science) 22 (11): 1359–1366. doi:10.1177/0956797611417632. ISSN 0956-7976. PMID 22006061. Retrieved 29 January 2012.
Jump up ^ "Questionable Research Practices Surprisingly Common"
Jump up ^ "Fraud Scandal Fuels Debate Over Practices of Social Psychology: Even legitimate researchers cut corners, some admit"
Jump up ^ "A New Etiquette for Replication". http://www.scribd.com/doc/225285909/Kahneman-Commentary
Jump up ^ [1]
Jump up ^ [2]
Jump up ^ Open Science Collaboration (2015). "Estimating the reproducibility of Psychological Science". Science 349 (6251): aac4716. doi:10.1126/science.aac4716.
Jump up ^ [3]
Jump up ^ http://www.slate.com/articles/health_an ... ingle.html
Jump up ^ http://fivethirtyeight.com/datalab/psyc ... n-problem/
Jump up ^ http://fivethirtyeight.com/features/sci ... nt-broken/
Jump up ^ "Psychology's replication drive: it's not about you"
Jump up ^ "Power of Suggestion"
Jump up ^ Connor, Steve (27 August 2015). "Study reveals that a lot of psychology research really is just 'psycho-babble'". The Independent (London).
Jump up ^ http://www.theguardian.com/science/head ... psychology "

[Dr Edoardo Savoldi]

Guarda sono psicologo psicoterapeuta e ti dico che anche io mi sono sempre scontrato interiormente proprio epr via del fatto che troppo insegnanti, maestri e studiosi di psicologia hanno decantato la scientificità del loro operato dicendo in realtà delle ENORMI MINXHIATE.
Ad oggi non c'è una sola malattia psicopatologica che abbia un marcatore attendibile e sensibile tale per cui si possa fare una diagnosi sempre e comunue oggettiva e infatti le malattie psicologiche non rientrano nelle malattie dell'OMS perchè non hanno marcatori organici ma si pososno diagnosticare solo con l'osservazione del comprotamento...

Motivo per cui ho un ateggiamento molto scientifico e per lo stesso motivo prendo le distanze da quando ci sono pseudo esperimenti.
Insomma sono rigoroso e per questo non mi sento di dire che la psicologia è una scienza.

Non per questo però va invalidata, ossia la psicoterapia funziona, ci sono psicoterapeuti bravissimi.
Io proprio per onestà professionale intendo la psicoterapia come una forma altissima di artigianato.
Quindi un insieme di:
- tecniche con una base scientifica
- e una grande maestria

E come ben sapete di gente che sa fare le sedie ce ne sono tante ma che le sanno fare bene un pò meno.... come ogni cosa..........
Pareri personali ovviamente.