Che cosa sarebbe successo se non ci foste stati

Ciao!

Perù, 1969. In televisione va in onda Simplemente María, la storia di una ragazza che arriva a Lima dalle Ande, non sa leggere, fa la domestica. Nel corso delle puntate si iscrive a un corso serale di alfabetizzazione e impara a cucire.

È il programma più seguito nella storia del Perù. E mentre va in onda, in mezzo continente, le iscrizioni ai corsi serali di alfabetizzazione aumentano.

Adesso immaginate di essere l'organizzazione che in quegli anni, in quel paese, lavorava sull'alfabetizzazione degli adulti. A fine anno guardate i vostri numeri, e sono splendidi.

Di chi è il merito?

La domanda, e perché non ha una risposta facile

Si chiama controfattuale, ed è la domanda più scomoda del nostro mestiere: che cosa sarebbe successo se noi non ci fossimo stati. Non esiste un secondo mondo identico a questo in cui la vostra associazione non è mai nata, da cui andare a prendere i numeri per confronto. Il controfattuale non si osserva. Si stima.

Però stimarlo è alla portata di un'organizzazione piccola, e il modo più semplice è questo.

Il gruppo di confronto

Prendete un gruppo di persone simili ai vostri beneficiari, che però nel vostro progetto non sono passate. Misurate il cambiamento in tutti e due i gruppi, nello stesso periodo. Poi sottraete.

Un esempio dal libro. Un progetto di inclusione sociale misura il punteggio di autostima prima e dopo:

Il numero che scrivereste nel bilancio sociale è +10. Il vostro effetto, però, è +8: quei due punti sarebbero arrivati comunque, e l'avete scoperto solo perché avevate qualcuno con cui confrontarvi.

Si chiama differenza nelle differenze: la differenza fra il «dopo meno prima» di chi è passato da voi e il «dopo meno prima» di chi non ci è passato.

Funziona anche quando il risultato è un sì/no invece di un punteggio. Nello stesso capitolo: su 80 partecipanti, 45 migliorano la propria condizione — il 56%. Nel gruppo di confronto, 21 su 70, cioè il 30%. Quel confronto è molto più difendibile davanti a un finanziatore di un 56% presentato da solo.

E il limite, che è grosso

La parte difficile non è il calcolo: è scegliere il gruppo di confronto. Deve essere composto da persone dello stesso tipo, nello stesso contesto. Se le due popolazioni erano già diverse in partenza, la sottrazione eredita quella differenza e il risultato si sposta.

Il che però non è un buon motivo per non farlo. Meglio un confronto imperfetto che nessun confronto — a patto di dichiararne i limiti quando presentate il risultato. E «abbiamo contribuito a questo cambiamento, insieme a queste altre cose che sono successe» è una frase enormemente più credibile di un numero intestato per intero.

🎧 L'episodio 4 del podcast parte da qui — "E se il merito non fosse vostro?", 10 minuti, gratuito: la telenovela, la versione industriale che ne è nata in Messico, e una scoperta sulla storia stessa che non vi aspettate →

E una domanda per stasera: pensate al risultato di cui la vostra organizzazione va più fiera, quello che raccontate sempre. Quanta parte di quel risultato sarebbe successa comunque? Se non lo sapete, non è una brutta notizia: è il punto da cui si parte.

───────────

📘 Da oggi in libreria

Il gruppo di confronto e la differenza nelle differenze sono il capitolo 6 di Guidati dai dati — Strumenti e risorse per l'economia sociale di Paolo Palmerini (Pendragon, 204 pagine, 20 €), il manuale che Gnucoop ha scritto per chi nel terzo settore deve misurare il proprio lavoro: dalla raccolta dei dati al machine learning, con casi concreti e un linguaggio che non dà per scontata la statistica. 👉 https://www.lafeltrinelli.it/guidati-dai-dati-strumenti-risorse-libro-paolo-palmerini/e/9791257182076

Il podcast e il libro fanno parte di IA: Impatto Amplificato, la community dei professionisti del terzo settore che usano l'intelligenza artificiale e le tecnologie digitali per potenziare il proprio lavoro → https://academy.gnucoop.com/memberships/impatto-amplificato

Un saluto, Il team di Gnucoop