Le concept a été formalisé en 1978 par les primatologues David Premack et Guy Woodruff, qui se demandaient si les chimpanzés possédaient cette capacité. Ils posèrent la question en ces termes : l'animal attribue-t-il des états mentaux à lui-même et aux autres? Si oui, il possède une " théorie de l'esprit", c'est-à-dire un système d'inférences sur des entités non directement observables. Le terme "théorie" est ici important : les états mentaux ne sont pas visibles, ils sont déduits, construits intellectuellement, à la manière d'une hypothèse que l'on formule sur l'intérieur de l'autre.

La grande avancée expérimentale vint en 1983, lorsque les psychologues Heinz Wimmer et Josef Perner conçurent le célèbre test de la "fausse croyance". Dans sa version la plus connue, dite tâche de Sally et Anne, un enfant observe deux personnages : Sally place une bille dans un panier, puis quitte la pièce. En son absence, Anne déplace la bille dans une boîte. Quand Sally revient, on demande à l'enfant : où Sally va-t-elle chercher sa bille? Un enfant d'environ quatre ans répond correctement (dans le panier, là où Sally croit qu'elle se trouve) car il est capable de se représenter la fausse croyance de Sally, distincte de sa propre connaissance de la situation. Avant trois ou quatre ans, l'enfant répond généralement "dans la boîte", incapable de dissocier sa propre connaissance de celle de Sally. Ce test est devenu la pierre de touche expérimentale du développement de la théorie de l'esprit.

Le développement de cette capacité chez l'enfant suit une trajectoire assez régulière. Dès les premiers mois de vie apparaissent des précurseurs : l'attention conjointe, le fait de suivre le regard d'autrui, la compréhension du pointage, l'imitation. Vers dix-huit mois, l'enfant manifeste un jeu de "faire semblant" qui témoigne d'une première dissociation entre réalité et représentation. La compréhension explicite des fausses croyances de premier ordre ("Paul croit que… ") s'installe généralement vers quatre ans. Puis viennent les croyances de second ordre ("Marie croit que Paul croit que… ") vers six ou sept ans, et des formes encore plus sophistiquées d'inférence mentale se consolident tout au long de l'enfance et de l'adolescence.

Sur le plan neurologique, la théorie de l'esprit mobilise un réseau cérébral relativement bien identifié, souvent appelé le réseau de la mentalisation. Il comprend notamment le cortex préfrontal médian, la jonction temporo-pariétale, le sillon temporal supérieur et certaines régions du lobe temporal comme le pôle temporal. La jonction temporo-pariétale joue un rôle particulièrement central : elle semble spécialisée dans la représentation des états mentaux d'autrui et dans la distinction entre le point de vue propre et celui de l'autre. Les neurones miroirs, découverts dans les années 1990, ont aussi été associés à ces processus, bien que leur rôle exact dans la mentalisation reste débattu.

La dimension clinique de la théorie de l'esprit est considérable. Le cas le plus étudié est celui de l'autisme : dès 1985, Simon Baron-Cohen, Alan Leslie et Uta Frith ont montré que des enfants autistes échouaient de manière significative aux tâches de fausse croyance, ce qui suggère un déficit spécifique de la théorie de l'esprit (ce que Baron-Cohen a appelé une forme de "cécité mentale"). Cette hypothèse a été nuancée depuis : tous les autistes n'échouent pas à ces tests, et des formes compensatoires ou tardives de mentalisation peuvent se développer. Des altérations de la théorie de l'esprit ont également été documentées dans la schizophrénie, la psychopathie, certaines formes de dépression sévère et les lésions frontales.

La question de son universalité culturelle est elle aussi débattue. Si la capacité semble présente dans toutes les cultures humaines étudiées, les normes sociales entourant la lecture des états mentaux d'autrui (quand il est approprié de les inférer, d'en parler, d'agir en conséquence) varient considérablement. Certains chercheurs soulignent aussi que la théorie de l'esprit n'est pas un mécanisme monolithique mais un ensemble de compétences dissociables : comprendre les croyances, les désirs, les émotions, les intentions, les métaphores, l'ironie ou le mensonge mobilise des processus qui, s'ils se recoupent, ne se réduisent pas les uns aux autres.

Enfin, la question animale reste ouverte. Les grands singes, les corvidés, certains cétacés montrent des comportements qui évoquent une forme de prise en compte des états mentaux d'autrui, mais l'existence d'une véritable représentation de fausse croyance chez d'autres espèces que l'humain fait encore l'objet de vifs débats. Des expériences récentes avec des chimpanzés et des corneilles ont relancé la discussion, sans la trancher définitivement.