Artificial intelligence in healthcare : norms, knowledge, appropriations and safety

Le mélanome est une forme particulièrement agressive de cancer de la peau. Depuis plusieurs décennies, cette pathologie, considérée comme un problème de santé publique, a donné lieu à un traitement systémique : fabrique de campagnes de prévention et d'éducation à la sécurité cutanée, aux facteurs de risque, financement de la recherche. C'est cette recherche qui a permis de formaliser des outils sémiologiques rendant possible la détection non invasive des lésions mélanocytaires. C'est bien dans cette articulation entre organisation de la santé publique et prise en charge médicale que la détection précoce des cas de mélanomes a pu être mise en œuvre, faisant baisser le taux de mortalité. Néanmoins, cette détection est encore sujette à erreur. Si, comme le proposent Kohn et al (2000), l'erreur est « l'incapacité à réaliser une tâche telle que planifiée ou à concevoir une stratégie qui permette d'atteindre un but », il convient d'améliorer les modalités de planification de la détection des mélanomes ainsi que les conditions de son exécution, alors même que, de par son caractère tacite, le jugement exercé du clinicien et son incertitude résistent à leur objectivation. À un moment historique de modernité informatique, la régularité de la machine computationnelle a été considérée comme une solution pragmatique à cette quête de sécurité, d'objectivation, de maîtrise de l'incertitude. Mais une telle solution ne peut avoir pour seule finalité de réaliser sa fonction en vase clos, divulguant seulement un énoncé épistémique valide ; lors de son implémentation, cette fonction doit se réaliser au sein d'environnements tant social que systémique. Ce projet de recherche interroge la possibilité de l'implémentation d'une aide informatisée au diagnostic en contexte de santé publique. Il interroge d'une part la capacité d'un tel artefact à remplir sa fonction, mais aussi la possibilité de son intégration à une stratégie de détection précoce des mélanomes. Depuis la fin des années 2000, des dispositifs de machine learning utilisant des réseaux de neurones ont permis des avancées notables dans le domaine de l'analyse d'image. De nombreuses expériences ont été engagées, montrant de façon pragmatiste la performance de ces dispositifs, mais mettant l'homme à distance du réel, à la fois par la numérisation et l'abstraction computationnelle, et par la mise en place d'un nouveau sujet artefactuel de l'observation. Le processus algorithmique de diagnostic relève alors d'une apparente objectivité mécanique, mais son opacité épistémique occulte les modalités de calcul de ses résultats. Plus encore, les logiciels disponibles sont dépourvus de la possibilité d'expliquer leurs résultats. Et c'est bien ce défaut d'explicabilité qui pose problème, en tant que fonction épistémique, éthique et sociale, en tant que dispositif de fixation de la confiance dans le comportement de l'artefact. La maîtrise du processus de diagnostic nécessite aussi une planification permettant d'organiser l'usage d'un tel artefact, de lui donner un sens systémique, malgré son défaut d'explicabilité. Pour cela, nous nous fondons sur l'expérience passée de l'implémentation de technologies de rupture dans l'aéronautique civile ; sur l'appropriation que les usagers ont pu en faire dans un premier temps, sur leur adaptation qui lui a fait suite et sur la transformation de leurs savoirs d'action ; sur la nécessaire organisation systémique planifiant le travail de façon locale, et aussi les échanges d'informations entre acteurs, de telle façon que la tâche puisse être réalisée efficacement, en maîtrisant son incertitude. Si l'assignation d'une fonction de triage dans une organisation de télémédecine semble pertinente, ce n'est pas l'amélioration de l'efficacité en tant que telle qui doit en être attendue mais la maîtrise systémique de savoir-faire qui auront été formalisés. L'artefact devient un dispositif de gouvernance de ce processus de santé, permettant sa mise en risque.Melanoma is a particularly aggressive form of skin cancer. For several decades, this pathology has been considered as a public health issue and has given rise to systemic settlements: manufacture of prevention and education campaigns dedicated to skin health and melanoma risk factors, research funding. This research has made it possible to formalize semiological tools for the non-invasive detection of melanocytic lesions. It is indeed in this articulation between public health organization and medical care that early detection of melanoma could be implemented, bringing the mortality rate down. Nevertheless, this detection is still subject to error. If, as proposed by Kohn et al (2000, p.28), "an error is defined as the failure of a planned action to be completed as intended or the use of a wrong plan to achieve an aim", it is still necessary to improve the methods for planning melanoma detection as well as the conditions of its execution, even though clinicians' exercised judgements and their uncertainty still resist objectification, mainly because of their tacit nature. In a historical moment of computer modernity, the computational machine regularity was considered as a pragmatic solution to this quest for security, objectivation, and control of uncertainty. But such a solution does not have for only goal to realize its function in a vacuum, with no other aim than the disclosure of a valid epistemic statement; during its implementation, this function must be realized in relation both with social and systemic environments. This research project questions the possibility of the implementation of a computerized diagnostic aid in a public healthcare context. It questions on the one hand the capacity of such an artefact to fulfil its function, but also to what extent it may me be integrated into a strategy of melanoma early detection. Since the late 2000s, machine learning devices using neural networks have shown significant advances in the field of image analysis. By learning a set of training data, these artifacts mimic the human ability to reason and to recognize by similarities. Numerous experiments have been initiated, showing in a pragmatist way these neural networks performance in the melanoma diagnosis. However, man is set at a distance from reality, both by digitization and computational abstraction, and also by the establishment of a new subject of observation, mediator between man and the world. The process of diagnosis is certainly apparently objective, if we disregard the implicit choices of the data scientists, but this new model cloaks the calculation methods in epistemic opacity, by preventing its results from being intelligible. Moreover, the available softwares lack the possibility of explaining their results. The explicability having an epistemic, ethical as well as a social function, being a device for fixing the artifact's trustworthiness, it is indeed its absence that gives rise to unnecessary implementation issues. The control of the detection process also requires a planning which organizes the actual use of such an artifact, which gives it a systemic meaning, in spite of its lack of explicability. For this, we rely on the past experience of disruptive technologies implementation in civil aviation; on its first hand appropriation by users, on their adaptation to the technology that followed with the transformation of their know-how; on the necessary system organizing locally the diagnoses, as well as the exchanges of information between actors, in such a way that tasks could be carried out efficiently, while controlling their uncertainty. If the assignment of a triage function in a telemedicine organization seems relevant, it is not the improvement of efficiency as such that should be expected, but the systemic mastery of a newly formalized know-how. The artifact becomes a governance device for this healthcare process, a device enabling its risk management