Le choix d'outils pour une évaluation interne de la qualité de la connaissance

Afin de faciliter la communication des différents types d'incertitudes inhérentes aux évaluations scientifiques, une typologie d'incertitude est incluse dans le guide d'évaluation de l'incertitude. Cette dernière est basée sur le cadre conceptuel qui résulte d'un processus impliquant un groupe international d'experts en incertitude dont la plupart d'entre eux a participé au développement et à la revue du guide (Walker et al, 2003).

L'incertitude peut être classée selon les dimensions suivantes : sa “localisation” (lieu où elle intervient), son “niveau” (caractérisation en tant qu'incertitude statistique, en tant qu'incertitude au niveau des scénarios ou en tant qu'ignorance reconnue) et sa “nature” (si l'incertitude relève de l'imperfection de la connaissance ou si elle est une conséquence directe de la variabilité inhérente).

De surcroît, la typologie distingue les dimensions “qualification de la base de la connaissance ” (quelles sont des parties faibles ou fortes de l'évaluation ?) et “valeur sous-jacente aux choix” (les biais engendrés par l'évaluation).

La typologie est présentée sous la forme de matrice. Cette matrice d'incertitude est utilisée comme un instrument permettant de générer une vue d'ensemble de la localisation et de l'importance des incertitudes (première dimension), et la manière dont celles-ci peuvent être caractérisées en termes de quatre autres dimensions. La matrice d'incertitude permet d'identifier, de manière adéquate, les outils d'évaluation de l'incertitude à travers l'analyse de la qualité interne de la connaissance (càd qui porte sur la production de la connaissance) (voir tableau ci-dessous).

Matrice de l'incertitude : Correspondance entre les outils et les formes et niveaux d'incertitude

Matrice de l'incertitude : Correspondance entre les outils d’évaluation de l’incertitude et la localisation de cette incertitude dans le processus de production de connaissance AA : Analyse des acteurs; CRA : Revue critique des hypothèses; DV : Validation des données; EE : Jugement Expert ; EP : schéma de pédigrée élargi; EPR : Evaluation élargie des paris; MC : Comparaison des modèles; MCA : Tier 2 / Analyse de Monte Carlo ; MMS : Simulation Multi-Modèle; MQC : Questionnaire sur la qualité du modèle; MV : Validation du Modèle; NUSAP : NUSAP ; PR : Evaluation des pairs ; PRIMA : PRIMA ; QA : Assurance Qualité ; SA : analyse de sensibilité ; Sc : Analyse des Scénarios ; SI : implication des parties prenantes ; Tier 1 : équation d’erreur)

De manière plus détaillée, les outils sont décrits dans un catalogue accessible en ligne. Ce catalogue fournit une information pratique sur la mise en œuvre de ces outils. Une brève description de chaque outil y est fournie, en précisant les objectifs, les atouts et les limites, les ressources requises, les pièges à éviter. Cette présentation est complétée par des références bibliographiques, de logiciels, des études de cas, des ressources Internet, et par des travaux d’experts.

Dans cette matrice de l'incertitude, sont réunis différents type d'outils, qui non seulement traitent du champ de l'analyse de l'incertitude portant principalement sur des méthodes mathématiques telles que l'analyse de la sensibilité et les techniques de Monte Carlo mais aussi des outils s'intéressant aux dimensions qualitatives de l'incertitude en utilisant des algorithmes sophistiqués. Bien que ces techniques quantitatives soient essentielles dans les analyses de l'incertitude, elles ne peuvent prendre en compte que ce qui est quantifiable et donc fournir une vision partielle de cette masse complexe qu'est l'incertitude. Plusieurs approches novatrices multidimensionnelles et réflexives de l'évaluation de la qualité de la connaissance ont été développées (voir lien externe NUSAP).

Crédits: Jean-Marc DOUGUET, chercheur à l’université de Versailles Saint-Quentin-en-Yvelines
Jeroen VAN DER SLUIJS, professeur assistant au Copernicus Institute for Sustainable Development and Innovation