Estimations rigoureuses des erreurs dynamiques dans diverses applications de télédétection : concept, validation et réalisation dans l'algorithme GRASP

The understanding of the uncertainties in the retrieval of the aerosol and surface properties is very important for an adequate characterization of the processes that occur in the atmosphere. However, the reliable characterization of the error budget of the retrieval products is a very challenging aspect that currently remains not fully resolved in most remote sensing approaches. The level of uncertainties for the majority of the remote sensing products relies mostly on post-processing validations and inter comparisons with other data while the dynamic errors are rarely provided. This study describes, discusses and evaluates a concept realized in GRASP (Generalized Retrieval of Atmosphere and Surface Properties) algorithm for providing the dynamic estimates of uncertainties for retrieved parameters. The approach employs a rigorous concept of statistical optimization for estimating the effects of measurement uncertainties propagation to the retrieval results. The approach accounts for the effect of both random and systematic uncertainties in the initial data and provides error estimates both for directly retrieved parameters included in the retrieval state vector and for the characteristics derived from these parameters. The efficiency of the realized error estimation concept is extensively analyzed for GRASP applications for aerosol retrieval from ground-based observations by sun/sky photometer and lidar. The diverse aspects of the generations and evaluations of the error estimates are discussed and illustrated. The evaluation of the error estimates was realized using the series of comprehensive sensitivity tests when simulated sun/sky photometer measurements and lidar data are perturbed by random and systematic errors and inverted. The results of the retrievals and their error estimations obtained in the tests are analyzed and evaluated. The tests are conducted for the different observations of several types of aerosols including biomass burning, urban, dust and their mixtures. The study considers popular observations by AERONET sun/sky radiometer at 440, 675, 870 and 1020 nm and multi-wavelength elastic lidar at 355, 532 and 1064 nm. The sun/sky radiometer data are inverted aloneor together with lidar data. The analysis shows that the generated error estimates overall satisfactory of the uncertainties of different retrieved aerosol characteristics including aerosol size distribution, complex refractive index, single scattering albedo, lidar ratios, aerosol vertical profiles, etc. Also, the analysis shows that the main observed error dynamic agrees well with the errors tendencies commonly known fromthe retrieval experience. For example, the serious retrieval accuracy limitations for all aerosol types are associated with the situations with low optical depth. Also, for observations of multi-component aerosol mixtures, the reliable characterization of each component is possible only in limited situations, for example from radiometric data obtained for low solar zenith angle observations or from a combination of radiometricand lidar data. At the same time, total optical properties of aerosol mixtures tend to be always retrieved satisfactorily. In addition, the study includes the analysis of the detailed structure of correlation matrices for the retrieval errors of mono- and multi-component aerosols. The conducted analysis of error correlation appears to be a usefulapproach for optimizing observations schemes and retrieval setups. The illustration of the developed approach application to real data is provided for co-located observations of sun/sky photometer and lidar over Buenos Aires. Furthermore, the preliminary results for utilizing the error estimates for the retrieval of aerosol from satellite data are provided.La compréhension des incertitudes dans la restitution des propriétés des aérosols et des surfaces est très importante pour une caractérisation adéquate des processus qui se produisent dans l’atmosphère. Cependant, la caractérisation fiable du bilan d’erreur des produits de restitution est un aspect complexe qui n’est pas encore entièrement résolu dans la plupart des approches de la télédétection. Le niveau d’incertitude pour la majorité des produits de télédétection repose principalement sur des validations post-traitement et des comparaisons avec d’autres données, alors que les erreurs dynamiques sont rarement fournies. Cette étude décrit, analyse et évalue un concept issu de l’algorithme GRASP (Generalized Retrieval of Atmosphere and Surface Properties) dont l’objectif est de fournir les estimations dynamiques des erreurs pour les paramètres restitués. L’approche utilise un concept rigoureux d’optimisation statistique pour estimer les effets de la propagation des incertitudes de mesure sur les résultats de la restitution. Elle tient compte de l’effet des incertitudes aléatoires et systématiques dans les données initiales et fournit des estimations d’erreurs tant pour les paramètres directement restitués inclus dans le vecteur d’état de restitution que pour les caractéristiques dérivées de ces paramètres. L’efficacité du concept d’estimation des erreurs réalisées est analysée en profondeur pour les restitutions GRASP à partir des mesures photomètre et lidar.Les divers aspects des générations et évaluations des estimations d’erreurs sont discutés et illustrés. Ces évaluations ont été réalisées à l’aide de la série exhaustive de tests de sensibilité lorsque des mesures du photomètre et lidar simulées sont perturbées par des erreurs aléatoires et systématiques et inversées. Les résultats des restitutions et leurs estimations d’erreurs obtenues dans les tests sont analysés et évalués. Les essais sont effectués pour les observations de plusieurs types d’aérosols, issus de la combustion de biomasse, urbains, de poussières et leurs mélanges. L’étude tient compte des mesures faites par les photomètres solaires AERONET à 440, 675, 870 et 1020 nm et lidar élastique à 355, 532 et 1064 nm. Les données du photomètre sont inversées seules ou avec les données lidar. L’analyse montre que l’erreur générée estime globalement de façon satisfaisante les incertitudes des différentes caractéristiques des aérosols restitués: distribution en taille, indice de réfraction complexe, albédo à diffusion simple, rapports du lidar, profils verticaux des aérosols, etc.En outre, l’analyse montre que les principales erreurs dynamiques observées concorde bien avec les tendances d’erreurs communément connues par les expériences de restitution. Par exemple, les limites de précision de restitution pour tous types d’aérosols sont associées aux situations de faible épaisseur optique. De plus, pour les observations de mélanges d’aérosols multi-composants, la caractérisation fiable de chaque composant n’est possible que dans des situations limitées, par exemple à partir de données radiométriques obtenues pour des observations à faible angle zénithal solaire ou à partir d’une combinaison de données radiométriques et lidar. Dans le même temps, les propriétés optiques totales des mélanges d’aérosols ont tendance à être toujours restituées de manière satisfaisante. En outre, l’étude comprend l’analyse de la structure détaillée des matrices de corrélation pour les erreurs de restitution des aérosols mono et multi-composants. Cette analyse semble être une approche utile pour optimiser les schémas d’observations et les configurations de récupération. L’illustration de l’application de l’approche développée aux données réelles est fournie pour les observations co-localisées du photomètre et lidar à Buenos Aires. De plus, les résultats préliminaires de l’utilisation des estimations d’erreurs pour la restitution des aérosols à partir des données satellitaires sont fournis