Validation of an artificial neural network for prediction of prostate biopsy outcome on the basis of prospective validation data

Ziel: Artifizielle neuronale Netzwerke (ANN) finden verstärkt Anwendung zur Steigerung der Spezifität des prostataspezifischen Antigens (PSA). Die vorliegende Arbeit validiert das online verfügbare ANN „ProstataClass“ (ANNpc) anhand prospektiver Daten. Die Werte für gesamt PSA (tPSA) und freies PSA (fPSA) wurden mittels Elecsys 2010® Test (Roche Diagnostics) ermittelt. Material und Methoden: Die Eingangsparameter tPSA, Quotient des fPSA zum tPSA (%fPSA), Alter, Status der digital-rektalen Untersuchung (DRU) und Prostatavolumen wurden auf die fünf ANN angewendet. Die diagnostischen Genauigkeit des ANNpc, des auf der prospektiven Kohorte basierenden ANN „Interne Validierung“ (ANNiv), des auf beiden Kohorten basierenden ANN “Gesamt“ (ANNall) und der beiden externen ANN-Modelle wurde verglichen. Ergebnisse: Von 393 Patienten, tPSA zwischen 1,0 bis 22,8μg/L, hatten 229 Männer (58,3 %) ein histologisch gesichertes Prostatakarzinom (PCa). Die tPSA- und %fPSA-Werte, sowie der Anteil der Patienten mit suspekter DRU zeigen signifikante Unterschiede zwischen der prospektiven „Interne Validierung“ Kohorte und der Ursprungskohorte des ANNpc („ProstataClass“ Kohorte). Alter der Patienten und Prostatavolumen sind in beiden Kohorten vergleichbar. Die Flächen unter der ROC-Kurve (AUC) von tPSA und %fPSA sind 0,527 bzw. 0,726. Der AUC-Wert des ANNpc von 0,747 zeigt keine signifikante Steigerung verglichen mit %fPSA (P = 0,085). Für das ANNiv und das ANNall liegen die AUC- Werte mit 0,754 und 0,774 signifikant höher als für %fPSA (P=0,021 bzw. 0,0008). Die AUC-Werte für die externen ANN-Modelle (0,726 und 0,729) zeigen keine signifikanten Unterschiede im Vergleich zu %fPSA. Die AUC-Werten der fünf ANN-Modellen unterscheiden sich nicht signifikant. Ein Vergleich von vorausgesagten PCa-Wahrscheinlichkeiten mit den histologisch gesicherten Karzinomraten zeigt aber deutliche Unterschiede zwischen allen Netzwerken. Diskussion: Es kann klar gezeigt werden, dass das ANNpc aufgrund von Kohortenunterschieden die signifikante Steigerung der AUC verglichen mit %fPSA nicht wiederholen kann. Der um etwa 30% geringere Anteil suspekter DRU-Befunde und die um 3,7% bzw. 3,6% höheren %fPSA Mittel- und Medianwerte in der Validierungskohorte erklären das ungünstigere Abschneiden des ANNpc für die prospektive Kohorte. Es können keine Unterschiede zwischen den ANN-Modellen festgestellt werden, obgleich den externen Modellen Daten zugrunde liegen, die mittels anderer tPSA und fPSA Assays gemessen wurden. Außerdem wird deutlich, dass der Vergleich von AUC-Werten und Spezifitäten zur Validierung von multivariaten Modellen nicht ausreichend ist. Ergänzend zu den Methoden der Diskriminierung sollten zukünftig Methoden der Kalibrierung wie der Vergleich von vorausgesagten PCa-Wahrscheinlichkeiten und bestätigten PCa-Raten genutzt werden.Purpose: Multivariate models are used to increase specificity of prostate- specific antigen (PSA) and percent free PSA (%fPSA). In this study a validation of the retrospectively trained artificial neural network (ANN) program “ProstataClass” was performed with prospective data using the Elecsys total PSA (tPSA) and free PSA (fPSA) assays (Roche Diagnostics). Materials and Methods: Data from 393 men with tPSA, %fPSA, age, prostate volume and digital rectal examination (DRE) status were applied to five ANNs. The outcome of the ANN “ProstataClass”, the ANN with prospective validation data from the internal validation cohort (ANNiv), an ANN with data from both groups (ANNall) and two ANNs with external data from other research groups were compared. Results: Within a tPSA range 1.0-22.8 µg/l, 229 men (58.3%) had prostate cancer (PCa). tPSA, %fPSA and the number of positive DRE differed significantly from the cohort of 787 patients of the ANN “ProstataClass” whereas age and prostate volume were comparable. Areas under the ROC curves (AUC) for tPSA, %fPSA and the ANN “ProstataClass” were 0.53, 0.73 and 0.75 (p = 0.085 between %fPSA and ANN). The AUCs of the ANNiv (0.75) and ANNall (0.77) were significantly better compared with %fPSA (p = 0.021 and 0.0008) but all five ANNs had no differences between each other. Conclusions: Differences in the cohort composition with less positive DRE status (-26.8%) and higher %fPSA values (+3.6%) in the internal validation cohort are most likely responsible for the decreased AUCs for all ANN models in the internal validation cohort and different predicted and observed PCa probabilities