Deep learning for knee osteoarthritis diagnosis and progression prediction from plain radiographs and clinical data

Abstract Osteoarthritis (OA) is the most common musculoskeletal disorder in the world, affecting hand, hip, and knee joints. At the final stage, OA leads to joint replacement, causing an immense burden at the individual and societal levels. Multiple risk factors that can lead to OA are known; however, the etiology of OA and the underlying mechanisms of OA progression are not currently known. OA is currently diagnosed by a clinical examination and, when necessary, confirmed by imaging — a radiographic evaluation. However, these conventional tools are not sensitive to detect the early stages of OA, which makes the development of preventive measures for further disease progression difficult. Therefore, there is a need for other methods that could allow for the early diagnosis of OA. As such, computer vision-based techniques provide quantitative biomarkers that allow for an automatic and systematic assessment of OA severity from images. In recent years, the rapid development of computer vision and machine learning methods have merged into a new field — deep learning (DL). DL allows for one to formulate the problems of computer vision and other fields in a machine learning fashion. In the medical field, DL has made a tremendous impact and allowed to approach for human-level decision-making accuracy in diagnostic and prognostic tasks compared with the traditional computer vision-based methods. The focus of this thesis is on the development of DL-based methods for fully automatic knee OA severity diagnosis and the prediction of its progression. Multiple new methods for localizing the region of interest, landmark localization, knee OA severity assessment, and OA progression prediction are proposed. The results exceeded the state-of-the-art or formed completely new benchmarks for the evaluation of diagnostic and predictive model performance in OA. The main conclusion is that DL yields excellent performance in the diagnostics of OA and in the prediction of its progression. All the source codes of all the developed methods and the annotations for some of the datasets have been made publicly available.Tiivistelmä Nivelrikko on maailman yleisin käden, lonkan ja polven niveliin vaikuttava liikuntaelinsairaus. Viimekädessä nivelrikko johtaa tekonivelleikkauksiin, aiheuttaen merkittävää rasitetta niin yksilö- kuin yhteiskunnallisella tasolla. Monia nivelrikolle altistavia tekijöitä on jo tunnistettu, mutta kaikkia nivelrikon syitä ja vaikutusmekanismeja nivelrikon etenemisessä ei tunneta. Nivelrikko diagnosoidaan kliinisellä tutkimuksella ja vahvistetaan/varmistetaan tarvittaessa tehtävällä kuvantamistutkimuksella — tekemällä radiografinen arviointi. Nämä perinteiset työkalut eivät kuitenkaan ole riittävän herkkiä nivelrikon varhaisten vaiheiden havaitsemiseen, ja tämä hankaloittaa sairauden kehittymistä ehkäisevien toimenpiteiden kehittämistä. Näistä syistä johtuen tarvitaan muita menetelmiä, jotka mahdollistavat nivelrikon varhaisen diagnosoinnin. Konenäkömenetelmät sellaisenaan tuottavat kvantitatiivisia biologisia indikaattoreita jotka mahdollistavat automaattisen ja järjestelmällisen nivelrikon vakavuusarvion tekemisen kuvamateriaalista. Viime vuosina konenäkö- ja koneoppimismenetelmien nopea kehitys on synnyttänyt uuden syväoppimisen haaran. Syväoppiminen mahdollistaa konenäkö- ja muiden ongelmien määrittelyn koneoppimisongelman tavoin. Verrattuna perinteisiin lääketieteessä käytettyihin tietokonenäkömenetelmiin, syväoppiminen on mahdollistanut ihmisen suorituskykyä lähestyvät toteutukset lääketieteen diagnostisissa ja prognostisissa tehtävissä ja niiden vaikutus alan kehitykselle on ollut merkittävä. Tämän väitöskirja keskittyy kehittämään syväoppimismenetelmiä täysautomaattiseen polven nivelrikon vakavuuden diagnosointiin ja taudin kehittymisen ennustamiseen. Työssä ehdotetaan/esitetään useita uusia menetelmiä kohdealueen paikallistamiseen, maamerkkien paikallistamiseen, polven nivelrikon vakavuuden arviointiin ja nivelrikon etenemisen ennustamiseen. Työn tulokset ylittävät viimeisintä tekniikkaa edustavat ratkaisut tai muodostavat täysin uuden mittarin diagnostisten ja ennustavien menetelmien suorituskyvyn evaluoinnille nivelrikon kontekstissa. Työn keskeisimpänä johtopäätöksenä esitetään, että syväoppimisella on mahdollista saavuttaa erittäin hyvä suorituskyky nivelrikon diagnosoinnissa ja sen etenemisen ennustamisessa. Kaikki työssä kehitetyt menetelmät lähdekoodeineen sekä annotoinnit osalle tutkimuksessa käytetyistä aineistoista on saatettu avoimesti saataville