Jak wytrenować Transformer molekularny?

Większość leków nie wchodzi na rynek po długim i kosztownym procesie syntezy, ponieważ ich właściwości chemiczne lub biologiczne okazują się być niezgodne z wymogami. Użycie modelu nauczania maszynowego, który byłby w stanie poprawnie przewidywać właściwości molekuł (takich jak toksyczność lub bioaktywoność), mogłoby potencjalnie zredukować liczbę niepożądanych kandydatów na lek już we wczesnym etapie opracowywania leków. Ostatnie badania pokazały, że głębokie modele uczenia maszynowego, które łączą wielkoskalowy trening wstępny z architekturą Transformera osiągają obiecujące rezultaty przy przewidywaniu właściwości molekuł. Niestety, głębokie modele dotrenowane w standardowy sposób na małych zbiorach danych, typowych dla chemii, mają problemy z poprawną generalizacją. W tej pracy adaptujemy różne metody dotrenowywania dużych modeli uczenia maszynowego używane w wizji komputerowej i przetwarzaniu języka naturalnego i porównujemy je w dziedzinie chemii. Okazuje się, że żadna z testowanych metod nie poprawia wyników konsekwentnie na każdym z rozważanych zbiorów danych. Jednakże, użycie różnorodnych metod dotrenowywania przy tworzeniu zespołu klasyfikatorów znacznie poprawia jego wyniki. Taka metoda tworzenia zespołu klasyfikatorów, nazwana przez nas DEFME, polepsza wyniki standardowego zespołu klasyfikatorów na 8 spośród 10 zbiorów danych i generalizuje się lepieji niż inne modele przewidywania właściwości molekuł.Most drug candidates fail to enter the market after a long and costly development process because their chemical or biological properties turn out to be improper. Potentially, using a machine learning model capable of correctly predicting molecular properties, such as toxicity or bioactivity, could dramatically reduce the number of undesirable drug candidates in the early stages of drug discovery. Recently, deep learning models combining large-scale pre-training with the Transformer architecture have shown great promise for improving molecular property prediction. Unfortunately, such large models fine-tuned in a standard way struggle to generalize well in a low-data regime, typical for the chemical domain. In this dissertation, we adapt various methods of robust fine-tuning from computer vision and natural language processing and compare them in the molecular property prediction domain. It turns out that either of these methods alone gives a significant improvement in all the tasks considered. However, using diverse and robust methods to fine-tune models in an ensemble substantially increases the performance of the ensemble. Our DEFME (Diverse Ensemble of Fine-tuning MEthods) outperforms a vanilla ensemble on 8 out of 10 tasks and achieves state-of-the-art performance on most considered tasks with gains in generalization to novel molecular structures, a key consideration for the pharmaceutical industry