Enhancing Molecular Docking with Deep Q-Networks

Abstract

El descubrimiento de fármacos es un proceso largo y costoso que suele durar entre 10 y 15 años, desde la evaluación inicial de candidatos farmacológicos hasta la aprobación final por parte de los organismos reguladores correspondientes. Por este motivo, simulaciones moleculares por computador, conocidas como Virtual Screening (VS) (o Cribado Virtual), se utilizan a menudo para predecir los candidatos a fármacos durante las primeras etapas de su desarrollo. Uno de los métodos más utilizados en el VS es el llamado Docking Molecular, o simplemente abreviado como Docking (en español, Acoplamiento Molecular). El objetivo de este método es resolver el problema de las Interacciones Proteína-Ligando (PLDP) o Docking. Dicho de otro modo, se trata de predecir las conformaciones 3D en las que un candidato farmacológico (también conocido como ligando) se acopla a un receptor determinado (normalmente una proteína) en un punto concreto de su superficie. Los métodos tradicionales de Docking se basan en procedimientos de optimización de funciones de puntuación (o de scoring) siguiendo determinadas heurísticas. Se trata de funciones matemáticas que modelan las interacciones moleculares. Estos métodos se caracterizan por ser computacionalmente costosos. De esta manera, en esta tesis se pretende aprovechar los prometedores algoritmos de Deep RL para mejorar la resolución del problema de Docking. Para ello, el hilo conductor de esta tesis doctoral son las diferentes alternativas de representación de las moléculas de la escena de Docking que serán utilizadas como datos de entrada de dichos algoritmos.

En consecuencia, primero se replantea el problema PLDP como uno de Aprendizaje por Refuerzo (RL). Acto seguido, se construye un sistema básico basado en el algoritmo de Deep Q-Network (DQN), originalmente diseñado para enseñar a agentes artificiales a jugar a videojuegos de la consola de Atari 2600. En segundo lugar, se utiliza una implementación, denominada QN-Docking, basada en un vector de características sencillo para la representación molecular. Dicha implementación es testada en un entorno con un receptor relativamente pequeño y un espacio de acciones limitado. Los resultados de la fase de predicción muestran que QN-Docking consigue un aumento de velocidad 8 veces mayor en comparación con métodos estocásticos como METADOCK 2. Dicho programa es un nuevo software de alto rendimiento que incluye diversas metaheurísticas para el Acoplamiento Molecular. Por último, una implementación alternativa basada en imágenes, MVDQN, es testada en el mismo escenario que QN-Docking. Los resultados muestran un rendimiento similar al de la primer implementación durante la fase de entrenamiento. Sin embargo, en la fase de predicción los resultados son mixtos. El agente actúa de forma subóptima en varias de las posiciones de partida establecidas en el experimento. Este escenario final parece prometedor, no obstante, ya que hay mucho margen de mejora para seguir puliendo el algoritmo y mejorar la representación molecular.

En resumen, estos resultados suponen un valioso hito en el desarrollo de un método basado en Inteligencia Artificial más rápido y efectivo para resolver el problema PLDP en comparación con métodos más tradicionales.