Implementación y evaluación del modelo DLRM en acelerador ASIC simulado mediante STONNE

Abstract

Los sistemas de recomendación basados en técnicas de Deep Learning (DL) es un área en constante evolución. Los sistemas actuales han de ser capaces de generar una salida (por ejemplo, la probabilidad de hacer clic sobre un determinado anuncio) de la manera más precisa (volver a mostrarlo o no) y dentro de un estricto margen de tiempo para que las empresas digitales maximicen sus beneficios. Sin embargo, cuando estos modelos ya entrenados se despliegan sobre Datacenters con un gran volumen de datos a procesar (cientos de miles de usuarios solicitando recomendaciones), el tiempo de cómputo y la demanda de recursos computacionales (unidades de cómputo, consumo de memoria, etc.) aumenta considerablemente. Como resultado de esto, surge la necesidad de crear nuevas arquitecturas aceleradoras especializadas en procesar sistemas de recomendación. En este trabajo se va a realizar una caracterización de la ejecución del sistema de recomendación DLRM (Facebook), basado en redes neuronales profundas, sobre una arquitectura aceleradora unificada híbrida (arquitectura para cómputo sparse y otra para cómputo dense) que hemos propuesto para acelerar esta carga de trabajo. Para ello, se usará el simulador STONNE que permite implementar y evaluar aceleradores para DL. La evaluación de DLRM se ha realizado mediante cargas de trabajo similares a las esperadas en un entorno real. En particular, de nuestro análisis se ha comprobado que DLRM puede requerir de hasta 1,3 GBs, lo que supone 74 millones de accesos a memoria para lectura y 284.000 para escritura de datos, y el tiempo de ejecución está muchas veces dominado por las búsquedas de datos que se necesitan siguiendo patrones de acceso irregulares. Este análisis permitirá detectar cuellos de botella en la ejecución para diseñar e implementar optimizaciones sobre el acelerador propuesto.