Amazon centra en el machine learning sus novedades de la 2ª semana de AWS re:Invent

La segunda semana del evento de AWS re:Invent, que arrancó hace ya unos días en el formato virtual al que nos han acostumbrado las tecnológicas este año, también está teniendo un hueco para la presentación de novedades, centradas en su mayoría en funciones y herramientas relacionadas con el machine learning. Entre ellas destacan dos: SageMaker Clarify (entre otras novedades para SageMaker) y Redshift ML. Además, la división cloud de Amazon también ha anunciado en AWS re:Invent HealthLake, un servicio de almacenamiento de Big Data para datos de salud y ciencias de la vida.

Amazon SageMaker Clarify es una herramienta desarrollada por la compañía para ayudar a reducir el sesgo en los modelos de machine learning, para lo que permite a los desarrolladores contar con mayor visibilidad de los datos que utilizarán para al entrenamiento de modelos. De esta manera podrán limitar el sesgo en ellos, además de con más facilidades para explicar las predicciones que hagan.

Además, SageMaker Clarify ofrece la posibilidad de detectar sesgo a lo largo del flujo de trabajo de machine learning, lo que permite que los desarrolladores sean capaz de incorporar más justicia, equidad y transparencia a sus modelos de machine learning. Se integra con Amazon SageMaker Data Wrangler, otra de las novedades de la compañía, una función que se encarga de ofrecer a los desarrolladores un sistema rápido y sencillo para que puedan preparar los datos para el machine learning.

Con esta integración, SageMaker Clarify ejecuta junto con Wrangler diversos algoritmos para identificar el sesgo en el proceso de preparación de datos, gracias a visualizaciones que incluyen una descripción de las fuentes y la gravedad del sesgo que pude producirse si se utilizan tal cual. Entonces se pueden dar pasos para reducirlo o eliminarlo.

SageMaker Clarify también se integra con SageMaker Experiments, lo que facilita la comprobación de modelos entrenados previamente, de cara a la detección de sesgo estadístico. Además, detalla cómo cada función integrada en el modelo afecta a las predicciones. Esta no es la última de sus integraciones, puesto que también lo hace con Amazon SageMaker Model Monitor, una función de SageMaker que se encarga de supervisar de manera continua la calidad de los modelos de machine learning que están en producción, para avisar a los desarrolladores si la importancia de las funciones del modelo cambia y ocasiona con ello un cambio en el comportamiento del modelo.

Además de estas novedades, SageMaker también cuenta desde ahora con Feature Store, que ofrece una especie de tienda de datos desarrollada a propósito para el almacenamiento, actualización, rescate y compartición de funciones de machine learning. Otra de las nuevas funciones de SageMaker anunciadas es Pipelines, que proporciona a los desarrolladores el primer servicio desarrollado a medida para ofrecer, con facilidad, un servicio de integración y entrega continuas para machine learning. Por último, Deep profiling for Amazon SageMaker Debugger se encarga de vigilar el rendimiento del entrenamiento de machine learning para ayudar a agilizar el entrenamiento de modelos.

Redshift ML y HealthLake

Amazon también ha presentado en AWS re:Invent Redshift ML, una función con la que la compañía quiere facilitar a quienes utilizan SQL la creación, entrenamiento y despliegue de modelos de machine learning empleando para ello comandos de SQL que les resulten familiares. Con Redshift ML también existirá la oportunidad de utilizar los datos que cada desarrollador quiera, incluso los suyos propios, en Amazon Redshift con Amazon SageMaker, que es un servicio de machine learning completamente gestionado, sin que sea necesario convertirse en experto en esta tecnología.

Además, Redshift ML ofrece flexibilidad a la hora de utilizar la selección automática de algoritmos. Puede preprocesar automáticamente datos y crear, entrenar y desplegar modelos. Por otro lado, los usuarios avanzados podrán especificar tipos de problemas, y los que dominen el machine learning podrán seleccionar algoritmos y especificar tanto los hiperparámetros como los preprocesadores a utilizar. Por último, permite pagar solo por el entrenamiento, ya que la predicción está incluida en los costes del clúster del cliente.

En cuanto a Amazon HealthLake, otra de las novedades de AWS re:Invent, según la compañía es un sistema para almacenar, transformar y analizar datos de ciencias de la vida y la salud en la nube, a gran escala. Puede cargar automáticamente datos estructurados, así como sacar información de diversas fuentes, como registros de pacientes y notas de médicos sobre sus patologías y añadirlas a un sistema de almacenamiento que se suele conocer como lago de datos.

Su misión es agregar todos los datos de una organización que estén repartidos por varios silos, y con formatos dispares, en un único punto centralizado, además de normalizar la información por medio del machine learning. El servicio se encarga de identificar cada pieza de información clínica y de identificar e indexar eventos en una vista de línea de tiempo con etiquetas estandarizadas. De esta manera se pueden hacer búsquedas en los datos con facilidad.

Además, también estructura todos los datos en el formato estándar de la industria FHIR (Fast Healthcare Interoperability Resources. Así permite ver al completo la información de la salud de un paciente concreto, así como de la de grupos de población. Con todo esto, Amazon HealthLake facilita a los clientes la posibilidad de hacer preguntas, realizar analíticas y ejecutar machine learning para obtener valor de los datos recién normalizados.

Diversas organizaciones, como sistemas de salud, compañías farmacéuticas, investigadores clínicos o aseguradoras pueden utilizar Amazon HealthLake para ayudar a la identificación de tendencias o anomalías en datos sanitarios, con la finalidad de obtener predicciones mucho más precisas sobre el progreso de las enfermedades o la eficacia de los ensayos clínicos.