Microsoft pasa a Open Source algoritmo, hardware y código de la compresión de datos de Azure

Microsoft ha anunciado una nueva contribución al Proyecto Open Compute, con el paso a open source de su algoritmo de compresión de datos cloud, denominado Proyecto Zipline, así como de su implementación del hardware optimizada para el almacenamiento en la nube y el código fuente Verilog del lenguaje RTL, que muestra cómo se comprimen datos en la nube de Azure.

El anuncio de este paso se ha dado en el marco del comienzo del Open Compute Project Global Summit 2019, el evento anual del Proyecto Open Compute, al que Microsoft se unión allá por 2014. Además de esta organización dedicada al fomento del Open Source, los de Redmond también son miembros fundadores de su proyecto Interfaz de Abstracción Switch (SAI).

Con este movimiento, Microsoft, que lleva tiempo apostando por el Open Source, espera que la comunidad del Proyecto Open Compute contribuya al avance este algoritmo, código y especificaciones. También que se puedan utilizar en otros ámbitos. Según varias fuentes de Microsoft, por ejemplo, la tecnología de compresión de Zipline se podría utilizar en varios mercados, en áreas que van desde el proceso de datos en red y los discos de estado sólido inteligentes a los sistemas de archivo y las aplicaciones en la nube, pasando por los microprocesadores de propósito general.

Tal como apuntan desde la compañía en un post en el que anuncian el paso de estos elementos a Open Source, «el Proyecto Zipline es una tecnología de compresión de última generación optimizada para una gran variedad de campos de datos, y nuestra liberación de RTL (Lenguaje de transferencia de registros) permite que los fabricantes de hardware empleen el diseño de referencia para producir chips de hardware que permitan el mayor nivel de compresión posible, así como un menor coste«.

Según aseguran desde Microsoft, con zipline se pueden alcanzar ratios de compresión dos veces mayores que los que alcanza el modelo estándar Zlib-64. Para conseguirlo, el algoritmo, y su implementación de hardware, se ajustaron específicamente para los grandes conjuntos de datos que Microsoft tiene en su nube. Dado que el sistema trabaja a nivel de sistemas, no hay prácticamente sobrecargas, y se pueden gestionar tasas de rendimiento más elevadas, así como una latencia menor que la conseguida con otros algoritmos.