Categories
General In detail OpenSource

Los principales sustitutos de EXT4 ( ZFS, XFS, BRTFS )

Ext4 tiene defectos de diseño que cada vez cuesta más superar y Ext4 ya no tiene las ventajas que tenía antes en comparación BRTFS, ZFS, XFS u otros. Por ejemplo, Ext4 es muy bueno hasta llegar a sistemas de archivos de hasta 16TB. Ext4 sigue siendo una opción estable y segura pero ya empezamos a ver que si quieres tener una partición de más de 1EB o si quieres almacenar archivos de más de 16TB pues entonces si que necesitas sistemas como ZFS o BRTFS. Además estos, tiene soporte para últimas tecnologías como SSD donde se notan una mejoría con respecto a Ext4. Además vemos que en los últimos Kernels de Linux con BRTFS ya empieza a superar en rendimiento al Ext4 y luego vemos que el ZFS se esta empezando a usar más en el mundo Linux y no solamente en Solaris y FreeBSD que es donde provenía en un principio.

BRTFS está siendo una opción muy buena para los nuevos Desktops; Ubuntu, Suse, Fedora ya empiezan a tenerlo en sus últimas versiones por defecto. BRTFS será el sistema de archivos en el que probablemente se asentará las versiones GNU/Linux Deskop en un futuro muy cercano. Este ya empieza a ser recomendado para ser utilizado ya en producción.

Para los que les gustan ir a la última ya podéis pasar vuestro EXT4 a BRTFS sin formatear.  A parte del BRTFS vemos el sistema de ficheros ZFS creado por SUN es una opción muy robusta y con una larga experiencia en el mundo del servidor. Las características del ZFS es que incluye integridad de datos (protección contra la corrupción de bits, etc), soporte para altas capacidades de almacenamiento, la integración de los conceptos de sistema de archivos y gestión de volúmenes, snapshots y copy-on-write clones, chequeos de integridad continua y reparación automática, RAID-Z y NFSv4 soportado nítidamente. Hay muchas comparativas que hablan mejor del ZFS que del BRTFS que está empezando a ser el nuevo estándar. En el siguiente enlace tenemos una tabla comparativa donde vemos que ZFS tiene unas características muy buenas en comparación BRTFS: http://www.codestrom.com/zfs-vs-btrfs-comparison Para los que quieran saber más:

A parte de BRTFS y ZFS tenemos otras opciones más opciones como XFS que sigue siendo una opción más para servidores que necesitan el mejor rendimiento posible com por ejemplo en base de datos, virtualización, etc. Proviene de Silicon Graphics (Irix) compañía que destacó en el mundo de la supercomputación y entornos multimedia de alto rendimiento. Fue diseñado para tratar grandes ficheros y para escalar grandes volúmenes. Por lo tanto video y ficheros multimedia son muy bien gestionados por este sistema de ficheros. Además actualmente vemos que se ha extendido en entornos de BigData y Cloud, como por ejemplo en Cassandra y EC2. Si quereis saber más de XFS: http://diegocg.blogspot.com.es/2013/06/red-hat-xfs-es-mejor-sistema-de.html
Luego para temas de SSD tenemos opciones específicas como NILFS2, que ya no entraremos más en detalle. En resumen vemos que la tendencia está entre BRTFS para Desktops y para el mundo más profesional de alto rendimiento vemos opciones muy buenas como ZFS y XFS.

SGI Infinite Storage SGI
SGI Infinite Storage SGI

Categories
Bigdata Guide In detail

Opendedup: Deduplicación en línea sobre volumenes de datos en AWS S3 y Azure.



Sam Silverberg, desarrollador con una dilatada experiencia está al frente del proyecto Opendedup. Opendedup se centra en el desarrollo de nuevos sistemas de ficheros con el objetivo de dar solución e ir más allá en el terreno de la deduplicación en línea. Si analizamos su “core” Opendedup ha desarrollado y apuesta por SDFS, un sistema de ficheros multiplataforma con deduplicación en línea que permite reducir en más del 90% el espacio utilizado, permite deduplicar más de un Petabyte de datos, ofrece rendimientos superiores a 1Gbps, se integra con entornos de virtualización de VMWare como repositorio de máquinas virtuales, soporta “snapshots” a nivel de ficheros o directorios, etc…
http://opendedup.org/whatisdedup
sdfs
Siendo fiel al título de este POST, veremos como SDFS nos puede ayudar en la optimización del uso de recursos en proveedores Cloud para fines como por ejemplo de archivado, dónde este permite almacenar “bloques” deduplicados sobre servicios de almacenamiento en la nube como son Amazon S3 o Azure. Cosa que facilita almacenar una cantidad ilimitada de datos sin la necesidad de almacenamiento local con capacidades de cifrado (AES 256 bit) y compresión (obvia y por defecto).
Si lo analizamos más en detalles, los beneficios están bastante claros ya que reducimos al mínimo el almacenamiento externo, uso de ancho de banda y maximizamos aspectos como el rendimiento de escritura.
Como detalle adicional es importante tener en cuenta que el enfoque de almacenamiento externo mediante bloques requiere que el espacio de nombres y los metadatos de archivos se almacenen localmente en el sistema en el que se monta el volumen SDFS, esto asegura por un lado el máximo rendimiento al permitir que todas las funciones del sistema de archivos se realizan a nivel local a excepción de los datos de lecturas y escrituras pero por otro nos limita a utilizar la misma máquina para acceder a los datos.
En base a su tutorial de uso y si entramos en el caso específico de volúmenes deduplicados sobre AWS S3:
1) Realizaremos la instalación de opendedup – http://opendedup.org/download
2) Utilizando las credenciales que nos proporciona Amazon AWS para su servicio S3 y con un ‘bucket’ ya disponible crearemos un volumen SDFS :
./mkfs.sdfs  –volume-name=<volume name> –volume-capacity=<volume capacity> –aws-enabled=true –cloud-access-key=<the aws assigned access key> –cloud-bucket-name=<a universally unique bucket name such as the aws-access-key> –cloud-secret-key=<assigned aws secret key> –chunk-store-encrypt=true
3) Montaremos el volumen y a jugar…
./mount.sdfs <volume name> <mount point>
Salud!
Cloudadmins.org