Categories
Community General In detail OpenSource Security Social

Presentación del libro “DevOps y seguridad cloud” en el FNAC Fòrum

WhatsApp Image 2020-01-24 at 07.12
El 23 de enero tuvo lugar en el Fórum Fnac de la Illa Diagonal la presentación del libro “Devops y seguridad cloud”, de los autores Jordi Guijarro Olivares(i2CAT), Joan Caparrós Ramírez (CSUC) y Lorenzo Cubero Luque (NetCentric).
El acto ha contado con la participación del Dr. Josep Jorba, director del Postgrado de Cloud Computing de la UOC, el Dr. Remo Suppi, profesor de la UAB y el Sr. Raúl Sánchez de Rancher Labs que han acompañado a los tres autores.
El libro, publicado por UOC Media (el sello editorial de la UOC), surge como parte del material elaborado en el postgrado en Cloud Computing de la UOC, programa dirigido a los que quieran orientar su experiencia en el ámbito de la computación y modelos en nube. Con el objetivo de capacitar a la empresa ya sus profesionales de IT, ofrece los conocimientos, habilidades y herramientas necesarias para perfiles especialistas en el ámbito devops y de cloud, un perfil profesional altamente demandado en el mercado laboral , tanto en el ámbito nacional como internacional.
Así, su lectura ayuda a profundizar en retos, como la integración continua (CI) y la entrega continua (CD) de la mano de tecnologías de containers como Docker y plataformas como Kubernetes (K8S), bajo servicios de infraestructura como Amazon Web Services (AWS), herramientas de automatización como terraformar y de testing como Jenkins. Además, incluye casos de uso para ir más allá también para la parte práctica.
http://www.editorialuoc.cat/devops-y-seguridad-cloud
Gracias por vuestra asistencia, muy contentos de como fue la presentación y las primeras opiniones sobre el Libro.
https://www.amazon.es/Devops-Seguridad-Cloud-657-Manuales/dp/8491806237/ref=sr_1_1?__mk_es_ES=%C3%85M%C3%85%C5%BD%C3%95%C3%91&keywords=devops+y+seguridad+cloud&qid=1575970105&sr=8-1
Os dejamos una galería de fotos del evento:


 

Categories
Community General In detail Social

Primer Meetup Cloud Admins Barcelona (23/1 18:30 FNAC L'Illa Diagonal)

 
BANNER DEVOPS Y SEGURIDAD CLOUD
¿Trabajar en Devops? https://www.meetup.com/es-ES/Cloud-Admins-Barcelona/events/267701751/
Retos como la integración continua (CI) y la entrega continua (CD) de aplicaciones de la mano de tecnologías de containers como Docker y plataformas como Kubernetes (K8S), bajo servicios de infraestructura como Amazon Web Services (AWS), o OpenNebula, herramientas de automatización como Terraform y de testing como Jenkins…
Pero no todo va de herramientas y tecnología, ¿Qué pasa con las metodologías? ¿Ágiles o no tan ágiles? ¿Otras modalidades de gestión? ¿Y respecto a la seguridad?
Algunas de estas preguntas y esperamos que alguna que plantees, serán tratadas en la presentación del libro “Devops y Seguridad Cloud” junto a sus autores y invitados como el Dr. Josep Jorba, Director del posgrado de Cloud Computing de la UOC y el Dr. Remo Suppi profesor de la UAB y colaborador en la UOC.
Nos vemos el próximo 23 de Enero a las 18:30 en el 1r Meetup de Cloud Admins Barcelona. Reserva tu agenda ->  https://www.meetup.com/es-ES/Cloud-Admins-Barcelona/events/267701751/
Cloud Admins Barcelona Team

Categories
Community General Guide In detail Interoperability OpenSource Security Social

LIBRO CLOUDADMINS: Devops y seguridad Cloud

Hola a tod@s,

NOVEDAD! LIBRO BY @cloudadms

Conceptos DevOps avanzados, casos de uso con Rancher (K8S), AWS, OpenNebula, Jenkins, Terraform
http://www.editorialuoc.cat/devops-y-seguridad-cloud
devopsyseguridadcloud
 
DevOps y seguridad cloud surge como parte del material elaborado en el posgrado en Administración y Cloud Computing de la UOC, programa dirigido a los que deseen orientar su experiencia al ámbito de la computación y modelos cloud. Con el objetivo de capacitar a la empresa y a sus profesionales de IT, ofrece los conocimientos, habilidades y herramientas necesarias para perfiles especialistas en el ámbito DevOps y computación en la nube, un perfil profesional altamente demandado en el mercado laboral, tanto en el ámbito nacional como internacional.
 
La nube comprende el concepto básico por el que definiremos la entrega de servicios informáticos a clientes o usuarios por medio de una red. Este nuevo modelo de prestación de servicios permite añadir una capa de abstracción frente a los clientes que no saben dónde estos están ubicados (normalmente alojados en varios proveedores y repartidos por todo el mundo) ni la gestión de recursos que usan. Los servicios en la nube atienden las peticiones recibidas y aportan una flexibilidad y adaptabilidad de recursos frente a la demanda de forma totalmente transparente.
En el libro una vez vistos los conceptos básicos a modo de introducción, se centra en la materia necesaria para tener una visión más avanzada sobre el enfoque del rol de DevOps.

  • Uno de los puntos en los que centraremos nuestra atención es la gestión de la configuración, que nos permitirá acercar todos los entornos que utilizaremos para que sean lo más parecidos posible al entorno de producción final.
  • Uno de los pilares de DevOps es la integración continua que permite agregar los pequeños cambios realizados por los desarrolladores al conjunto de software desarrollado de manera que puedan ser testados y desplegados en entornos de desarrollo lo antes posible. • Veremos también diferentes estrategias de ‘testing’, todas ellas con el objetivo de minimizar los posibles errores que puedan producirse en los entornos productivos. Asimismo, se intentan detectar los errores en etapas tempranas del desarrollo cuando su corrección es más sencilla y menos costosa. • Como continuación de la integración continua veremos el concepto de entrega continua en su aplicación más práctica, donde aprovecharemos para explicar un extenso ejemplo.

Y en consecuencia, ¿interesado/a en cómo afrontarlo?

  • La gestión de infraestructura y de los diferentes entornos como resultado de las distintas etapas de la entrega continua. Tanto la infraestructura como los diferentes entornos deben ser extremadamente flexibles para adaptarse rápidamente a los cambios que se puedan producir en las diferentes etapas del desarrollo.
  • La gestión de los datos también representa un reto en cuanto que deben ser persistentes y estar disponibles a pesar de que el software que da acceso a ellos va cambiando constantemente.

usecases
Ahora depende de ti, reserva tu libro y sumérgete en retos como son la integración continua (CI) y la entrega continua (CD) de la mano de tecnologías de containers como Docker y plataformas como Kubernetes (K8S), bajo servicios de infraestructura como Amazon Web Services (AWS), herramientas de automatización como Terraform y de testing como Jenkins. Practica y vive una experiencia que te llevará al siguiente nivel. Y no olvides de compartir tu experiencia con nosotros, menciona @cloudadms en Twitter. ¡SUERTE! http://www.editorialuoc.cat/devops-y-seguridad-cloud

Categories
Community General Social

Barcelona Open Cloud Free Session next 24/10 (Inside OpenNebulaConf)

OpenNebula Barcelona User Group is a gathering of our users in Barcelona area to share best practices, discuss technical questions, network, and learn from each other and enjoy.
Taking advantage of the OpenNebula Conference in Barcelona, its user group in collaboration with the OpenNebula project and CSUC organizes a free open cloud session to introduce the project, share new local developments and use cases with the community and any people interested in Open Cloud topics (Free Registration).

Date and Time Mon, October 24, 2016 2:00 PM – 5:00 PM Add to Calendar

Location Hotel Barceló Sants (Hall C – MR 12) Plaça dels Països Catalans, Barcelona Barcelona View Map
Register here (Reserve your free seat)
Agenda
14:00 Welcome/Bienvenida/Benvinguda
14:05 OpenNebula Project: Open Cloud in essence – Dr. Ruben Santiago Montero (Chief Technical Officer & Co-Founder)
14:30 Cloud Bursting: New OpenNebula VCLOUD driver  – Jordi Guijarro (Cloud & Security Manager – CSUC)
14:50 Barcelona User Group
15:00 ACB League use case – Joaquin Villanueva (Director of Media Technology)
15:20 UPC Research Lab (RDLAB) use case – Gabriel Verdejo (IT Manager)
15:40 University of Valencia use case – Israel Ribot (System Administrator)
16:00 Coffee & Networking
17:00 EOF
Register here (Reserve your free seat)

Categories
Community General OpenSource Social

OpenNebula Conf 2015

Como ya os veníamos anunciando, entre los días 20 – 22 de octubre, tuvo lugar la tercera edición de la OpenNebula Conf que este año se celebraba en Barcelona en el Hotel Barceló Sants .
El evento comenzó con las ya tradicionales sesiones de “Hands On” y “Hacking Session”, en la primera se enseña a los asistentes a instalar desde cero la plataforma de OpenNebula y así los usuarios pueden comenzar a familiarizarse con ella y les permite llevarse su propio “Cloud” a casa. La segunda más enfocada a usuarios que ya están acostumbrados a trabajar con la plataforma es un punto de encuentro con los desarrolladores donde se puede plantear aquellos problemas del día a día del uso de la plataforma o aquellas cosas que serían interesantes incorporar para mejorarla. Entre los temas más demandados de este año se encontraban: Cloud bursting, integración con Ceph, HA, monitorización, autentificación o personalización de drivers.
El primer día también tenía el atractivo de contar en una de las salas con la Centos Dojo , las sesiones se basaron en temas como: Automatización de servicios con Foreman, “Customización” de imágenes de máquinas virtuales o Xen tuning. Podéis consultar todas las sesiones en el canal de YouTube de TheCentOSProject
Los días siguientes consistieron en pequeñas conferencias de unos 20 o 30 minutos cada una. Donde cada una de las organizaciones participantes presentaba su experiencia y como le había ayudado OpenNebula compartiendo así sus conocimientos sobre la plataforma y las tecnologías que estaban utilizando.
Cloudadmins estuvo representado por @jordiguijarro, en una charla sobre como OpenNebula ha sido una pieza importante en los laboratorios de innovación dentro del proyecto europeo DC4cities. Y aprovechó la ocasión para presentar entre los asistentes el grupo de usuarios de OpenNebula de Barcelona.
IMG_20151102_221031
La conferencia finalizó con una presentación a cargo del equipo de desarolladores de OpenNebula Systems donde nos mostraron su próximo Roadmap.
IMG_20151102_222512
Por supuesto también hubo tiempo para algunos eventos de ocio a modo de “Networking” que tuvieron lugar en los restaurantes “La Taberna del Cura” y la Fàbrica Moritz.
20151021_213443
Así que ya sabías, os esperamos en la próxima OpenNebula Conf…

Categories
General Hybrid Clouds OpenSource Social

Resumen CentOS Dojo en Barcelona

El CentOS Dojo tuvo lugar el pasado 29 de Octubre, organizada por el CSUC y patrocinada por Red HatFlytech, la Universitat Oberta de Catalunya y la Universitat Politècnica de Catalunya. Fue visitada por casi un centenar de personas, hubo unas ocho ponencias que resumimos en este POST:

1 – SOLUCIONES PARA CPD

Flytech presentó varias soluciones de infraestructura para centros de datos, centrándose en el rendimiento y en aspectos relacionados con la eficiencia energética; vimos tecnologías como el Fast Path, SSD y NVMe. Muy utilizadas por empresas nacionales muy conocidas como el PIC (IFAE), Tuenti, ADW, etc. Cuyos casos de éxito se sitúan en la utilización de grandes base de datos Mysql con discos SSD’s.

2 – OPENNEBULA

En esta parte del evento se realizaron dos presentaciones de OpenNebula: Una introducción de OpenNebula por Javier Fontan (Ingeniero de OpenNebula)  y un caso de éxito de OpenNebula por Jordi Guijarro y Xavier Peralta del CSUC y de la inicativa CloudAdmins; donde nos hablaron de su experiencia de uso para la comunidad científica y académica catalana.
La primera nos presentó las funciones de ONE como Cloud IaaS. Como ONE unifica la gestión de redes, almacenamiento, maquinas virtuales y todo empaquetado bajo una misma plataforma. Luego vimos como se pueden manejar las maquinas virtuales de forma sencilla (pensada para personas no técnicas), destacando la vista de administrador dónde se provee mucha información respecto a tratamiento de logs (stdout y stdin error’s) y la facilidad en la automatización de tareas. Con esto hay grandes beneficios para el usuario y para el Sysadmin, por lo tanto ONE tiene una buena gestión de grupos de usuarios donde uno puede dar permisos específicos para cada grupo (Admin, QA, test, …)
Para automatizar vimos que tiene una API, un command line interface, un interface para perfiles de tipo admin, una para usuarios y un dashboard donde podemos graficar y monitorizar nuestro Cloud. Otra gran característica es que puede interoperar con Clouds públicos como EC2, Azure, IBM… y pueden proveer servicios como una instancia de EC2 si ellos no tienen infraestructura disponible en ese momento. Nos mostraron tambien la diferencia entre la vision de administrador y la vision de un usuario normal, los templates en los que podemos basarnos para crear un servidor (centos, ubuntu….), la posibilidad de usar GlusterFS… .
También nos avanzaron que Opennebula puede funcionar con LXC, nos recomendaron el uso de la herramienta qemu-img y recomendaron que si usamos KVM sobretodo usar virtio para red y storage que mejora mucho rendimiento.
Luego Jordi Guijarro del CSUC nos explico su experiencia ONE en el CSUC, porqué se decidieron a usar OpenNebula y no Openstack y mostraron su entorno híbrido, en el que vimos que OpenNebula tiene funcionalidades de Vmware y también de AWS . Una de las características que destacaron fue su adaptación a Openvswitch (a nivel de red) y su recomendación de usar Qcow2 a nivel de disco. A su vez, nos demostraron su política de tarifas con una orientación al pago por uso mediante templates.
En su demostración, Xavier Peralta del  CSUC. nos presentó la nueva solución de Autoscaling (funcionalidad con la que AWS se ha hecho tan famosa) disponible a partir de  version de OpenNebula 4.2, llamada OneFlow y OneGate
opennebula.org/tryout

XEN

Roger Pau Monne nos detalló sobre los tipos de guests que se pueden usar con Xen y sus distintas opciones para obtener el mejor rendimiento posible. A modo de ejemplo, quedó muy claro que no siempre es mejor full-virtualización que paravirtualización. No vale en instalar XEN y ya está, una buena recomendación es tunearlo o elegir el mejor tipo de virtualización para cada caso de uso. Quizás las siguientes imagenes les da una mejor idea de lo que se pretendía.
20141029_121836 20141029_121657 20141029_124027

.

MARIADB

Colin Charles, de la comunidad CentOS, nos mostró las diferencias entre MySQL y Maria DB (MySQL++). Introduciendo ejemplos de nuevas features, consejos, trucos para ajustar mejor el rendimiento en los desarrollos o en la escalabilidad y como enfocar distintas estrategias con MariaDB. Destacó como del global de TOP20 sites de Internet usan MariaDB, por ejemplo Google, Facebook, Youtube, Baidu, Wikipedia, Amazon, Linkedin, etc.
Empezó presentando la nueva arquitectura MariaDB, las mejoras en los storage engines de toda la vida como MyISAM, InnoDB y introdujo los nuevos storage engines usados por MariaDB del tipo clave-valor.
Como no, se compararon con Mysql. Comentando las nuevas mejoras de rendimientos en comparación con el Mysql, destacando algunos benchmarks que en Mysql se habla de milisegundos, en MariaDB mejoraban hasta Microsegundos. A parte, otras hizo distintas comparaciones y destacó su gran compatibilidad con Mysql. A parte de destacar sus 5 años de soporte que dan por versión y presentó la utilidad del MariaDB Galera Cluster 5.5, 10.0 muy buena alternativa a los Mysql vitaminados con Percona.
Por la parte de features presentó muchas cosas:
Virtual Columns, PCRE Regular Expressions, GIS, Geometry types (OpenGiS requirement) por ejemplo usado en OpenStreetMap, Synamic columns (mongodb, Redis, cassandra), SphinxSE, Full-text search via SphinxSE (como un ElasticSearch), etc.
Por la parte de conectividad y plugins, explicaron la gran posibilidad de instalar plugins, conectores externos (por ejemplo posibilidad de hacer Queries con Cassandra), además posibilidad de conectar con Oracle, MongoDB, ETL para BI o BA, Spider, etc.
A nivel performance y escalado presentaron muchas novedades y además mejoras en entornos Cloud:
Mejoras en el horizontal partitioning, built on top of partitions, sharding solutions, multiple shards backends, easy to expand, TokuDB (separate MariaDB + TokuDB), TokuDB uses fractal tree indexes instead of B-Tree, mejoras en el Threadpool, autenticación con PAM (usando /etc/shadow) podemos usar ldap, ssh pass phrases, password expiration, username mapping, multiple queries against giggles server, LIMIT ROWS EXAMINED, backups no bloqueantes, no needs for flush tables with read lock, no stalls for long running queries, consisten snapshot sees all of a transaction, or nothing, also for multi engines transactions, presentaron la solución Galera, MariaDB Galera Cluster, Multi-source replication, Global Transaction ID (GTID), support multisource replication, Automatic bin log position for master failover, change master running is simple! PARALLEL REPLICATION, NEW KILL SYNTAX (por ejemplo kill all queries by username), nuevas estadísticas, EXPLAIN enhanced, FUSION IO, OPTIMIZER maria db 10 vs mysql5.6
A nivel loggeo y auditoría presentaron el “SQL Error Logging Plugin” y el “MYSQL_AUDIT_PLUGIN”, por ejemplo muy recomendado para bancos y ciertas leyes de USA.
En resumen como se pudo ver un gran bombardeo de características nuevas, mejoras, rendimientos mejorados, etc. Vemos que MariaDB es una alternativa a Mysql o Postgres muy buena a tener en cuenta.

GETTING STARTED ON CENTOS

Fabian Arrotin, hizo un resumen de que herramientas son útiles para mantener nuestra Infraestructura con Centos.
Nos dieron una guia de “best practices” de como:
1. Instalación/deployment: Por ejemplo soluciones como PXE, Kickstart, cobbler, Foreman, VirtPlatform, CloudInit con VM.
2. Software: Usar RPM, sync, reposync, , pulp, katello, …
3. Mantenimiento: Nombró herramientas útiles como pdsh, cssh, mushh, shmxux, IaaCode (puppet/chef/ansible/Cfengine, bcfg2, SaltStack, etc.) y como no usar un GIT o un SVM, y separar el código de los datos con soluciones como (hiera).
4. Monitoring: (Agentless vs standard protocols vs agent), Nagios, Icinga, Zabbix, Zenoos .. Snmp / Ipmi, Centralizar logs con rsyslog, graylog2, ELK (Elastic search+Log stash+kibana), riemann.

DOCKER

Karanbir Singh (karan.org) hizo una guia rápida sobre Docker, explicó porqué se le da tanta importancia actualmente y como la gente lo puede utilizar.
A parte, para entender mejor Dockers, nos dio detalle de la diferencia entre virtualización y containers. Y con esta introducción nos detalló Docker, nos habló de los parecidos que tiene con Vagran según su funcionalidad, como instalarlo, como usarlo, como funciona, que sistema de ficheros usa (AUFS V/s Device mapper overlay support), ejemplos, demostraciones y finalzó la presentación haciendo una demo de un framework muy interesante para gestionar fácilmente Docker llamado Cockpit .
 

Running CentOS in the Cloud

El mismo Karanbir Singh finalmente hizo una demostración a todos los asistenes de uso de Centos en distintos entornos Cloud como el Google compute Cloud, Amazon, Rackspace, Eucalyptus, etc. A parte de sus usos con sus APIs correspondientes (GClod, AWS, EUCA,… )
 
Os dejamos algunas fotos del evento:
20141029_101650
20141029_113325 20141029_112227 20141029_124638 20141029_165455

.
.
.

 

Desde Cloudadmins queríamos agradecer tan buenas conferencias que dieron todos y por su participación. Esperamos que se hagan más en un futuro. Saludos
Marius Duch, Jordi y Alex Vaqué

Categories
General Social

Docker Workshop in Barcelona

Como ya comentamos anteriormente en cloudadmins ha irrumpido con mucha fuerza una nueva forma de virtualizar a través de LxC. Docker empezó como un proyecto interno de Solomon Hykes en dotCloud, un proveedor PaaS (plataforma como servicio) y fue publicado en marzo de 2013. Se trata de una herramienta de virtualización construida sobre LinuX Containers que utiliza funcionalidades de CGROUPS para crear y ejecutar múltiples entornos virtuales de forma aislada. A diferencia de una máquina virtual Docker no permite crear un entorno virtualizado distinto al del OS, procesador y harwarde emulado. En cambio conseguimos un rendimiento mayor ya que el overhead es mucho menor ha diferencia de la virtualización tradicional con hypervisor.

Tuvimos el placer de asistir al workshop sobre dockers que se llevó a cabo en itnig. En ella repasamos comandos básicos de docker de la mano de Dimtris Kapanidis, podéis reproducir el workshop a través de su cuenta de github docker-workshop. Si no tenéis instalado docker y queréis trastear un poco es posible dar los primeros pasos en su propia web try it! O darle un vistazo a la presentación que tiene colgada en slidshare Xabier Larrakoetxea llamada Ship it with Docker”
Dimitri nos recomendo utilizar el parámetro -s al buscar imágenes para obtener imágenes de un sitio de confianza.

sudo docker search -s 10 nginx
NAME                             DESCRIPTION                                     STARS 
nginx                            Official build of Nginx.                        110     

A continuación Nicolas Poggi M. presento un caso de uso de como utilizar Docker como proveedor de Vagrant para crear múltiples entornos de desarrollo (link presentación y link desarrollo) y Pep Turró de Redhat nos presento el proyecto ATOMIC y como se esta redefiniendo a través de GearD.
Finalmente Dimitri de nuevo nos mostro como enlazar contenedores entre distintos hosts a través de Ambassador Pattern Lo que nos abre un extenso abanico de possibilidades en cuanto a la portabilidad y despliegue de LxC. Los 60 asistentes del workshop pudimos disfrutar de unas cervezas por cortesía de Estrella Damm 🙂
Feliz sysadminday!!
 
Ref: http://www.meetup.com/docker-barcelona-spain/events/193336922/comments/388505892/

Categories
Bigdata General Guide In detail NoSQL OpenSource Social

Datos en formato Grafo (Parte II – Web Semántica o Linked Data)

La Web Semántica también llamada Web 3.0 o Linked Data, es una funcionalidad de la Web que permite encontrar, compartir y combinar la información más fácilmente. Es una iniciativa de Tim_Berners-Lee (director del W3C e inventor de la Web) para permitir que la información que reside en la red sea accesible y “comprensible” no sólo por los humanos, sino también por las máquinas. Es una revolución tecnológica que está cambiando la forma de entender la Web y obligando a que todo evolucione: los buscadores, los navegadores, el desarrollo y el SEO.  Aquí es donde aparecen actores que quizás no les interese esta evolución.

La Web Semántica propone nuevas técnicas y paradigmas para la representación del conocimiento que faciliten la localización, compartición e integración de recursos a través de la Web. Estas nuevas técnicas se basan en la introducción de conocimiento semántico explícito que describa y/o estructure la información y servicios disponibles, de forma apropiada de ser procesada automáticamente por un software. La Web Semántica mantiene los principios que han hecho de la web actual un éxito, como son los principios de descentralización, compartición, compatibilidad, y la apertura al crecimiento.

Hay artículos que mencionan el fin de los grandes buscadores como Google si se aplicara la Web Semántica en toda la red. En este contexto un problema clave es alcanzar un entendimiento entre usuarios, desarrolladores y programas de muy diverso perfil. Uno de los ejes principales de esta visión es la noción de ontología, que viene del campo de la Inteligencia artificial, como herramienta clave para alcanzar dicho entendimiento entre las partes que participan de este conocimiento común.

Esquema de la Web Semántica

grafic1

Para entender la Web Semántica en su totalidad tenemos que entender las partes de RDF, OWL y el lenguaje de consultas sobre estos formatos denominados SPARQL. Como se puede ver en el siguiente esquema, un XML es un subconjunto RDF, como un RDF es un subconjunto de OWL. Vienen a ser un OWL que incluye las propiedades del RDF y el RDF incluya las propiedades del XML.

OWL, RDF y XML

grafic2

Comparación Web Actual con Web Semántica

En el gráfico se puede ver una comparativa de la Web Semántica con la Web actual, tal como se relacionan sus elementos entre ellas. El HTML tiene un tipo de relación simple llamada hipervínculo (HREF) que relaciona recursos (HTML) sin nombrar el tipo de relación, en cambio la Web Semántica tiene muchos tipos de relaciones entre distintos tipos de información, esta es una de las principales grandezas que tiene esta nueva tecnología.

grafic

Comparación generación Web actual con Web Semántica

Característica 1ª Generación 2ª Generación
Lenguaje principal HTML XML (RDF, OWL)
Forma y estructura Documentos no estructurados Documentos estructurados
Semántica Semántica implícita Etiquetado explícito (metadatos, web semántica)
Relación entre contenido y forma HTML = fusión de forma y contenido Estructura en capas de forma y contenido: XML + transformación (p.ej., XSL) a HTML, WML, PDF, u otros formatos
Editabilidad Documentos estáticos Documentos dinámicos
Descomponibilidad y recomponibilidad Sitios web monolíticos, independientes Bricolaje (agregación), sindicación, reasignación de contenido
Interactividad Medio de difusión unidireccional Web editable, bidireccional
Audiencias Para consumo humano Para humanos y ordenadores (p.ej., servicios web)
Control de producción Centralizado Descentralizado (peer-to-peer P2P)

Utilidad y ventajas de la Web Semántica

Para el fin de recuperar información, la Web semántica pretende la creación de una nueva forma de intercambio de datos que se fundamente en las representaciones de la información contenida en los recursos de la Web, de manera que puedan ser entendidos por las máquinas.

Se busca la mejora en la comunicación entre las máquinas y los humanos, reduciendo considerablemente la acción de estos segundos sobre los primeros. La forma de conseguirlo es dando a la Web un mayor significado, con lo cual se favorece la compartición, procesamiento y transferencia de información de forma sencilla.

La principal ventaja de la Web Semántica es recuperar información. Ésta permite al usuario dejar en manos del software, tareas de procesamiento o razonamiento de un determinado contenido. Por otra parte, el introducir significado a una Web mejora la eficacia de los buscadores, ya que facilita su tarea de estudio del documento. De esta manera, se puede afirmar que la Web Semántica facilita la localización de recursos; la comunicación entre programas y personas; y el procesamiento y manipulación de datos e información de manera automática en lugar de manualmente, como hasta ahora.

En conclusión, se intenta llegar a un estándar en esquematizar la información para poder poner la gran cantidad de información de la red en orden. Una mejor organización significa una mejor agilidad en moverse por la red. Además que se distribuye de forma más humana posible en comparación como se hace actualmente.

Algunos creen que la implementación de la nueva web será el fin de los grandes buscadores (ya que la web pasaría a ser descentralizada); otros que simplemente evolucionarán a mejor aunque tendremos más varias disponibilidades; o otros creen que habrán buscadores más temáticos y no tan generales. Lo más importante es que la libre circulación de la información dará mejores resultados.

Como ejemplos de casos prácticos actuales podemos encontrar:

  • Redes Sociales como Facebook, LinkedIn, Myspace, OpenSocial, etc.

  • Amarok y otros reproductores MP3 que tienen una base de datos de música en RDF.

  • Parecido a las redes sociales hay el buscador y reproductor musical Spotify, Last.fm. dónde el usuario, a partir de un grupo de música puede ir descubriendo grupos o músicas semejantes.

  • Hay experimentos como la Dbpedia.org que mapea toda la información de la Wikipedia para ser migrada a RDF. Otros como OntoWorld es un nuevo buscador desarrollado por MediaWiki. Hice pruebas con la DBPedia y busqué “Viajar+Joven” y me apareció Albergues (aquí la inteligéncia de que automáticamente relacionó Joven con viajes LowCost)

Antecedentes

Antes de entender la Web Semántica, hay que entender sus antecedentes y su evolución hacia la posible Web 3.0.

En el inicio del WWW (World Wide Web) teníamos la Web 1.0 donde todas las páginas eran estáticas, principalmente creadas con el lenguaje HTML, con unos buscadores muy limitados. La mayoría de contribución de la red eran Webs de corporaciones, identidades públicas y privadas. El usuario tenía muy limitada su participación en ellas lo que la convertía en una red unidireccional. Más tarde, se empezó con la creación de páginas personales estáticas. Posteriormente, el Web 2.0 revolucionó el WWW con la llegada de lenguajes como el PHP, Flash, Java, etc. Estos lenguajes permitieron desarrollar Webs dinámicas y multimedia. La web dinámica tiene como principal protagonista el usuario humano que escribe artículos en su blog o colabora en un wiki. En cambio, la web semántica orienta el protagonismo en agentes inteligentes que entiendan de lógica descriptiva en OWL; y concebida para que las máquinas hagan el trabajo de las personas a la hora de procesar la avalancha de información publicada en la Web. Con ella encontramos ya inteligencia artificial en la web.

No está aún del todo claro si la Web Semántica y la Web 3.0 son sinónimas. Se comenta que “Web 3.0” es aún un concepto demasiado abstracto para definirlo. La web 3.0 será una revolución, si como hemos comentado anteriormente; se logra una combinación efectiva entre la inclusión de contenido semántico en las páginas web y el uso de inteligencia artificial que saque partido de ella.

Podemos comprobar que el rápido desarrollo de la sociedad de la información, en concreto de las tecnologías implicadas, ha hecho posible la superación de muchas barreras. Por ejemplo: el almacenamiento de datos es un reto superado, la comunicación es también otro problema resuelto gracias a Internet. Entonces, ¿cuáles son los nuevos retos a superar? Según muchos, es la búsqueda de información y su integración.

El ejemplo más claro y más rápido que se puede encontrar está en Internet. A pesar de la gran cantidad de información que hay en la red, no se encuentra siempre lo que se busca y a veces se tarda mucho en encontrarlo. Los metadatos y las ontologías intentan mejorar estos inconvenientes, y la Web Semántica se caracteriza por incorporar básicamente éstos.

Con las ontologías se intenta encontrar un lenguaje común para describir varios temas. Una ontología combina varios esquemas en una estructura de datos, que contiene todas las entidades relevantes y sus relaciones dentro del dominio. La ontología es usada para una variedad de propósitos, incluyendo el razonamiento inductivo, la clasificación, y una variedad de técnicas de resolución de problemas. Las ontologías se usan para establecer conceptos y relaciones, pudiendo ser compartidas por todos.

Dar significado a los datos ya disponibles en Internet es una tarea que se resuelve añadiendo nuevos datos a los datos previos. Estos “meta-datos” expresan la semántica de dicha información, haciendo referencia a elementos de una ontología (compartida por todos).

La idea de la web semántica es establecer un marco, a nivel mundial, capaz de abarcar tareas como la búsqueda, teniendo en cuenta la semántica y aportar esa tecnología de integración. Así, Berners Lee, a través del consorcio W3C, pretende establecer una serie de estándares lo suficientemente consensuados como para que sean globalmente utilizados. Por ello han planteado una arquitectura general:

Las siguientes diapositivas muestran un posible camino para la evolución de Internet. En éstas, ya se habla de la Web 4.0, pero lo curioso es que aún no se ha definido ni la Web 3.0. Se pueden comprobar los antecedentes de la Web Semántica, un posible después y su línea de evolución. Claramente son unos datos muy subjetivos y no oficiales, pero da una idea de los antecedentes previos y lo que puede llegar en un futuro. Se puede comprobar que cada tecnología viene acompañada de una serie de componentes e ideas que la forman.

Categories
Bigdata General NoSQL OpenSource Social

Datos en formato Grafo (NoSQL) – 1a Entrega

Actualmente las base de datos NoSQL están en auge (http://nosql-database.org). Podemos encontrar una gran diversidad según su arquitectura; las más utilizadas son del tipo Key-Value (como Cassandra o Voldemort) 
o las documentales (por ejemplo MongoDB y CouchDB). Aunque existen otras no tan conocidas como las que os queremos presentar; BBDD NoSQL basadas en grafos o tripletas como DEX y Neo4j. (http://stackoverflow.com/questions/5689091/how-to-choose-which-type-of-nosql-to-use). A parte luego ya hay base de datos NoSQL que ya son casos híbridos que es el caso de OrientDB (http://www.orientechnologies.com/orientdb) que es un híbrido orientado entre base de datos en formato grafo y documentales.
dex
Dex introducción
Os queríamos introducir DEX una base de datos NoSQL de grafos con muchos casos de éxitos. DEX (http://www.sparsity-technologies.com/dex) está escrita en C++ aunque se puede utilizar con muchos otros lenguajes de programación y una de sus características principales es que permite analizar grandes volúmenes de datos.
DEX está basado en el modelo2 de base de datos en grafo, que está caracterizado por cumplir 3 propiedades: las estructuras de los datos son grafos o estructuras similares a un grafo o tripleta, la manipulación de los datos y las consultas se realizan con operaciones orientadas a grafo y existen restricciones para garantizar la integridad de los datos y de sus relaciones.
Un grafo de DEX es un multigrafo dirigido etiquetado y con atributos. Está etiquetado porque tanto nodos como aristas pertenecen a tipos. El grafo es dirigido porque permite que existan tanto aristas dirigidas como no dirigidas. Nodos y aristas pueden tener tantos atributos como se desee. Finalmente también decimos que es un multigrafo porque permite que existan múltiples aristas entre dos nodos aunque éstas sean del mismo tipo.
La principal característica de DEX es su capacidad de almacenamiento de datos y rendimiento, con órdenes de magnitud de miles de millones de nodos, aristas y atributos, gracias a una implementación con estructuras ligeras especializadas. (Wikipedia)

Ref: http://www.cbsolution.net/techniques/ontarget/databases_relational_vs_object_vs

Dex comparación con mysql

Depende mucho de cada caso de uso para saber cuando es más recomendado usar DEX u otro tipo de base de datos. Hemos querido hacer una típica comparación comparando DEX con MySQL. Elegimos MySQL ya que es una de las base de datos más usadas actualmente. Podemos ver en el siguiente listado que ventajas y desventajas nos aportan una base de datos relacional como el MySQL en comparación con una de grafos como DEX.

Ventajas del Mysql:
  • Mejor medición del performance (DEX tiene herramientas pero no suelen ser en tiempo real como pueden ser en MySQL)
  • Madurez. Está claro que las RDB como el MySQL son más maduras que DEX. Este hecho aporta que a nivel seguridad el MySQL es también más maduro y su interfície de gestión es más avanzada.
  • Claramente hay muchos más casos de éxito del MySQL
  • La implementación de MySQL es sencilla y además la mayoría de gente tiene más experiencia en este ámbito de las RDB. Siguiendo a nivel coste, DEX vuelca todos sus datos en RAM por lo cual es más costoso a nivel Hardware que las RDBs. Aunque actualmente el precio de la RAM se está reduciendo cada vez más.
  • Escalabilidad. Curioso caso, el NoSQL suele ser muy utilizado por las carencias de MySQL a nivel escalabilidad. El DEX en sus primeras versiones cojeaba un poco a nivel escalabilidad. Aunque tenemos que estar atentos porque las últimas versiones de DEX mejoran mucho esta característica y quizás este punto ahora sea más favorable para DEX.
Ventajas DEX sobre Mysql:

Ahora viene la parte interesante:

  • Aparentemente MySQL es más ineficiente para modelos de datos complejos o datos flexibles.
  • Es ineficiente para consultas estructurales. O para uso intenso de JOINS.
  • El DEX permite gran capacidad de tratamiento de grandes volumes con un alto rendimiento
  • Los Grafos suelen ser muy utilizado en redes sociales y en el mundo del Big Data.
  • El DEX se puede integrar con dos base de datos públicas.
  • WordNet: definiciones y diccionarios.
  • ConceptNet: relaciones entre conceptos.
  • Muy flexible para manejar Schemas desconocidos o dinámicos
  • El DEX tiene unas consultas estructurales y permite la navegación entre consultas.
  • Fácil mapeo entre ficheros CSV a DEX.
  • Tal como hemos comentado la escalabilidad a mejorado mucho en las últimas versiones. Cosa que seguramente ahora será mejor que el MySQL en este ámbito. Está aun por probar por parte nuestra.

Algunos casos para usarse de forma mucho mejor que MySQL u otras base de datos RDB y NoSQL:
– Encontrar todos los caminos entre 2 saltos de distancia (http://docs.neo4j.org/chunked/stable/cypher-query-lang.html)
– Encontrar amigo con el que tienes más amigos en común. Como también dar recomendaciones de grupos o música.
– Encontrar el camino más cortos entre dos elementos.
– Dijkstraa con DEX: http://architects.dzone.com/articles/graph-databases-features-graph
– Poner pesos entre diversos nodos con un coste. De esta forma podemos buscar el coste más pequeño entre nodos de distintos intereses entre todos . http://docs.neo4j.org/chunked/stable/tutorials-java-embedded-graph-algo.html
Ejemplo simple de un HelloWorld con DEX

public class HelloWorld {
DEX dex = new DEX();
GraphPool gpool = dex.create("/tmp/image.dex");
gpool.close();
dex.close;
System.out.println("Hello, World");
}

En la web de DEX podeis encontrar muchos más ejemplos. (http://www.sparsity-technologies.com/dex)

Las alternativa a DEX

La más conocida y más utilizada a parte de DEX es Neo4j. http://en.wikipedia.org/wiki/Neo4j . También tiene varias versiones como DEX. En el caso del Neo4j, tiene 3 versiones:

  • Comunidad está licenciado bajo GPL, y contiene toda la graphiness impresionante que deseas
  • Advanced es AGPL licencia, y agrega capacidades de seguimiento para su base de datos
  • Enterprise es también AGPL licencia, y agrega el monitoreo, las copias de seguridad en vivo y alta disponibilidad.

A parte de DEX y Neo4j que son las más utilizadas también hay muchas otras más, os recomendamos la siguiente lectura: http://jasperpeilee.wordpress.com/2011/11/25/a-survey-on-graph-databases/
Y por cierto, esta imagen hace un muy buen resumen y clasificación del estado del arte de como esta actualmente el mundo del SQL, NoSQL y el Big data.
451db_map_06.13
Ref: https://blogs.the451group.com/information_management/files/2013/06/451db_map_06.13.jpg

Categories
General Security Social

Videos del I Congreso de Seguridad en la Red. (UOC-Con)

.
El pasado 4 de Junio se celebró en Barcelona el I congreso de seguridad en la red (UOC-Con) organizado por la UOC. Las charlas, muy interesantes, se enfocaron a ciberguerra y ciberespionaje.
Sin más os dejamos los videos de cada  una de ellas, no tienen pérdida.




Jesús Luna García – Generando Confianza en el Cloud



Vicente Díaz – 2013: Del cibercrimen a la ciberguerra



David Barroso – Ataques dirigidos a activistas



Chema Alonso – WorldWar III