Categories
General

¿Hacia dónde volaran las nubes en 2014?

Es el momento del año para hacer balance de como ha ido el 2013 y hacer previsiones para este 2014 que empezará en breve. También es el momento del año en el que muchos nos ponemos hacer predicciones sobre los temas más calientes que nos pueden afectar, desde cloudadmins no vamos a ser menos y repasaremos a continuación las posibles tendencias que pueden revolucionar el sector TIC en 2014.

  •  NFV & SDN (Network Functions Virtualisation & Software Defined Networks) SDN se está posicionando como solución de entornos productivos cada vez más flexibles, eficientes y altamente programables, es el caso de iniciativas abanderadas por OpenStack y OpenDaylight Projects. Al mismo tiempo es posible que NFV gane importancia y dirija nuevas funcionalidades en nuestros ISP permitiendo administrar los servicios dentro del cloud, reduciendo drásticamente costes e incrementando su agilidad. Estas pueden ser las tecnologías más disruptivas del próximo año.
  • Big Data: el uso de dispositivos BYOD y la explosión de contenido multimedia de altas prestaciones esta causando grandes retos en el ámbito del almacenamiento de datos y como definir su estrategia. En 2014 debemos preguntarnos cuestiones fundamentales sobre los volumen de datos ¿Cuáles son los objetivos de la arquitectura de almacenamiento? ¿Estamos almacenando los datos correctos y de forma adecuada? ¿De que modo les podemos sacar el mayor provecho? ¿Pueden ir de la mano con técnicas de BI (Bussines Intelligence) y/o Inteligencia Operacional? Para los que estamos más verdes en este tema la siguiente presentación puede introducirnos y aclararnos el concepto de Big Data: “Runaway complexity in Big Data. And a plan to stop it
  • Private Cloud: Estos últimos años hemos visto en el sector TIC la adopción de forma exponencial de tecnologías Cloud. Nadie duda ya de los beneficios nos aporta: pago por uso, flexibilidad, disponibilidad, etc… pero las preocupaciones en cuanto a la seguridad y privacidad siguen presentes. Aspectos que hacen que muchas organizaciones requieran que se implemente una nube privada, antes de dar el salto hacía proveedores de servicios cloud públicos.
  • LXC & Configuration Management: A estas alturas podemos decir que ya hemos vivido la eclosión de herramientas destinadas a la gestión de la configuración (puppet, chef, salt, etc..) y vemos como emerge una nueva forma de gestionar recursos a través de LXC (containers). Algunas herramientas como puppet ya se han subido al carro, dónde Dockers se posiciona dando solución al nuevo enfoque de los sistemas frente a los restos del “futuro” PaaS.

Para finalizar os dejo una píldora con las mejores herramientas, en el ámbito de la seguridad, de este 2014 gracias a Team Cymru. Buen despegue de año!

Categories
Bigdata General Hybrid Clouds OpenSource

Storm Project una "alternativa" a Hadoop

StormProject es una alternativa a Hadoop creada por Twitter y liberada el 2011 como Open Source y cada vez más adoptada por muchas compañías del mundo.
Storm permite crear una forma fácil de escribir y escalar cálculos complejos en tiempo real en un clúster de computadoras, garantizando que cada mensaje sea procesado. Este consigue tolerancia a fallos. Además permite crear gran cantidad de topologías con senzilles en un clúster usando casi cualquier lenguaje de programación (Clojure, Java, Ruby, Python, … )
Storm tiene muchos casos de uso: realtime analytics, online machine learning, continuous computation, distributed RPC, ETL y muchos más.
En definitiva es escalable, tiene tolerancia a fallos, garantiza que tus datos sean procesados y fácil de instalar y operar.

Alternativas

Un clúster de Storm es superficialmente similar a un clúster de Hadoop. Considerando que sobre Hadoop se trabaja con “MapReduce” y con Storm se trabaja con “topologías”.
Entre Hadoop y Storm hay la similitud que ambos procesan la carga de forma distribuida y fueron diseñados para distribuir el proceso entre una gran cantidad de máquinas, de esta forma pueden repartir y dividir la carga del trabajo.
Pero Hadoop no fue diseñado para trabajar con los datos en tiempo real sinó para dejar los procesos en batch, mientras se tiene que esperar que el trabajo MapReduce termine antes de cargar los resultados. En cambio Storm si ha estado pensado para trabajar de forma instantánea en tiempo real.
data:image/jpeg;base64,/9j/4AAQSkZJRgABAQAAAQABAAD/2wCEAAkGBhQQERQUExQUFBQUFhgXFhYXGBQaGBQWGBUVFhYVFhgXHCceFx4kGRcVHy8gJCcqLC0sFh8xNjAqNSYrLCkBCQoKDgwOGg8PGiwkHyUsKiksKiwtLSksKiktKSksMCktKiwsLCksKSwuKSkpNCkpLSwsLCwvKSwsLi4pKiwpKf/AABEIALQA8AMBIgACEQEDEQH/xAAcAAABBAMBAAAAAAAAAAAAAAAAAQUGBwMECAL/xABIEAACAQMBBQUEBgYHBwUBAAABAgMABBEFBhIhMUEHE1FhcSKBkaEUIzJCUrEIYnKCkqIkM0NTssHCY3ODs9Hh8BY0RJPSFf/EABsBAAEFAQEAAAAAAAAAAAAAAAABAgMEBgUH/8QANREAAgEDAgMFBwQBBQEAAAAAAAECAwQRITEFEkETIlFhcQYUMoGRobFS0eHwwSMzYsLxFf/aAAwDAQACEQMRAD8AvGiiigAooooAKKKKACiiigAooooAKKKKAEJqsNY2xuTOixq8ksxJtLJDufVA4+l3sn2lU/aCAjhjPHlZdzKqIzNwVVJY+CgZPyzUe2R0Ep3t3Ov9Ku235M84o/7K3HgEXdz4tnyoAXR9nJziS+uWnk592mY7ePyVFwZPVyc+Apz1nX7eyj37iWOFem8QM+Sjm3oBVa9pfbYtozW1juyTrkPKeKRHqqj77D4DzPAQrQuyfUdXf6TeyNEr8e8my0rLzG5Hw3R4ZIHgKSUlFZYEv2i/SKgjytnC0x/HIdxPUKMs3v3aiQ7Q9e1M/wBGWRUJ/sIsKPLvHz82q0dB7JNOsQCIRPJ+OfD8fJMbg+FSkeHIDkByHkBXEvuMQtnyxWWSxp5KHGxm0UvtNPOpPRrsj5K+BXv/ANP7SWntJNO/kLgS/wArsavWiuK/aKvn4Y/f9yTskUvpPbpfWcgi1G23/E7pilA8cH2X+Az41cGy+2drqUe/bSh8faQ8HT9tDxHry86wavokN3GY7iJJU8GGceanmp8xiqc2r7MrnSpPpmmySFU44B+tiHXl/WJ5Y9c867FjxujcPkn3ZfZ/MjlTaOhgaWq27Me1+PUQsFxuxXeOHRJ/NPBvFfh4CyM13iIWiiigAooooAKKKKACiiigAooooAKKKKACiiigAooooAKKKY9rtr4NMgM1w2OiIMb8jfhQdfM8h1oAeXUMMEZHhVTdtXad9EU2Vq+J3H1rqeMKEfZU9HYdeg8yMQ9tsNZ1+ZltC8EK8xExRIx07ybgzE+HXoKcdO7CbnvBNNeoJAwfeVGlO8DkEmQjJ4DmDVWveUbf/ckkxyi3sO3ZB2TrCqXl4mZmw0MTDhEOauyn7/UD7vryt4VD7TZWYY73Ub2XxAaKMH+BMj4092loIuTSE+Lu7E/xHFcGvxmhnKy/75kips37rpWvWQy7wwedYs1nOIVY1KvaQejJoLCwLSUUVzHIeFeSKWkqNyFKk7R+yvfc3NkNyXO8UHAORxyp+6/Xz8jW52c9tPEWmpnu5FO6s7DGSOG7OPut+tyPXHM2Pc2wfmTw8MVCNquyOC9Jk72VZsYDEqw4cgRgZHv94rV8L4+qcezuXp0ZBOlnVFqJIGAIwQeII5EdCPGvdc6aRtPqOzUywz5msycBckgDqYWP2Gxx3DwPzq/NE1qK8gSeBw8cgyp/MEdCDwIraU6kakVODyn1KzWDfooqI7Z9p1npTBJmd5WGRHGAzBehbJAXPTJ408CXUVDtle1aw1FxHFKUlPKKUbrN5KclWPkDmpgKAFooooAKKKKACiikJoAWim/Wtegs4jLcSLEg6scZPgo5sfIcapzar9IdiSmnw46CaYZJ80jHL94n0oAvItio5qvaLp1twlu4QR91WDt6YTJHvqjBszr2te1MZu7b++buo+fMR8M/w0+WP6PHdoZLu9RFUFn7tOAUcSTJIRgAfq0x1Irdi4JXqX6Qenx/1azzHjjCBAT04uQQPcaq/TrG82o1AvIxWNcb7cdy3iycRoDzY8cDqck9aabHZNNR1D6Np3eNCP7WXBIQH2pnCgBRx4Lz5Dma6S2e2dh062S3gGFXizH7Ujn7TuepOPcMAcBVS9vI21Jze/QWMcsTTdMt9PthFEFihiUsSSOOBlpHbqepP/aqx1zt73ZCtpbd4mSqySFhvnh9lFGeo654jgKkPaXO9y0GmxMVNwe8nYfct0PH+JuA/Z86YdF2UR9UkbcAgsVjit4+neMocv5kZ3iTzLDwrNUFSmncXXebTaXlsvqyZ5WkR+07UtYnwZBZ2wboEklkGfEF90H1NS7TraVV+tlMjfsovwCjA/8AONZ7W2CDzPM/5Vnrg3Fyp6RikvJEqQUE0Uhqg5DiL7Q7ZGKdbO2jE9243t0kiOFfxysOOP1RxPDxFPenW8ir9bJ3jnngBUHki8wPUk0wbH6EY5ry5kH1s9xJxPMRoxWMDy3Rn3+lSrNWruVOnilSWyWX4v8AZCRTerFJryTQTWOOdWzukHBwcEHBHMcOtc153HnvNITSE1huWYKSgBbHAEkAnzIBNMWrwKM22Ggx3cDRyDIYYz1U/dceYNVj2V7TyaRqLWFwcQzPuceSSnhHKv6reyD6jwrztztLrG68uGitEkKCSJd1GYNu5JYlyN4EA8qglzqU2oSRAhpLnIRWAUF1+6DjHEHPtHoemK9I4LZ17Sn/AKkk4vX0/vUp1JKT0OotuNuINKt2kkYGQg91Fn2pW6cOYXPNunrgVR2x2yzatNLqOoEmEsScnd75/wAIP3Y1HDh4Y6HGSDYGPe+k6rfox5siy77t+q0hPyUH3VLrOGTVNyKOI22lxgDiCrXCjlHGvNYz1Y8Tx8aff8SXZtUXhdZ9EvCPjJ9MCRhrqQ/bnYaJLZL+zUxLneMYLcE3sJKmeKnkefIg8KuHsm2sOo6dG8jb00RMUp6sygEOf2lKn1zXjXtPWa3eIgbjKUIHRWG7wHTHT0qtf0ftTa3v7mzc430Jx/tIWIOP3Wf+EUnAr+V1SlGTy4vTxw9gqx5WdAGsCXis7ICCyY3gPu54gN4Ejjjnjj4VXmpbc3FwUitMLJeyPFa5APdwRNuzX0g8yG3F8BniTgPur6xbaBY7zlmxnAJzLczHizMx5sxyWY8h7hWhIiT3V2kSF5GVEUZZmIVVHiSeApo0DbS1v3kS1l73ugu+yq24N7OAGIwSd08vCqB2pvL/AFa2kv7tzFaKQLeEZ3ZHY7qhF+9jjmQ+Bx5Tr9H+8SJLqyeNo7qOTvJN7my8ExjpukY8PbB60yM4yykxcFw1B+0XtRg0lNzhLcsMpED9kdHkI+yvlzPTxr12odoa6TbeyVa5lBEKHp4yOPwjw6nh44qfs37N5NYma9vmcwFySSTv3L54jPRByJHoOXB0pKKyxDS0nZvUtpp+/mkIhBwZWB7tB1SFBzPkPeauvZLs0stNAMUYeUc5pMM+f1TyT93FSS1tUiRURVREGFVQAFA5AAcq9tKBXNr3KSzJ4Q9I91RPaZtvLqtyNM0/LoW3ZGU8JnB4jPLu15k8iRnkBmQds23zwRrZW2e/uBht37SRsd0KuPvOeA8s+Ip87LOzldLg35ADdyqO8b+7HPukPgOpHM+QFLRnFw7Xx2/cH4DhsJsTFpFr3a4aVsGaTHGR/AeCjJAHv5k09msk8mT6Vp3rERvg4O6cHwOOB+NY3il47ityp6LT+SxCOERTQbT6RdXN0ecz93EfwwQkoMftOGbz9nwp/s9OCSuR1wxPid0KD8Fr1o1kIo1CjAChVHgqgAflW+F4k+OPlVG5uXKTS22+SHJC1oLqgN01v1WFZfc0jIP8Nb5qAWuo42knQnh9DjUeu8j/AOo1FbUu1VR/pjn8Ct4wT+kNGa8k1z3IeeY1xnzJNRTtC29TS4MjDzyAiKM/N3/VHzPDxxK3J6c+mfGq92m7Oo7l0edjI7zRtLJxH1QOGhjH3FCk49M5JrocNjQnXXvD0zt4+vkMnnGhS2q7ZXd0+9NPI/HO4SRHzzjuxhce6rr7N9vIri0HemKAxncIyiJnGRuAkYBHQciDTFtVsRa6jcrDpsCwpASs9yue7YjA7tF/tGU82yADkcamuy/Z9aaeB3cYaTrK+Gb3Z+z7sVp+OV7HsVRfxLVKONPXoiGkpZySOKYOAynIPI8ePxr0TRmo9tVA9yYrRHZFly07qcMtumAyg9C7Mq+m94ViaNJVaijnC6vwRZbwiO7YalYyRtbXGqOseeMMPdEfa3sMVjYnB8WqB6PY21lrNibWfv4XYe0SpIL76YOAMdDxGeNTDVdl0uL1dOt1FvaQxLLcmMAPKWPsRs/M5GDxz948cCse2GyVva3ek/RoVi/pO627nLAGNgWJ4kgK3xNbW3uacYqi5yfNB6PGEuV4bwtH5ZZWknuWLLpULNvtDEz9HMaFvXeIzW0TRSViJSk9GyyYrkZRvSqV0yT6HtRGRwEk4HqJ03f8TVdknI+h/KqM2/budZtpfDuH/glx/prUey9TFxKPiiCutC4dmtAVNUuGx7Npa21pDnHAFDLJ7z7H8RqudpEOtbRm2kJ+j2u8pXJ+xGA0mPN34Z8MeFXrb2QR5XHOVgx/dRU/JRVLbc2jaLraX4G9b3hZZB+EsFEo/Jx44I6Vuq/P2cuTfDwVluZO3O63bG3jTCKJhuqvAAJG+AMeGRWp2X282n6nezagxUQ2gaSViSGV2iMZyeLZVSB1JGOdNHaZqofVIorwMtpAA4CDeaZWwzEchliu5zwMU2doW3NzqymXuu5s1YIo/vG9oqHfH1jD2zujguT1OTV4fT7O3jnd6/UWTyzY0y0l2n1hnk3lhB3n/wBlbqcJGD+I8vUseldH2lqkMaxxqERFCqo4BVHAAVCuxzZQWGnIzDE1ziWQ9QCPq09ynPqxqYyy59Kp8SvlQX4Q+EciyTk8qb9W1NLaGSaQ4SJC7egHIeZ5e+tuqv7fNXaKzihXIE8h3vNYwDj+JlP7tZSi531zGE3u/oiZ4isoauyPSH1TUZ9UuBkRv9WDxHekeyB5Rpj3lau6eTA86j/Zzo6WmmWqL1iWRz4vIokY/wA2PcKeJHya7/F7xUKfJDRvReSI6ccnmtW4XfYL0HFv8hWyxryi499YjmxqWD0BRRSVC5DgNVHq9z3O1Cn+9hUD/wCrh81q2zVPdrg+j6pp9zyBwpP7Eo3v5ZK6/BXz1p0/1Qkvtn/BHU2yW+GyM+NBNa1hJmMeXD4VnzXCno2iQK1tRh342XiCw3cjmM8Mg9D59K2M0lJGTi8oDW07Tkt41jjUKqgAAcBw/wDPnWxmgmkzSyk5PL3AKxLAAzN95sAnyXOB6ZZj7zWTNITQm0KNGjWG7NdzHnNKAP2IkCL89/41oa3B3upWC9IVuJz/AAxxp82NSUcK047ACd5jxLRpGPJFLOfizfyir1O5xUdR78uF9OX8DHHoblJRmkNUhx5lPA+h/KqJ7Yf/AHtv49yP+dJV5XTYRvSqQ2/X6RrNtD/uI/e8mf8AXWn9mot3WfJkNbY6bqHdquyDalp7xxjM0ZEsQ8WUEFc+alh6kVMaK9DKhzjZdoFoYo4tTtGe4th3eWRWPs8MEMQVbgMgjGRmsUmtrr2o2NrHEYrdHJKHd4qMM/spwUbiboxnma6A1LZm1uW3p7aCVuW88aM2OgyRnFUb2MwLJrt1IAFVEnZAAAFDTKgAA5DdbFUvdadNuos51xrovRDst6F8XBwMCtevczZJrHXn/ELh1a0n0WhagsIKhXaxsmb+xPdjM0B7xB+IAEOg8yvLzUVNa8SJkEeIqpb3EqFWNSO6Y5rKwV72NbeC5tRZynE9uuFz/aQjgMea8iPDB8cWHVFdouz8mn3Kaja+wQ+ZAOSSZ+1j8L8QR4+tSrW+0s3FnbJZf+8vgFVQf6jjuyMfDDZAPgCeld/iVtK+nTr0fhlo/wDi1q8+RFB8uUyYRap9KuHjj4w25xM/R5uYhU+C/aY+O6v4qe802bOaGllbRwJxCDi3V3PF3PmWyacs1mLmcOflp/CtF5+fzJ4oXNeSaM0hNU2xwZqqe3+DNtaydVldf4kz/oq1DVX9vsoFnbr1M5PuETg/4hXX4G37/Tx5/hkdX4WTrZy534gfFVb+JQadaYdmV3URT0iQe8Ko/wAqfc1z7qKVWWBy2A0maDSVXHBmkJoY4rBBepJkI6PjnusrY8jjl6U9QeM4EM2aTNFJSChRQa85oEFpKM15ZsU5AauoSYAHv+FU7sIn/wDS2jEo4okjzZ/UiGIz5ZO58alfahtR9GtmVTiWcFEHUL99/cOHq3lW7+j1soYbaS8ce1cEJHn+6Q8SP2n/AMArfezdo6dN1pddF6dSrWll4LdooorVkAhrnzsG4areA8+5k+VxHmugzXPPZu/0baW4iPDee6j/AJy6/JRUdX4GKi8SeNFBpK8kqS7zLyDNJRRUDkOI1tvYxtazmX+qMTb58MKSGHnkDHmBVddg+ywZpL1x9j6qL9ogGRvcCF/eapx2tyONJuNwE53A2BnCb67xPgMDnTb2J6tC+nLCjDvYWYyJ1G+xKt5gjhnxGK0VCrVhwmpKHWXL6Lx+exC0nNFhUmaM0mayzZOBNJWK5uliQu7KiKMlmIAHqTwFVttH22RI3dWUZuZCcBiGEef1QPak+VXLWwr3bxSjnz6L5jZSUdyzqprtZuheanZ2S8RGRv46GRlLD3RqD7zWEx67f+1JMbZD0B7vA8ljG/8AE047LdnjWtz9Jmn7+TBxwbO8RjeLMSW4ZHKtBZ2tLh0nWqVYuaTwlrq/Mik3PRIn+mn6we/8qeDTXpceWJ8B+f8A2rDr9zPDiSBRJjg0JON8fqN918cs5B5Hoaz8odrU5U9fMl2Q815Jph0Lbi1vDuI+5MODQS+xKp6jdP2vdmn6oqtCpRly1E0/MVNPYi20WifT7uKKTJtoY+8kTJCySO5VA2OYVUY4/WHjWHT9urOG4ksn3bV4X3FBwsbjgQVYYCkgjIPzqWheJ8Tz8+g+XCuYdu9QE+o3Ui8jKwHmFwmf5a0XCrZcRzRqZUYx0x0ed/B51Iaj5NUdOo4YAggg8iOIPoRzorlbSdo7m1OYJpI/JWO6fVeRqfydp+p2JVbuFG3hvLn2WYeIKZHxFPuPZqtB4pzTzsnowVZdS6aKqi27doyPbgkU/qmNvz3ayS9uMGOEU+fSIfPeNUHwO9TxyfdDu1iWe8gXnwqO7U7WxWkReVsD7qD7cjeAH+fIVWt72t3Nw25aW+HbgPtSuf2VAx8jThs72OX+pSifUXeFDjO8QZmH4VXlGPXl4GuxY+zk+ZSuHheG7I5Vl0GbZrQLjaTUC8mVgQjvGH2Y4weESH8R/wCrGumbO0SFFjjUKiKFVRyVVGAB7q1dC0GGyhWG3QRxryA5k9WY82J6k041toQjCKjFYSKwUUViubhY0Z3YKigszEgBVAySSeQpwGLU9QS3ikmkOEiRnY/qqCx/KuTdI2qddUS/kzxuRJIeJADsd9R+4WA9KmHaL2jza1OLKxDGAtugDg1wwP2m/Cg5gHwyfAbevdmf0TSHjyHnUi4Zhy3lG66L4gJvfnVK5vKVCUac3rJ4x/kcot6l1MeJxypKiHZbtF9N06Ek5khHcyeOUACn3pumpdmvLr6DpXE4Po2XY6pMWkopCaoNjzzIgIIIyCMEHkQeBBHWqc2r7PbjTLj6dpe9ugktEvFox94Bf7SM/h5j5i480lX7HiFSzk3HVPeL2aGyipFVaP29QlQLqCRHHAmPDIT6MQy+nGsmq9u9uFxbQSyyHgu/hVz04Alm9Bj1qb6rsda3JLSQRMx5kopJ9+M/Otew2KggOYo4oz4qg3vjzrp+8cKb5+yefDOhHifiVj/6e1HWGEl/KYYc5WMDGB+rHyU+bcanGz+yUFoMQRYbkXPF29WP5DAqVxaag55Y+f8A2rZAxwHAVBc8XqVY9nDux/StF/IsaaQ2RaWx+0QPma2F0xPM++tvNJXJdWTJMHiKEIMDlXi6UFGz4VlzWrfvhD58KSOXJAV92i6NbvaTTyRr3saZSQcG3sgKCR9oceRqGbE9pVzYlPpHeTWshIBbJK7uAxiZueMjK8uXI4qS9rd
/i2jgXi88gGBzIXj/AIigps7KbKK7N3pF4vBsyRHhvRTx5SQxnoSuD4EIfGvReFW0biy5K+qbeM9Ftp4FSpLEtC3YNTSe376BhIrIxRhyJwcDyOeGOdcqzW7gBmVgG5MQcN44J58asWaLUNl7kqR3ts7cDx7qYeIP9lJjp5feArci2301t50e9tC5LPDGI2jZzxJAYMoyfDd9BTbKzq8LnNRi5xljDXlnR9eu+AlJTxkhexmy0t5cR4Q90rqZHI9kKCCRnqTyx51NbKBdX2ijTAkgtzluqlIss2ehBkIHgc+dal1ttc6ifomnRSksMFzgyleRJ3fZiXxOfeKtzsv7OV0mAlyHuZcd645KBxEaeQPM9T6DHWoQq1Knb1ljCwlvjO7Yx4xhDrddnGmyHLWVvnyjC/4cVjh7MNMQ5FlB71z8mJqUUV0BhqWGkQ24xDFHEPCNFQfygZraxS0UAFFFFAAaqX9Iq7lSxgVGIjkmIkA+9hCyKfEZDHHiBVtVEe1PZc6hps0SDMq4kiHUunHdHmy7y++gCGdiezsEdkt0oDTTFgznmiqxG4vgOGT41PNUtt9Dwzjp4jqKp3sR2yELtYzHdEjb0JPDEnJoznlvYGPMHxq7c15jxqNajeylPPin5fxsXaeHHQpTYq7Oj6xJaOcW9yQEJ5ZJJhb4lk99XXmqq7VNmvpUBliH1sBLLjm0fNlHpjeHofGpL2Z7YjUbMFj9fFhJR1Jx7Mn7w+YNS8Tp+9UI3kd13Z+vR/MSHdfKyX0maM0lZkmDNayXYMrR/eCq2PIkj8x862KgG0O1sVhqsbzMVie3kQkAnBEiMvAehHvq5aW0riThFZeG18hsngn9IaikfadYNyuI/e2PzFLL2i2Y/wDkQD/iA/lT/wD59zs6b+jDnRKSa1LW7Ejvg/YIXHmQGyfcRULv+1KyA43IbyjVz/lW12X6j9Jt7if+9upGGeYUBFUfwhasS4dVpUJVakWtksrG43nTeETM0maM0lcwkCm7UpOIHhx+NODNgZ8Kie1GvLawSztjgPZH4nPBV+P5GrVrSlUqKMd3oNk8IhE/9P10Lzis1z5by8f+Yw+FNu1znS9ZhvE5MyzYHXB3ZV94z/FUg7K9KZYJLmTjJcuWyeZUE8fexY/CmvtrT2bU+co+IiP+Vbe1r8l/GhB92MeX5pZb+pWa7uToSe3juI911SSNwDusAysDgjIIwajD9kWlFt76HHnwBkA/hDYp52QfesLQnmbaA/GFKeK1RAaGlaJBaJuW8UcS+CKFz5nHM+tb4oooAKKKKACiiigAooooAKQ0tFAFI9rvZC7O97YqWZjvTQqPa3uZliA5k8yo454jnUZ2T7WGjAhvN4gcBKM7w8pF6+o4+Oa6TxUM2u7J7HUiXeMxTHnLFhWY+Lgjdf1Iz51VurSldQ5Kqz+V6DoycdiI3W3tkkRkFxG+BkKpyzHooXmD61GuwiIyXd3NjA7sDA4KDJIWAA8gjU09pPZVHo8SSfSzK0r7qRmIKcAZZiwkOcez937w5VO+w7SO609pSOM8hYfsINxfnvn31m+I2lLh1hUUG254Wv8AfUmhJzkixaSisc04QcT/ANa8/wANvQtCzShVJ8KortjkU3NqG4+wxYDngycfyPwq19V1YKjO53I0BY+QAySfGqo2R0iTaDV++cEW8JV38o1P1cXqxBz+8elbH2btJds6vRL7voV60tME9l/RzsScrPdL5ZiP5pVK7S2FqtwYbEzzBWKd4+4e9bOPq0Rc4zyOSTnkOvXl1Dvoyg43lIz4ZBGfnXL/AGVYt9YSOYYcd7EM/dlAK+45BHvrb3FV0qUqiWcJvHoVksvA6bG9i8s2JL3MMfMRD+tf9r+7Hz8hzq2tntm47FZEh9mJ37xU4ncJRVYAnoSuffTqaRmxzry+94rcXjam9P0rb/3zLsaaiLSE15aUAZyMU3XV7vcBwH51zoU3Jj8nq8u972Ry6+dVFtFdNrGoJaRH+jwkmRhyJHCR/d9lfU+Nbm2/aIvG1tDvSOdxpQQFXPAqjHgT03uQqQ7C7KrYW+ODSyYMjjiPJFPgOPqeNaq2oPh9Ht5rvvSC/wCzIJPneESGCBY1VFAVVAVQOQAGAPgKr3toiJgt2xwEjAnwyox+RqxqhPa3eKtj3ZI3pJE3R19kkk458OWfOq/CnL3yDxnX8izxylqdnl6s2l2TIcgW8aH9pECMPcVIqR1XnYREV0eLOfaklK+m/jh7wasOvRSoFFFFABRRRQAUUUUAFFFFABRRRQAUUUUAc7fpGPJ9PgDZ7sW/seGTI+/7+C+7FWF2c69b3FjAkDLvRRIjx8N5GVQGJHMgtk55calO1uxdtqkPdXCZ3SSjrweMnmVPwyDkHA8KpjWOwC9t337OdJQOK8TFKPfnd94Yegrl8U4dG/pKm5Yw8ofCfK8lzGmnVGBYY6Dj8TVMT6xrum8J1uNwdZUMiY/3gyP5q92/bTKP6y3jY+Kuy/mGrIv2buqUsxal9vyWO2iyS9rE5XTyAcb8iKf1hxOPkDUr7AbNE0kOq4aSWQufxbp3F+AAHx8apXabbSfVjHCkOBvZWNN53dyMDpx5ngB1rpDs92faw063t3ADqmZMfjcl2GeuCce6tdwq1na26hPfLZXnLLyiRGue+3HZF7O8XUIMqkzAsw/s7heIPlvYBHmGroWm7X9DivbeS3mGY5VwfEHoynoQcEeldN+Ywg+xu2iX9qkp9l/syKOjjn6A8CPI043d5v8AAcvzqkMXOzl+0cgLRnnzCzxZ9mRPAjj6HIqxLbtAsXj3/pCKMcVbIYeRXH5V5/xHg0qFZypRbi9sa48i3ComtR7u7xIUMkjKiLxLE4A/88OtVVtHtvcanKLSxR91zu4UfWTeOfwJ/lzNae2u1j6pNHb2yu0e8Ai49qaQ8AcdPAD1PpfXZ52ew6VAoCq1w6jvpeZZuZRSeSA9OuMmu9wrhEaMVVrLvdF4fz+CKdTOiK7tf0cC1spe63Lk8WAQPEo6IOIYkdW5eXUt7fo6Xqn2Lq3x/wAZfkFNdB0VoyE58H6Puoj/AOXb/wAdx/8AitzTP0c5mkBurtNzr3QdnI8A0gAX1wfSr3opEktgNPStLjtYY4Yl3Y4lCqPAD8z1J6kmtyiilAKKKKACiiigAooooAKKKKACiiigAooooADSYoooAMU2Xmy1pMcy2tvIfFooyfiVzSUUAZNO2etrbjBbwxE8zHGik+pUZNOAFFFAC0lFFADNtRsjbalD3VzHvgcVYcHjPijdPyPXNcz6xsjFDqBtlaQx727klN7GfELj5UUUAdAbD9mtlpyrJDGWmK/1shDOAeYXAAX3AVMcUUUgC0UUUoBRRRQAUUUUAFFFFABRRRQAUUUUAFFFFAH/2Q==
Tened en cuenta que los Sistemas más comparables con Storm no son Hadoop sino soluciones como Esper, Streambase, HStreaming y Yahoo S4. De estos el que más se asemeja es el S4 aunque Storm con comparación a este garantiza el procesamiento de los mensajes. Además vemos que ha salido el proyecto que es un híbrido Storm-Hadoop creado también por Twitter.

Funcionamiento

Storm se integra con tecnologías de gestión de colas y de base de datos que la mayoría ya conocemos y usamos. Una topología de Storm consume flujos de datos y procesa aquellas corrientes en formas arbitrariamente complejas, volviendo a particionar las corrientes entre cada etapa del cálculo.
Para aprender más de su funcionamiento les recomendamos los siguientes enlaces:
· https://github.com/nathanmarz/storm/wiki/Tutorial
· http://www.albertcoronado.com/2013/08/14/storm-framework-para-procesar-grandes-cantidades-de-datos-en-tiempo-real/
· https://blog.twitter.com/2011/storm-coming-more-details-and-plans-release
Básicamente veréis que Storm utiliza una cantidad reducida y simples de primitivas conocidas como: nodo (workers), streams, spouts, bolts, workers y topologías. Con estos elementos, el framework se encargará de repartir el trabajo entre sus diversos recursos.
A Storm topology

Rendimiento

Storm es muy rápido, permite procesar millones de mensajes por segundo en un pequeño clúster.
Se ha visto que tiene un rendimiento muy alto ya que puede procesar una gran cantidad de mensajes con una latencia muy baja. Storm puede procesar un millón de mensajes de 100 bytes por segundo en una computadora con Intel 2x E5645@2.4Ghz y 24GB de memoria.

Dependencias tecnológicas para hacer funcionar Storm

Storm se basa en las siguientes tecnologías: Apache Zookeeper, un gestor de colas de mensajes como ZeroMQ, Java, JZMQ (Java Binding for ØMQ), Python 2.6, etc. ZooKeeper es usado para gestionar los distintos componentes del cluster.

Para instalar Storm se puede utilizar GIT y Maven. Además este permite crear fácilmente entornos de desarrollo en un solo nodo de esta forma se puede desarrollar y testear topologías en local. En los siguientes enlaces se explica como instalar Storm con ubuntu, centos, on a single machine y basic installation
Una curiosidad que a nivel Cloud nos encotramos el sub-proyecto que permite arrancar un cluster Storm dentro de Amazon Web Services ( Setting up a Storm cluster y storm-deploy ).

Más información en:

· http://storm-project.net/documentation.html
· Storm Wiki
· https://github.com/nathanmarz/storm/wiki/Creating-a-new-Storm-project
· http://www.infoq.com/news/2011/09/twitter-storm-real-time-hadoop/
· http://www.javaworld.com/article/2078672/open-source-tools/open-source-java-projects–storm.html

Categories
General

Cloudenlaces – Diciembre 2013

Recuperamos los enlaces más interesantes del mes de diciembre:
– Testeando el balanceador con Honeypot Daemon
– Como simplifican los aprovisonamientos en Yammer con Deploymacy
– Una presentación muy interesante sobre la adopción del modelo de entrega contínua en la empresa
– Testeando CLI con RSpec y Cucumber-less Aruba
– Por último os acompañamos a que rellenéis una pequeña encuesta sobre un tema que en algunas ocasiones chispea… por no decir chisporrotea.
¿Quién es el responsable de la seguridad de una aplicación?

Categories
OpenSource

OpenvSwitch y OpenNebula – 2a entrega

openvswitch
opennebula_logo
Siguiendo con la serie de posts sobre OpenvSwitch y OpenNebula en los que vamos viendo la integración de OpenNebula con Open vSwitch a través del driver, vamos a ver en esta entrega cómo poder aplicar firewalling con OpenNebula al driver de OpenvSwitch.
Para empezar, vamos a ver como se configura el firewalling en general con OpenNebula, en este enlace podemos ver mas detalles. OpenNebula tiene cinco campos especiales a la hora de crear una màquina/template que són:

  • WHITE_PORTS_TCP: Se filtran todos los puertos tcp menos los especificados por el parámetro, para especificarlo se hace con “:” para rangos de puertos y con “,” para puertos especificos. Así pues si queremos filtrar todos los puertos menos el 22, el 80 i del 2000 al 3000  se pasaria la variable de la siguiente forma: WHITE_PORTS_TCP = 22,80,2000:3000  
  • BLACK_PORTS_TCP: Se filtran sólo los puertos tcp especificados, para especificar los puertos a filtrar se hace de la misma forma que con el WHITE_PORTS_TCP, però en este caso el funcionamiento es el inverso, és decir se filtran todos los puertos especificados y el resto se dejan abiertos. En caso de especificar tanto el WHITE_PORTS_TCP cómo el BLACK_PORTS_TCP, entonces se aplican sólo los WHITE_PORTS_TCP. Si quisieramos filtrar todos los puertos menos el 22, 80 i del 2000 al 3000, en este caso se especificaria de la siguiente forma:  BLACK_PORTS_UDP = 1:21,23:79,81:1999,3001:65535
  • WHITE_PORTS_UDP: En este caso el funcionamiento és idéntico al TCP pero con tráfico UDP.
  • BLACK_PORTS_UDP: También este caso es idéntico al TCP pero con UDP.
  • ICMP: En el caso de ICMP podemos optar por filtrar todo el tráfico o no, si queremos filtrarlo, lo especificaremos de la siguiente forma: ICMP = drop

Para la implementación de esta funcionalidad con Open vSwitch, en el driver actual de OpenNebula no se pueden especificar rangos de puertos, se tienen que hacer uno a uno. Se ha provado i si se crean máquinas virtuales con muchos puertos filtrados, tarda muchas horas en crear la máquina virtual y añade mucha carga adicional al nodo físico. Para solventarlo tendremos que actualizar la versión de open vSwitch a la 1.6 o superior, ya que a partir de esta se pueden especificar los puertos con mascaras. Con las mascaras podemos especificar un puerto y la mascara asociada, la cual cosa nos permitirá filtrar todo el rango de puertos a los que se llegue con esta. Si por ejemplo quisieramos filtrar del puerto 32768 al 65535, podriamos hacerlo especificanod el puerto y la mascara de la siguiente forma (en hexadecimal): 0x8000/0x8000. Aqui podemos ver como el numero 32768 equivale a 0x8000 (el primero) y el rango de puertos que estaremos filtrando irá del 0x8000 (1000 0000 0000 0000) al 0xFFFF (1111 1111 1111 1111)  és decir el 65535 después de aplicarle la mascara.
Vemos pero que si queremos aplicar un filtro que vaya del puerto 32769 al 65535 la cosa no es tan evidente, ya que tenemos que hacer un filtro que para el 32769/0xFFFF, otro para el 32770/0xFFFE, otro para el 32772/0xFFFC y asi sucesivamente.
Así pues el algoritmo para el filtrado con rangos de puertos será:
Para todos los puertos p:

  1. Calculamos la máscara máxima para no filtrar algun puerto ya filtrado o que no se tenga que filtrar
  2. Calculamos la máscara máxima para los puertos que se tendrán que filtrar a continuación, hasta encontrar alguno que no sea consecutivo
  3. Aplicamos la mascara más pequeña entre 1 y 2.
  4. Aplicamos el filtro con la máscara escogida
  5. p= maximo puerto filtrado en 4 (aplicando mascara) + 1

En el ejemplo de que quisieramos filtrar todos los puertos menos el 22,80 y del 2000 al 3000, las reglas correspondientes quedarian de la siguiente forma:

0x1/0xffff, 0x2/0xfffe, 0x4/0xfffc, 0x8/0xfff8, 0x10/0xfffc, 0x14/0xfffe,
0x17/0xffff, 0x18/0xfff8, 0x20/0xffe0, 0x40/0xfff0, 0x51/0xffff, 0x52/0xfffe,
0x54/0xfffc, 0x58/0xfff8, 0x60/0xffe0, 0x80/0xff80, 0x100/0xff00, 0x200/0xfe00,
 0x400/0xfe00, 0x600/0xff00, 0x700/0xff80, 0x780/0xffc0, 0x7c0/0xfff0,
0x7d1/0xffff, 0x7d2/0xfffe, 0x7d4/0xfffc, 0x7d8/0xfff8, 0x7e0/0xffe0,
0x800/0xfe00, 0xa00/0xff00, 0xb00/0xff80, 0xb80/0xffe0, 0xba0/0xfff0,
0xbb0/0xfff8, 0xbb9/0xffff, 0xbba/0xfffe, 0xbbc/0xfffc, 0xbc0/0xffc0,
0xc00/0xfc00, 0x1000/0xf000, 0x2000/0xe000, 0x4000/0xc000, 0x8000/0x8000

Así pues, vemos que con este ejemplo pasariamos de 64532 reglas para aplicar a 43 gracias a las mascaras.

Actualización del driver de OpenNebula

Una vez visto que es lo que tenemos que hacer para que nos funcionen los drivers para OpenvSwitch con mascaras vamos a ver las modificaciones que se tienen que hacer en el driver de OpenNebula para Open vSwitch. El fichero en cuestión se encuentra en /var/lib/one/remotes/vnm/ovswitch/OpenvSwitch.rb. Aqui podeis encontrar el fichero con las modificaciones que se han explicado en el post.
Para modificar el driver, lo único que tenemos que hacer és sobreescribir el fichero y ejecutar:

onehost sync

Una vez ejecutado el comando ya podremos crear máquinas virtuales pasandoles los parametros de filtraje como con el driver por defecto.
Oriol Marti
www.cloudadmins.org