Ver el código de «Apache Mesos»

{{Ficha Software
|nombre=Apache Mesos
|familia=[[Clúster_(informática)#Middleware|Clúster ]]
|imagen=Mesos-logo.jpg
|tamaño=
|descripción=Plataforma de custerización.
|imagen2=
|tamaño2=
|descripción2=
|creador= [[Apache Software Foundation]]
|desarrollador= [[Apache Software Foundation]]
|diseñador=
|modelo de desarrollo=
|fecha de creación=
|lanzamiento inicial=
|versiones=
|última versión estable=1.6.0
|núcleo=
|tipo de núcleo=
|plataformas soportadas= 
|género=
|sistemas operativos=
|idioma=
|licencia=[[Apache License]] 2.0
|premios=
|web=http://mesos.apache.org/
}}

'''Apache Mesos''' es un kernel administrador de [[Clúster (informática)|clúster]] de [[código abierto]] desarrollado en la [[Universidad de California, Berkeley]]. Mesos corre en cada nodo del cluster y provee aplicaciones (como Hadoop, Spark, Kafta entre otras) con API's para el manejo de recursos y planificación de tareas de todo el datacenter.<ref>{{Cita web|url=http://mesos.apache.org/|título=Apache Mesos|fechaacceso=1 de julio de 2017|sitioweb=Apache Mesos|idioma=en-US}}</ref><nowiki/>

Ha sido adoptado por varias compañías de software grandes, incluyendo [[Twitter]], [[Airbnb]] y [[Apple]]. Al menos 50 organizaciones actualmente usan Mesos.<ref name="powered-by-mesos">{{Cita web|título=Organizations using Mesos|url=http://mesos.apache.org/documentation/latest/powered-by-mesos/|sitioweb=mesos.apache.org|fechaacceso=12 de enero de 2015}}</ref>

El [[27 de julio]] de [[2016]], Apache Mesos anunció la disponibilidad de Apache Mesos v1.0.  La adición más notable al software fue la “unificación de contenedores”  esto permitió la capacidad de soportar Docker, rkt e instancias appc.

== Historia ==
Mesos empezó como un proyecto de investigación en el Laboratorio UC Berkeley RAD en ese entonces por los estudiantes de doctorado Benjamin Hindman, Andy Konwinski, y Matei Zaharia, así cómo el profesor Ion Stoica. Los estudiantes empezaron a trabajar juntos en el proyecto cómo parte de un curso de Tópicos Avanzados en Sistemas de Computadores por David Culler. Fue originalmente nombrado ''Nexus,'' pero debido a un conflicto con el proyecto de otra universidad, fue rebautizado a Mesos.<ref name="hug-meetup">{{Cita web|título=HUG Meetup August 2010: Mesos: A Flexible Cluster Resource manager - Part 1|url=https://www.youtube.com/watch?v=lE3jR6nM3bw|sitioweb=youtube.com|fechaacceso=13 de enero de 2015}}</ref>

La primera presentación de Mesos fue en 2009 (mientras todavía era llamado Nexus) por Andy Konwinski en HotCloud '09 en una charla que acompañaba el primer artículo científico publicado sobre el proyecto.<ref>[http://usenix.org/event/hotcloud09/tech/full_papers/hindman.pdf Un Substrato Común para Informática de Grupo]</ref> Más tarde en 2011 es presentado en un estado más maduro en una charla por Matei Zaharia en el USENIX, conferencia Symposium on Networked Systems Design and Implementation sobre el artículo "Mesos: Una Plataforma para administrar recursos compartidos en el Centro de procesamiento de Datos" por Benjamin Hindman, Andy Konwinski, Matei Zaharia, [[Wikipedia:Ali_Ghodsi|Ali Ghodsi]], Anthony D. Joseph, [[Wikipedia:Randy_Katz|Randy Katz]], [[Wikipedia:Scott_Shenker|Scott Shenker]], [[Wikipedia:Ion_Stoica|Ión Stoica]].<ref name="mesos-paper">{{Cita publicación|apellidos=Hindman|nombre=Benjamin|apellidos2=Konwinski|nombre2=Andy|apellidos3=Zaharia|nombre3=Matei|apellidos4=Ghodsi|nombre4=Ali|apellidos5=Joseph|nombre5=Anthony|apellidos6=Katz|nombre6=Randy|apellidos7=Shenker|nombre7=Scott|apellidos8=Stoica|nombre8=Ion|título=Mesos: A Platform for Fine-Grained Resource Sharing in the Data Center|publicación=NSDI|fecha=2011|volumen=11|página=22-22|url=http://people.csail.mit.edu/matei/papers/2011/nsdi_mesos.pdf|fechaacceso=12 de enero de 2015}}</ref>

El 27 de julio de 2016, la [[Apache Software Foundation]] anunció la versión 1. Esta agregó la capacidad de suministrar centralmente instancias de Docker, rkt y appc.

== Características ==

=== Escalado lineal ===
Mesos puede escalar linealmente fácilmente hasta 10,000 nodos.

=== Alta disponibilidad ===
Es tolerante a fallos, ya que puede generar replicas del nodo maestro. Además se integra fácilmente con Zookeeper.

=== Contenedores ===
Provee soporte nativo para la ejecución de imágenes de contenedores [[Docker]] y AppC.

=== Aislamiento ===
Mesos usa Linux Cgroups para proporcionar aislamiento de [[Unidad central de procesamiento|CPU]], [[Memoria virtual|memoria]], [[Periférico de entrada/salida|I/O]] y [[sistema de archivos]].

=== Dos niveles de planificación ===
Provee soporte para correr aplicaciones nativas de cloud, así como aplicaciones legadas en el mismo cluster con políticas de planificación.

=== APIS ===
Provee APIs HTTP para que los desarrolladores puedan crear sus propias aplicaciones distribuidas, así para desarrollar aplicaciones de operación y monitoreo del cluster.

=== WEB UI ===
Por defecto, ya viene con un una interfaz gráfica web para poder visualizar el estado del cluster, aplicaciones que corrieron, logs, entre otros datos.

=== Multi plataforma ===
Corre en Linux , OSX y Windows.

== Arquitectura ==
Mesos utiliza un mecanismo de dos niveles de planificación en donde se ofrecen recursos a frameworks (aplicaciones que corren arriba de Mesos). Cada nodo agente (esclavo) le informa al nodo maestro cuantos recursos disponibles tiene. El nodo maestro posee una lista de todos esos recursos disponibles y decide cuántos recursos puede ofrecer a cada framework, mientras que cada framework determina los recursos que acepta y qué aplicación ejecutar en estos recursos. Este método de asignación de recursos permite un acercamiento óptimo de la ubicación de datos cuándo se comparte un clúster de nodos entre frameworks diversos.

Dentro de un clúster se pueden identificar dos tipos de nodos de Mesos, maestros y agentes. Aquellos que son maestros, reciben solicitudes para ejecutar trabajos que provienen de algún framework y los mandan a ejecutar sobre nodos agentes, a su vez estos son encargados de reservar recursos para que las tareas de esos frameworks puedan ejecutar en los nodos agentes. 

Nodos maestros, son pocos, pero se recomienda tener un mínimo de 3 de ellos, para continuar el servicio ante la caída de alguno y poder llamar a un votación de mayoría (mitad más uno de un quorum) para saber quién será el próximo nodo a ser el que estará como activo, para esto se utiliza ZooKeeper.

Los nodos agentes son aquellos, que por lo general se dispone de grandes cantidades, y sobre ellos se ejecutarán las tareas de los frameworks.

== Arquitectura típica ==
La estructura básica para tener un [[Clúster (informática)|clúster]] consiste de tener los siguientes componentes:
* Tres Mesos master, uno en activo y dos pasivos (Standby)
* Tres Zookeepers
* Tres agentes (Mesos Slaves)
Si bien en esta estructura se tienen tres nodos master, la idea es que solo uno de ellos este activo mientras que los otros deberían estar en un estado pasivo. Los dos nodos pasivos se mantendrán en ese estado a la espera de que el nodo activo pueda fallar y así asumir el rol de nodo master activo.[[Archivo:220px-Arquitectura_típica_de_mesos.jpg|miniaturadeimagen|Arquitectura típica de Mesos]]
== Competencia ==
Mesos es a menudo comparado con [[Google]] [[Omega scheduler]], una plataforma altamente secreta utilizada internamente para dirigir y distribuir los servicios de [[Google]].<ref name="wired-mesos-borg">{{Cita web|título=Return of the Borg: How Twitter Rebuilt Google’s Secret Weapon|url=http://www.wired.com/2013/03/google-borg-twitter-mesos/all/|sitioweb=wired.com|editorial=Wired|fechaacceso=12 de enero de 2015}}</ref>

== Tecnología ==
Mesos usa los [https://elpuig.xeill.net/Members/vcarceler/articulos/introduccion-a-los-grupos-de-control-cgroups-de-linux Cgroups] de Linux para proveer aislamiento para [[CPU]], [[Memoria virtual|memoria]], [[I/O]] y el [[sistema de archivos]]. Mesos es la base para un numerosos sistemas distribuidos. Estos sistemas distribuidos son llamados frameworks.

=== Apache Aurora ===
Apache Aurora es un framework de Mesos para servicios de corrida prolongada y trabajos cron, originalmente desarrollado por [[Twitter]] a comienzos del 2010 y de código abierto a fines del 2013.<ref>{{Cita web|título=All about Apache Aurora|url=https://blog.twitter.com/2015/all-about-apache-aurora|editorial=[[Twitter]]|fechaacceso=20 de mayo de 2015}}</ref> Puede escalar a decenas de miles de servidores, y contiene muchas similitudes con Borg scheduler de Google incluyendo su ADSL rico para configurar servicios.<ref>{{Cita web|título=Large-scale cluster management at Google with Borg|url=http://static.googleusercontent.com/media/research.google.com/en/us/pubs/archive/43438.pdf|editorial=[[Google]]|formato=PDF|fechaacceso=20 de mayo de 2015}}</ref><ref>{{Cita web|título=Twitter's Aurora and How It Relates to Google's Borg|url=http://thenewstack.io/twitters-aurora-relates-googles-borg-part-1/|fechaacceso=20 de mayo de 2015}} {{Cita web|título=Twitter's Aurora and How It Relates to Google's Borg|url=http://thenewstack.io/twitters-aurora-relates-googles-borg-part-1/|fechaacceso=20 de mayo de 2015}} {{Cita web|título=Twitter's Aurora and How It Relates to Google's Borg|url=http://thenewstack.io/twitters-aurora-relates-googles-borg-part-1/|fechaacceso=20 de mayo de 2015}} </ref>

=== Chronos ===
Chronos es un sistema distribuido cron-like, es elástico y también puede expresar dependencias entre trabajos. Puede escalar a miles de servidores físicos y es, lo más parecido a Mesos framework, completamente elástico y a prueba de fallos.<ref>{{Cita web|título=Chronos|url=https://github.com/mesos/chronos|sitioweb=GitHub.com|editorial=[[GitHub]]|fechaacceso=30 de marzo de 2015}}</ref>

=== Marathon ===
Marathon es un popular [[Computación en la nube#Plataforma como servicio|PaaS]] o sistema de orquestación de contenedores que escala a miles de servidores físicos. Esta completamente basado en [[Transferencia de Estado Representacional|REST]] y permite despliegues del estilo canary y topologías de despliegue. Está escrito en [[Scala (lenguaje de programación)|Scala]] y es altamente disponible, elástico, y distribuido.<ref>{{Cita web|título=Marathon|url=http://mesosphere.github.io/marathon/|sitioweb=Mesosphere.GitHub.io|editorial=[[Mesosphere (software)|Mesosphere]]|fecha=2014|fechaacceso=30 de marzo de 2015}}</ref>

== Funcionamiento de los agentes ==
Como se explica en las secciones anteriores, las tareas que se lanzan en los agentes estas aisladas. Este aislamiento por defecto se hace utilizando los [https://elpuig.xeill.net/Members/vcarceler/articulos/introduccion-a-los-grupos-de-control-cgroups-de-linux Cgroups] de [[Núcleo Linux|Linux]]. También [[Docker (software)|Docker]] hace esto de forma nativa, cuando la tarea llega al agente, este crea un nuevo [https://elpuig.xeill.net/Members/vcarceler/articulos/introduccion-a-los-grupos-de-control-cgroups-de-linux Cgroup] y se lo asigna a la tarea.

Cuando se ejecuta una tarea, esta efectúa almacenamiento de datos, caches y de más información necesaria para que el servicio corra. Debido a esto, si un agente fallara podría ocasionar problemas en sus tareas. Para mitigar esos problemas Mesos ofrece una serie de herramientas:

'''Checkpoints'''

Los agentes realizan checkpoints sobre el estado de la tarea. Estos checkpoints funcionan como copias de seguridad del estado, para que en el caso que tengamos que reiniciar el agente, la recuperación sea más rápida.

'''Cache executor'''

En el caso de que el servicio de mesos-slave no este disponible, las nuevas tareas y peticiones serán guardadas en memoria cache. Cuando el servicio este recuperado se empezaran a procesar las peticiones que fueron guardadas.

'''Conexión'''

Una tarea que ya se ejecutó anteriormente tendrá más posibilidades de volverse a ejecutar en el mismo [https://elpuig.xeill.net/Members/vcarceler/articulos/introduccion-a-los-grupos-de-control-cgroups-de-linux Cgroup] y el mismo agente que lo hizo la última vez, de esta manera la información se puede recuperar.

'''Fallo del agente'''

En el caso de fallo completo de un agente, el framework solicitará volver a montar la tarea en un nuevo agente.

== Usuarios prominentes ==
EL sitio de redes sociales Twitter empezó utilizar Mesos y apache Aurora en 2010, después de que (entonces estudiante de doctorado) Benjamin Hindman dio una presentación a un grupo de ingenieros de Twitter.<ref name="wired-mesos-borg">{{Cita web|título=Return of the Borg: How Twitter Rebuilt Google’s Secret Weapon|url=http://www.wired.com/2013/03/google-borg-twitter-mesos/all/|sitioweb=wired.com|editorial=Wired|fechaacceso=12 de enero de 2015}}</ref>

Airbnb dijo en julio del año 2013 que usa 
[[Categoría:Vague or ambiguous time from April 2015]]
Mesos para correr numerosos sistemas de procesamiento de datos como [[Hadoop|apache Hadoop]] y Apache Spark.<ref>{{Cita web|título=Airbnb is engineering itself into a data-driven company|url=https://gigaom.com/2013/07/29/airbnb-is-engineering-itself-into-a-data-driven-company/|sitioweb=gigaom.com|fechaacceso=12 de enero de 2015}}</ref>

El sitio web de subasta [[eBay]] declaró en abril de 2014 que usa Mesos para correr [[integración continua]] en un ambiente de desarrollo. Logran este cometido utilizando un plugin de Mesos customizado que permite a los desarrolladores lanzar su propias y privadas instancias de [[Jenkins]].<ref>{{Cita web|título=Delivering eBay’s CI Solution with Apache Mesos - Part I|url=http://www.ebaytechblog.com/2014/04/04/delivering-ebays-ci-solution-with-apache-mesos-part-i/|sitioweb=EbayTechBlog.com|editorial=eBay|fechaacceso=12 de enero de 2015}}</ref>

En abril de 2015,  fue anunciado que el servicio [[Siri]] de [[Apple]]   está utilizando su propio framework Mesos llamado Jarvis.<ref>{{Cita web|apellido=Harris|nombre=Derrick|título=Apple Details How It Rebuilt Siri on Mesos|url=https://mesosphere.com/blog/2015/04/23/apple-details-j-a-r-v-i-s-the-mesos-framework-that-runs-siri/|sitioweb=Mesosphere.com|editorial=Mesosphere|fecha=23 de abril de 2015|fechaacceso=27 de abril de 2015}}</ref>

En agosto de 2015,  fue anunciado que [[Verizon Communications|Verizon]] ha seleccionado Mesosphere's [[DCOS]], el cual está basado en un Apache Mesos de código abierto Mesos, cómo su orquestador de centro de datos para su plataforma a nivel nacional.<ref>{{Cita web|título=Verizon selects Mesosphere DCOS as nationwide platform for data center service orchestration|url=http://www.verizon.com/about/news/verizon-selects-mesosphere-dcos-nationwide-platform-data-center-service-orchestration|editorial=Verizon|fechaacceso=21 de agosto de 2015}}</ref>

En noviembre de 2015, Yelp anunció que habían estado utilizando Mesos/Marathon por un año y un medio para servicios de producción.<ref>{{Cita web|url=http://engineeringblog.yelp.com/2015/11/introducing-paasta-an-open-platform-as-a-service.html|título=Introducing PaaSTA: An Open, Distributed, Platform as a Service|sitioweb=engineeringblog.yelp.com|fechaacceso=12 de julio de 2016}}</ref>

== Soporte comercial ==
Mesosphere vende el Centro de Datos Sistema operativo, un sistema operativo distribuido, basado en apache Mesos.<ref name="mesosphere-product">{{Cita web|título=The Mesosphere DCOS|url=http://mesosphere.com/product/|sitioweb=mesosphere.com|fechaacceso=13 de enero de 2015}}</ref> En septiembre de 2015, Microsoft anunció una sociedad comercial con Mesosphere para construir un planificador de contenedores y servicios de orquestación para [[Microsoft Azure]].<ref>{{Cita web|url=http://www.zdnet.com/article/new-azure-container-service-to-bring-together-mesos-docker-and-azure-cloud/|título=New Azure Container Service to bring together Mesos, Docker and Azure cloud|autor=[[Mary Jo Foley]]|sitioweb=[[ZDNet]]|fecha=29 de septiembre de 2015}}</ref>

== Referencias ==
{{Listaref|30em}}

== Enlaces externos ==
* [https://mesos.apache.org/ Sitio web oficial]
* [https://mesosphere.com/ Mesosphere]
* [http://opensource.com/business/14/9/open-source-datacenter-computing-apache-mesos Código abierto datacenter computando con apache Mesos]
[[Categoría:Apache Software Foundation]]
[[Categoría:Software que utiliza la licencia Apache]]