Cerrar panel

Cerrar panel

Cerrar panel

Cerrar panel

Tecnología Act. 14 ago 2017

Spark y la combinación de distintos módulos; o el presente de Big Data

nube cloud hombre itnernet conexion recurso bbva

El Centro de Innovación BBVA acogió este evento de enfoque técnico en que se abordó la temática del framework Spark, heredero natural de Hadoop.

Jorge López-MallaBig Data Architect en Stratio, era el único ponente de la tarde. En una ponencia distendida y con alta carga técnica, los asistentes al Centro de Innovación BBVA de la Plaza Santa Bárbara de Madrid pudieron ver un pedacito de historia desplegarse ante sus ojos.

Si el concepto de Big Data nació en un 'paper' de Google sobre procesamiento de ficheros distribuidos en 2003, con la llegada de Hadoop en 2006 ese concepto cogería una fuerza imparable. Auspiciado por Yahoo!, Hadoop constituyó la base sobre la que las operaciones con Big Data tomarían cuerpo en unos inicios.

cibbva-evento-spark-combinaciones-modulos

Jorge López-Malla, Big Data Architect en Stratio

Spark es más reciente, y responde a un concepto de problemática más avanzado que el que pudiera tener un desarrollador en 2006 a la hora de satisfacer las necesidades que el mercado demandaba de su software.

Es por ello que López-Malla considera Spark una “evolución de Hadoop y su paradigma”. Sin embargo, lo que le diferencia de su antecesor es mucho más sencillo. Si el núcleo o 'core' de Hadoop se mejoraba, todos los módulos o “patas” que se apoyaban en él no se beneficiaban de esa mejoría. Spark cambia esto y da una ventaja radical al programador para avanzar en sus cometidos, y es que Spark tiene una única API para todo. “Ya no es el futuro, es el presente de Big Data”.

López-Malla explicó tres de los módulos más populares de Spark. Spark SQLSpark Streaming y MILib, este último relacionado con el procesamiento de datos en tiempo real.

Puedes ver la ponencia completa, terminada con un turno de ruegos y preguntas en el vídeo incrustado más abajo.

Spark y la combinación de sus distintos módulos [evento completo]

Otras historias interesantes