Cursos de Apache Spark

Python es un lenguaje de programación escalable, flexible y ampliamente utilizado para la ciencia de datos y el aprendizaje por máquina. Spark es un motor de procesamiento de datos utilizado en la búsqueda, análisis y transformación de datos grandes, mientras que Hadoop es un marco de biblioteca de software para almacenamiento y procesamiento de datos de gran escala. Este entrenamiento guiado por instructores, en vivo (online o on-site) está dirigido a desarrolladores que desean utilizar y integrar Spark, Hadoop, y Python para procesar, analizar y transformar grandes y complejos conjuntos de datos. Al final de este curso, los participantes podrán:

Configure el entorno necesario para comenzar el procesamiento de datos grandes con Spark, Hadoop, y Python. Comprender las características, los componentes centrales y la arquitectura de Spark y Hadoop. Aprende cómo integrar Spark, Hadoop, y Python para el procesamiento de datos grandes. Explora las herramientas en el ecosistema Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka, y Flume). Construye sistemas de recomendación de filtros colaborativos similares a Netflix, YouTube, Amazon, Spotify y Google. Utilice Apache Mahout para escalar algoritmos de aprendizaje de máquina.

Formato del curso

Lecciones y discusiones interactivas. Muchos ejercicios y prácticas. Implementación de manos en un entorno de laboratorio en vivo.

Opciones de Customización de Curso

Para solicitar una formación personalizada para este curso, por favor contacta con nosotros para organizar.

Python es un lenguaje de programación de alto nivel famoso por su claridad de sintaxis y código. Spark es un motor de procesamiento de datos utilizado para consultar, analizar y transformar big data. PySpark permite a los usuarios interactuar con Spark con Python. En esta capacitación en vivo dirigida por un instructor, los participantes aprenderán a usar Python y Spark juntos para analizar los datos grandes mientras trabajan en ejercicios prácticos. Al final de esta capacitación, los participantes podrán:

• Aprenda a usar Spark con Python para analizar Big Data
• Trabajar en ejercicios que imitan las circunstancias del mundo real
• Utilice diferentes herramientas y técnicas para el análisis de Big Data utilizando PySpark

Audiencia

• Desarrolladores
• Profesionales de TI
• Científicos de datos

Formato del curso

• Conferencia de parte, discusión en parte, ejercicios y práctica práctica

Alexio es un sistema de almacenamiento distribuido virtual de código abierto que unifica sistemas de almacenamiento dispares y permite que las aplicaciones interactúen con datos a la velocidad de la memoria. Es utilizado por compañías como Intel, Baidu y Alibaba. En esta capacitación en vivo dirigida por un instructor, los participantes aprenderán a usar Alexio para unir diferentes marcos de computación con sistemas de almacenamiento y administrar de manera eficiente los datos de escala de varios petabytes mientras avanzan en la creación de una aplicación con Alluxio. Al final de esta capacitación, los participantes podrán:

• Desarrolle una aplicación con Alluxio
• Conecte aplicaciones y sistemas de big data mientras conserva un espacio de nombres
• Extrae de manera eficiente el valor de los grandes datos en cualquier formato de almacenamiento
• Mejorar el rendimiento de la carga de trabajo
• Implemente y administre Alluxio de forma independiente o en clúster

Audiencia

• Científico de datos
• Desarrollador
• Administrador de sistema

Formato del curso

• Conferencia de parte, discusión en parte, ejercicios y práctica práctica

El análisis de Big Data implica el proceso de examinar grandes cantidades de conjuntos de datos variados para descubrir correlaciones, patrones ocultos y otras ideas útiles. La industria de la salud tiene cantidades masivas de datos clínicos y médicos heterogéneos complejos. La aplicación de análisis de big data en datos de salud presenta un enorme potencial para obtener información para mejorar la prestación de servicios de salud. Sin embargo, la magnitud de estos conjuntos de datos plantea grandes desafíos en los análisis y aplicaciones prácticas en un entorno clínico. En esta capacitación en vivo (remota) dirigida por un instructor, los participantes aprenderán cómo realizar análisis de big data en salud a medida que realizan una serie de ejercicios prácticos de laboratorio en vivo. Al final de esta capacitación, los participantes podrán:

• Instale y configure herramientas de análisis de big data como Hadoop MapReduce y Spark
• Comprender las características de los datos médicos.
• Aplicar técnicas de big data para manejar datos médicos.
• Estudiar los sistemas y algoritmos de big data en el contexto de las aplicaciones de salud.

Audiencia

• Desarrolladores
• Científicos de datos

Formato del curso

• Conferencia en parte, discusión en parte, ejercicios y práctica práctica.

Nota

• Para solicitar una capacitación personalizada para este curso, contáctenos para organizarlo.

Apache Hadoop es un marco de procesamiento de datos popular para el procesamiento de grandes conjuntos de datos en muchos ordenadores. Este entrenamiento guiado por instructores, en vivo (online o on-site) está dirigido a los administradores de sistemas que desean aprender cómo configurar, implementar y gestionar Hadoop clusters dentro de su organización. Al final de este curso, los participantes podrán:

Instalar y configurar Apache Hadoop. Comprender los cuatro componentes principales del ecosistema: HDFS, MapReduce, YARN y Hadoop Common. Utilice Hadoop Sistema de archivos distribuidos (HDFS) para escalar un cluster a cientos o miles de nodos. •   Instalar HDFS para operar como motor de almacenamiento para los despachos de Spark en prisión. Instalar Spark para acceder a soluciones de almacenamiento alternativas como Amazon S3 y NoSQL sistemas de datos como Redis, Elasticsearch, Couchbase, Aerospike, etc. Realizar tareas administrativas como proporcionar, gestionar, monitorear y asegurar un cluster de Apache.

Formato del curso

Lecciones y discusiones interactivas. Muchos ejercicios y prácticas. Implementación de manos en un entorno de laboratorio en vivo.

Opciones de Customización de Curso

Para solicitar una formación personalizada para este curso, por favor contacta con nosotros para organizar.

Hortonworks Data Platform es una plataforma de soporte de Apache Hadoop de código abierto que proporciona una base estable para el desarrollo de soluciones de big data en el ecosistema de Apache Hadoop. Esta capacitación en vivo dirigida por un instructor presenta a Hortonworks y guía a los participantes a través del despliegue de la solución Spark + Hadoop. Al final de esta capacitación, los participantes podrán:

• Use Hortonworks para ejecutar confiablemente Hadoop a gran escala
• Unifique las capacidades de seguridad, gobierno y operaciones de Hadoop con los flujos de trabajo analíticos ágiles de Spark.
• Use Hortonworks para investigar, validar, certificar y dar soporte a cada uno de los componentes en un proyecto Spark
• Procese diferentes tipos de datos, incluidos estructurados, no estructurados, en movimiento y en reposo.

Audiencia

• Administradores de Hadoop

Formato del curso

• Conferencia de parte, discusión en parte, ejercicios y práctica práctica
   

El procesamiento de flujo se refiere al procesamiento en tiempo real de "datos en movimiento", es decir, realizar cálculos sobre datos a medida que se reciben. Dichos datos se leen como flujos continuos de fuentes de datos tales como eventos de sensores, actividad de usuarios de sitios web, transacciones financieras, transferencias de tarjetas de crédito, transmisiones de clics, etc. Los marcos de procesamiento de flujos pueden leer grandes volúmenes de datos entrantes y proporcionar información valiosa casi instantáneamente. En este entrenamiento en vivo dirigido por un instructor (in situ o remoto), los participantes aprenderán cómo configurar e integrar diferentes marcos de Procesamiento de Stream con los sistemas de almacenamiento de big data existentes y aplicaciones de software y microservicios relacionados. Al final de esta capacitación, los participantes podrán:

• Instale y configure diferentes marcos de procesamiento de flujo, como Spark Streaming y Kafka Streaming
• Comprender y seleccionar el marco más adecuado para el trabajo
• Proceso de datos de forma continua, concurrente y de forma récord por registro
• Integre soluciones de procesamiento de flujo con bases de datos existentes, almacenes de datos, lagos de datos, etc.
• Integración de la biblioteca de procesamiento de flujo más apropiada con aplicaciones empresariales y microservicios

Audiencia

• Desarrolladores
• Arquitectos de software

Formato del curso

• Conferencia de parte, discusión en parte, ejercicios y práctica práctica

Notas

• Para solicitar una capacitación personalizada para este curso, contáctenos para hacer arreglos.

Magellan es un motor de ejecución distribuida de código abierto para el análisis geoespacial en big data. Implementado sobre Apache Spark, amplía Spark SQL y proporciona una abstracción relacional para el análisis geoespacial. Esta capacitación en vivo dirigida por un instructor presenta los conceptos y enfoques para implementar el análisis geospacial y guía a los participantes a través de la creación de una aplicación de análisis predictivo utilizando Magellan en Spark. Al final de esta capacitación, los participantes podrán:

• Consultar, analizar y unir datos geoespaciales de manera eficiente a escala
• Implementar datos geoespaciales en inteligencia empresarial y aplicaciones de análisis predictivo
• Utilice el contexto espacial para ampliar las capacidades de dispositivos móviles, sensores, registros y dispositivos portátiles

Audiencia

• Desarrolladores de aplicaciones

Formato del curso

• Conferencia de parte, discusión en parte, ejercicios y práctica práctica

Apache Spark es un motor de procesamiento distribuido para analizar conjuntos de datos muy grandes. Puede procesar datos en batches y en tiempo real, así como realizar aprendizaje de máquina, consultas ad hoc y procesamiento de gráficos. .NET for Apache Spark es un marco de análisis de grandes datos libre, de código abierto y cross-platform que soporta aplicaciones escritas en C# o F#. Este entrenamiento guiado por instructores, en vivo (online o on-site) está dirigido a desarrolladores que desean realizar análisis de datos grandes utilizando Apache Spark en sus aplicaciones.NET. Al final de este curso, los participantes podrán:

Instalar y configurar Apache Spark. Comprender cómo.NET implementa APIs Spark para que puedan ser accesibles desde una aplicación.NET. Desarrollar aplicaciones de procesamiento de datos utilizando C# o F#, capaces de tratar conjuntos de datos cuyo tamaño se mide en terabytes y pedabytes. Desarrollar funciones de aprendizaje de máquina para una aplicación.NET utilizando Apache Spark capacidades. Executar análisis exploratorios utilizando las consultas SQL en los conjuntos de datos grandes.

Formato del curso

Lecciones y discusiones interactivas. Muchos ejercicios y prácticas. Implementación de manos en un entorno de laboratorio en vivo.

Opciones de Customización de Curso

Para solicitar una formación personalizada para este curso, por favor contacta con nosotros para organizar.

SMACK es una colección de software de plataforma de datos, es decir Apache Spark, Apache Mesos, Apache Akka, Apache Cassandra, y Apache Kafka. Utilizando el paquete SMACK, los usuarios pueden crear y escalar plataformas de procesamiento de datos. Este entrenamiento guiado por instructores, en vivo (online o on-site) está dirigido a científicos de datos que desean utilizar el SMACK stack para construir plataformas de procesamiento de datos para soluciones de datos grandes. Al final de este curso, los participantes podrán:

Implementar una arquitectura de pipeline de datos para el procesamiento de datos grandes. Desarrollar una infraestructura de cluster con Apache Mesos y Docker. Analizar los datos con Spark y Scala. Gestión de datos no estructurados con Apache Cassandra.

Formato del curso

Lecciones y discusiones interactivas. Muchos ejercicios y prácticas. Implementación de manos en un entorno de laboratorio en vivo.

Opciones de Customización de Curso

Para solicitar una formación personalizada para este curso, por favor contacta con nosotros para organizar.

Apache Spark es un motor de análisis diseñado para distribuir datos a través de un cluster con el fin de procesarlo en paralelo. Contiene módulos para streaming, SQL, aprendizaje de máquina y procesamiento de gráficos. Este entrenamiento guiado por instructores, en vivo (online o on-site) está dirigido a ingenieros que desean implementar Apache Spark sistema para el tratamiento de cantidades muy grandes de datos. Al final de este curso, los participantes podrán:

Instalar y configurar Apache Spark. Conoce la diferencia entre Apache Spark y Hadoop MapReduce y cuándo usar. Leer rápidamente en  y analizar conjuntos de datos muy grandes. Integrar Apache Spark con otras herramientas de aprendizaje de máquina.

Formato del curso

Lecciones y discusiones interactivas. Muchos ejercicios y prácticas. Implementación de manos en un entorno de laboratorio en vivo.

Opciones de Customización de Curso

Para solicitar una formación personalizada para este curso, por favor contacta con nosotros para organizar.

La curva de aprendizaje de Apache Spark está aumentando lentamente al principio, necesita mucho esfuerzo para obtener el primer retorno. Este curso tiene como objetivo saltar a través de la primera parte difícil. Después de tomar este curso, los participantes comprenderán los conceptos básicos de Apache Spark , diferenciarán claramente RDD de DataFrame, aprenderán Python y Scala API, comprenderán ejecutores y tareas, etc. Además, siguiendo las mejores prácticas, este curso se enfoca fuertemente en implementación en la nube, Databricks y AWS. Los estudiantes también comprenderán las diferencias entre AWS EMR y AWS Glue, uno de los últimos servicios Spark de AWS. AUDIENCIA: Ingeniero de Datos, DevOps , Científico de Datos

OBJETIVO: Este curso presentará Apache Spark . Los estudiantes aprenderán cómo Spark encaja en el ecosistema de Big Data y cómo usar Spark para el análisis de datos. El curso cubre el shell de Spark para análisis de datos interactivos, componentes internos de Spark, API de Spark, Spark SQL , transmisión de Spark y aprendizaje automático y graphX. AUDIENCIA Desarrolladores / Analistas de datos

Spark NLP is an open source library, built on Apache Spark, for natural language processing with Python, Java, and Scala. It is widely used for enterprise and industry verticals, such as healthcare, finance, life science, and recruiting. This instructor-led, live training (online or onsite) is aimed at data scientists and developers who wish to use Spark NLP, built on top of Apache Spark, to develop, implement, and scale natural language text processing models and pipelines. By the end of this training, participants will be able to:

• Set up the necessary development environment to start building NLP pipelines with Spark NLP.
• Understand the features, architecture, and benefits of using Spark NLP.
• Use the pre-trained models available in Spark NLP to implement text processing.
• Learn how to build, train, and scale Spark NLP models for production-grade projects.
• Apply classification, inference, and sentiment analysis on real-world use cases (clinical data, customer behavior insights, etc.).

Format of the Course

• Interactive lecture and discussion.
• Lots of exercises and practice.
• Hands-on implementation in a live-lab environment.

Course Customization Options

• To request a customized training for this course, please contact us to arrange.

Scala es una versión condensada de Java para programación funcional y orientada a objetos a gran escala. Apache Spark Streaming es un componente extendido de la API de Spark para procesar grandes conjuntos de datos como transmisiones en tiempo real. Juntos, Spark Streaming y Scala permiten la transmisión de big data. Esta capacitación en vivo dirigida por un instructor (en el sitio o remota) está dirigida a ingenieros de software que desean transmitir grandes datos con Spark Streaming y Scala . Al final de esta capacitación, los participantes podrán:

• Cree aplicaciones Spark con el lenguaje de programación Scala .
• Use Spark Streaming para procesar flujos continuos de datos.
• Procese flujos de datos en tiempo real con Spark Streaming.

Formato del curso

• Conferencia interactiva y discusión.
• Muchos ejercicios y práctica.
• Implementación práctica en un entorno de laboratorio en vivo.

Opciones de personalización del curso

• Para solicitar una capacitación personalizada para este curso, contáctenos para organizarlo.

Spark SQL es Apache Spark módulo de Apache Spark para trabajar con datos estructurados y no estructurados. Spark SQL proporciona información sobre la estructura de los datos, así como el cálculo que se realiza. Esta información se puede usar para realizar optimizaciones. Dos usos comunes para Spark SQL son:
- para ejecutar consultas SQL .
- para leer datos de una instalación de Hive existente. En esta capacitación en vivo dirigida por un instructor (en el sitio o remota), los participantes aprenderán cómo analizar varios tipos de conjuntos de datos usando Spark SQL . Al final de esta capacitación, los participantes podrán:

• Instalar y configurar Spark SQL .
• Realizar análisis de datos usando Spark SQL .
• Consultar conjuntos de datos en diferentes formatos.
• Visualizar datos y resultados de consultas.

Formato del curso

• Conferencia interactiva y discusión.
• Muchos ejercicios y práctica.
• Implementación práctica en un entorno de laboratorio en vivo.

Opciones de personalización del curso

• Para solicitar una capacitación personalizada para este curso, contáctenos para organizarlo.

This course is aimed at developers and data scientists who wish to understand and implement AI within their applications. Special focus is given to Data Analysis, Distributed AI and NLP.

MLlib es la biblioteca de aprendizaje automático (ML) de Spark. Su objetivo es hacer que el aprendizaje práctico de la máquina sea escalable y fácil. Consiste en algoritmos comunes de aprendizaje y utilidades, incluyendo clasificación, regresión, agrupación, filtrado colaborativo, reducción de dimensionalidad, así como primitivas de optimización de nivel más bajo y API de oleoducto de nivel superior. Se divide en dos paquetes:

• spark.mllib contiene la API original construida sobre RDDs.
• spark.ml proporciona una API de nivel superior construida en la parte superior de DataFrames para la construcción de tuberías de ML.
   

Audiencia Este curso está dirigido a ingenieros y desarrolladores que buscan utilizar una biblioteca de máquinas construida para Apache Spark

Una gran cantidad de problemas del mundo real se pueden describir en términos de gráficos. Por ejemplo, el gráfico web, el gráfico de red social, el gráfico de red de tren y el gráfico de lenguaje. Estos gráficos tienden a ser extremadamente grandes; su procesamiento requiere un conjunto especializado de herramientas y procesos; estas herramientas y procesos se pueden denominar Computación de Gráficos. En esta capacitación en vivo dirigida por un instructor, los participantes aprenderán sobre las diversas ofertas de tecnología e implementaciones para procesar datos de gráficos. El objetivo es identificar los objetos del mundo real, sus características y relaciones, luego modelar estas relaciones y procesarlas como datos utilizando enfoques de computación gráfica. Comenzamos con una amplia visión general y nos limitamos a herramientas específicas a medida que avanzamos en una serie de estudios de casos, ejercicios prácticos e implementaciones en vivo. Al final de esta capacitación, los participantes podrán:

• Comprender cómo se conservan y atraviesan los datos de gráfico
• Seleccione el mejor marco para una tarea determinada (desde bases de datos de gráficos hasta marcos de procesamiento por lotes)
• Implemente Hadoop, Spark, GraphX ​​y Pregel para llevar a cabo la computación gráfica en muchas máquinas en paralelo
• Ver problemas de Big Data en el mundo real en términos de gráficos, procesos y recorridos

Audiencia

• Desarrolladores

Formato del curso

• Conferencia de parte, discusión en parte, ejercicios y práctica práctica