Almacenamiento de datos: conceptos, diseño e implementación

Esta formación presencial impartida por un instructor en <ubic> (en línea o in situ) está dirigida a profesionales de datos de nivel avanzado que desean optimizar sus flujos de trabajo de procesamiento de datos, garantizar la integridad de los mismos e implementar soluciones robustas de tipo "lakehouse" capaces de afrontar las complejidades de las aplicaciones modernas de big data.

Al finalizar esta formación, los participantes serán capaces de:

• Adquirir una comprensión profunda de la arquitectura de Iceberg, incluida la gestión de metadatos y el diseño de archivos.
• Configurar Iceberg para obtener un rendimiento óptimo en diversos entornos e integrarlo con múltiples motores de procesamiento de datos.
• Administrar tablas Iceberg a gran escala, realizar cambios complejos en el esquema y gestionar la evolución de las particiones.
• Dominar técnicas para optimizar el rendimiento de las consultas y la eficiencia del escaneo de datos en conjuntos de datos extensos.
• Implementar mecanismos que garanticen la consistencia de los datos, administren garantías transaccionales y manejen fallos en entornos distribuidos.

Esta formación en directo impartida por un instructor en Uruguay (en línea o presencial) está dirigida a profesionales de datos de nivel principiante que desean adquirir los conocimientos y habilidades necesarios para utilizar eficazmente Apache Iceberg en la gestión de conjuntos de datos a gran escala, garantizar la integridad de los datos y optimizar los flujos de procesamiento.

Al finalizar esta formación, los participantes serán capaces de:

• Comprender a fondo la arquitectura, las características y los beneficios de Apache Iceberg.
• Conocer los formatos de tabla, el particionamiento, la evolución del esquema y las capacidades de viaje en el tiempo.
• Instalar y configurar Apache Iceberg en diferentes entornos.
• Crear, gestionar y manipular tablas de Iceberg.
• Comprender el proceso de migración de datos desde otros formatos de tabla a Iceberg.

Esta formación en vivo, impartida por un instructor en <ubic> (en línea o presencial), está dirigida a científicos de datos e ingenieros de nivel intermedio que desean utilizar Google Colab y Apache Spark para el procesamiento y análisis de big data.

Al finalizar esta formación, los participantes serán capaces de:

• Configurar un entorno de big data utilizando Google Colab y Spark.
• Procesar y analizar grandes conjuntos de datos de forma eficiente con Apache Spark.
• Visualizar big data en un entorno colaborativo.
• Integrar Apache Spark con herramientas basadas en la nube.

Los avances tecnológicos y el creciente volumen de información están transformando la forma en que se realiza el negocio en muchas industrias, incluido el sector gubernamental. Las tasas de generación de datos y archivo digital por parte del gobierno están en aumento debido al rápido crecimiento de los dispositivos y aplicaciones móviles, sensores y dispositivos inteligentes, soluciones de computación en la nube y portales dirigidos a los ciudadanos. A medida que la información digital se expande y se vuelve más compleja, también lo hacen su gestión, procesamiento, almacenamiento, seguridad y disposición final. Nuevas herramientas de captura, búsqueda, descubrimiento y análisis están ayudando a las organizaciones a obtener información valiosa a partir de sus datos no estructurados. El mercado gubernamental está en un punto de inflexión, tomando conciencia de que la información es un activo estratégico y que el gobierno debe proteger, aprovechar y analizar tanto la información estructurada como la no estructurada para servir mejor y cumplir con los requisitos de sus misiones. Mientras los líderes gubernamentales se esfuerzan por evolucionar hacia organizaciones basadas en datos para cumplir exitosamente sus misiones, están sentando las bases para correlacionar dependencias entre eventos, personas, procesos e información.

Las soluciones gubernamentales de alto valor se crearán mediante la combinación de las tecnologías más disruptivas:

• Dispositivos y aplicaciones móviles
• Servicios en la nube
• Tecnologías de negocios sociales y redes
• Big Data y analítica

El Big Data es una de las soluciones inteligentes para la industria y permite al gobierno tomar mejores decisiones actuando sobre los patrones revelados mediante el análisis de grandes volúmenes de datos relacionados y no relacionados, estructurados y no estructurados.

Pero lograr estos hazañas requiere mucho más que simplemente acumular cantidades masivas de datos. "Entender sentido de estos volúmenes de Big Data requiere herramientas y tecnologías de vanguardia capaces de analizar y extraer conocimiento útil de flujos vastos y diversos de información", escribieron Tom Kalil y Fen Zhao de la Oficina de Políticas de Ciencia y Tecnología de la Casa Blanca en una publicación en el blog de OSTP.

La Casa Blanca dio un paso hacia ayudar a las agencias a encontrar estas tecnologías cuando estableció la Iniciativa Nacional de Investigación y Desarrollo de Big Data en 2012. Esta iniciativa incluyó más de 200 millones de dólares para aprovechar al máximo la explosión de Big Data y las herramientas necesarias para analizarla.

Los desafíos que plantea el Big Data son casi tan desalentadores como su promesa es alentadora. Almacenar datos eficientemente es uno de estos desafíos. Como siempre, los presupuestos son ajustados, por lo que las agencias deben minimizar el precio por megabyte de almacenamiento y mantener los datos fácilmente accesibles para que los usuarios puedan obtenerlos cuando quieran y cómo los necesiten. Copias de seguridad de cantidades masivas de datos intensifica este desafío.

Analizar los datos efectivamente es otro desafío importante. Muchas agencias utilizan herramientas comerciales que les permiten navegar por las montañas de datos, detectando tendencias que pueden ayudarlas a operar con mayor eficiencia. (Un estudio reciente de MeriTalk reveló que los ejecutivos de TI federales creen que el Big Data podría ayudar a las agencias a ahorrar más de 500 mil millones de dólares, mientras también cumplen con sus objetivos misionales).).

Las herramientas de Big Data desarrolladas a medida también están permitiendo a las agencias abordar la necesidad de analizar sus datos. Por ejemplo, el Grupo de Analítica Computacional de Datos del Laboratorio Nacional Oak Ridge ha puesto su sistema de analítica de datos Piranha a disposición de otras agencias. Este sistema ha ayudado a los investigadores médicos a encontrar una conexión que puede alertar a los médicos sobre aneurismas aórticos antes de que ocurran. También se utiliza para tareas más comunes, como revisar currículos para conectar candidatos con gerentes de contratación.

Los participantes que completen esta formación en vivo dirigida por un instructor en Uruguay adquirirán una comprensión práctica y realista del Big Data, junto con sus tecnologías, metodologías y herramientas relacionadas.

Los participantes tendrán la oportunidad de poner en práctica estos conocimientos mediante ejercicios prácticos. La interacción grupal y los comentarios del instructor son componentes importantes de la clase.

El curso comienza con una introducción a los conceptos fundamentales del Big Data, luego avanza hacia los lenguajes de programación y las metodologías utilizadas para realizar el análisis de datos. Finalmente, discutimos las herramientas e infraestructura que permiten el almacenamiento de Big Data, el procesamiento distribuido y la escalabilidad.

Esta formación en vivo impartida por un instructor (en línea o presencial) está dirigida a ingenieros de datos, analistas de datos y profesionales que desean utilizar Databricks y PySpark para construir pipelines de datos escalables y migrar flujos de trabajo SQL existentes.

Apache NiFi es una plataforma de integración de datos y procesamiento de eventos basada en flujos, de código abierto. Permite el enrutamiento automático y en tiempo real de datos, su transformación y la mediación entre sistemas dispares, contando con una interfaz de usuario basada en web y un control fino sobre los procesos.

Esta formación dirigida por instructores (presencial o remota) está dirigida a administradores e ingenieros de nivel intermedio que deseen implementar, gestionar, asegurar y optimizar los flujos de datos de NiFi en entornos de producción.

Al finalizar este curso, los participantes serán capaces de:

• Instalar, configurar y mantener clústeres de Apache NiFi.
• Diseñar y gestionar flujos de datos desde diversas fuentes y destinos.
• Implementar lógica de automatización, enrutamiento y transformación de flujos.
• Optimizar el rendimiento, monitorear las operaciones y diagnosticar problemas.

Formato del Curso

• Clase interactiva con discusión sobre arquitecturas reales.
• Talleres prácticos: construcción, implementación y gestión de flujos.
• Ejercicios basados en escenarios en un entorno de laboratorio en vivo.

Opciones de Personalización del Curso

• Para solicitar una formación personalizada para este curso, póngase en contacto con nosotros para coordinarla.

Esta formación ofrece una introducción práctica para construir flujos de trabajo escalables de procesamiento de datos y Aprendizaje Automático utilizando PySpark. Los participantes aprenden cómo opera Apache Spark dentro de ecosistemas modernos de Big Data y cómo procesar eficientemente grandes conjuntos de datos aplicando principios de computación distribuida.

Esta formación en vivo impartida por un instructor en <ubicación> (en línea o presencial) está dirigida a ingenieros que deseen configurar e implementar un sistema de Apache Spark para procesar cantidades muy grandes de datos.

Al finalizar esta formación, los participantes podrán:

• Instalar y configurar Apache Spark.
• Procesar y analizar rápidamente conjuntos de datos muy grandes.
• Comprender la diferencia entre Apache Spark y Hadoop MapReduce y cuándo utilizar cada uno.
• Integrar Apache Spark con otras herramientas de aprendizaje automático.

Esta formación en vivo impartida por un instructor en Uruguay (en línea o presencial) está dirigida a administradores de sistemas de nivel principiante e intermedio que deseen implementar, mantener y optimizar clústeres de Spark.

Al finalizar esta formación, los participantes podrán:

• Instalar y configurar Apache Spark en diversos entornos.
• Gestionar los recursos del clúster y supervisar las aplicaciones de Spark.
• Optimizar el rendimiento de los clústeres de Spark.
• Implementar medidas de seguridad y garantizar la alta disponibilidad.
• Depurar y resolver problemas comunes de Spark.

La curva de aprendizaje de Apache Spark es lenta al principio y requiere un esfuerzo considerable para obtener los primeros resultados. Este curso tiene como objetivo superar esa primera etapa difícil. Tras completar el curso, los participantes comprenderán los fundamentos de Apache Spark, diferenciarán claramente RDD de DataFrame, aprenderán las API de Python y Scala, entenderán los conceptos de ejecutores y tareas, entre otros. Siguiendo las mejores prácticas, este curso se centra fuertemente en la implementación en la nube, con especial énfasis en Databricks y AWS. Los estudiantes también comprenderán las diferencias entre AWS EMR y AWS Glue, uno de los últimos servicios de Spark ofrecidos por AWS.

DIRIGIDO A:

Ingenieros de Datos, profesionales de DevOps, Científicos de Datos

En este entrenamiento en vivo impartido por un instructor en Uruguay, los participantes aprenderán cómo utilizar Python y Spark juntos para analizar Big Data mientras realizan ejercicios prácticos.

Al finalizar esta capacitación, los participantes podrán:

• Aprender a usar Spark con Python para analizar Big Data.
• Trabajar en ejercicios que simulan casos reales.
• Utilizar diferentes herramientas y técnicas para el análisis de Big Data con PySpark.

Esta formación en vivo con instructores en Uruguay (en línea o presencial) está dirigida a desarrolladores que deseen utilizar e integrar Spark, Hadoop y Python para procesar, analizar y transformar conjuntos de datos grandes y complejos.

Al finalizar esta formación, los participantes podrán:

• Configurar el entorno necesario para comenzar a procesar big data con Spark, Hadoop y Python.
• Comprender las características, componentes principales y arquitectura de Spark y Hadoop.
• Aprender a integrar Spark, Hadoop y Python para el procesamiento de big data.
• Explorar las herramientas del ecosistema de Spark (Spark MLlib, Spark Streaming, Kafka, Sqoop, Flume).
• Construir sistemas de recomendación basados en filtrado colaborativo similares a los utilizados por Netflix, YouTube, Amazon, Spotify y Google.
• Utilizar Apache Mahout para escalar algoritmos de aprendizaje automático.

Stratio es una plataforma centrada en los datos que integra big data, inteligencia artificial y gobernanza en una única solución. Sus módulos Rocket e Intelligence permiten la exploración rápida de datos, su transformación y el análisis avanzado en entornos empresariales.

Esta formación en vivo impartida por un instructor (en línea o presencial) está dirigida a profesionales de datos de nivel intermedio que desean utilizar eficazmente los módulos Rocket e Intelligence de Stratio con PySpark, centrándose en estructuras iterativas, funciones definidas por el usuario y lógica avanzada de datos.

Al finalizar esta formación, los participantes podrán:

• Navegar y trabajar dentro de la plataforma Stratio utilizando los módulos Rocket e Intelligence.
• Aplicar PySpark en el contexto de ingesta, transformación y análisis de datos.
• Utilizar bucles y lógica condicional para controlar flujos de trabajo de datos y tareas de ingeniería de características.
• Crear y gestionar funciones definidas por el usuario (UDF) para operaciones de datos reutilizables en PySpark.

Formato del curso

• Clase interactiva y discusión.
• Numerosos ejercicios y prácticas.
• Implementación práctica en un entorno de laboratorio en vivo.

Opciones de personalización del curso

• Para solicitar una formación personalizada para este curso, por favor contáctenos para coordinarla.