No hay requisitos previos para aprender Hadoop. Si tienes conocimiento de Java, Python, entonces es una ventaja añadida.
Si desea comenzar su carrera como desarrollador de Hadoop, entonces debería tener un buen dominio de Java, de lo contrario solo se requieren conceptos básicos.
Si eres bueno en SQL, entonces puedes aprender PIG y HIVE fácilmente e incluso puedes escribir su código también.
Solo depende de tu interés. Si tiene interés, entonces puede aprender fácilmente de lo contrario no.
En realidad hay varios campos en Hadoop. En cada campo hay diferentes habilidades requeridas. Por ejemplo, en Hadoop Developer, las habilidades de programación son obligatorias, pero en Hadoop admin no es obligatorio.
Hoy Hadoop está en la demanda. Entonces, primero comencemos con por qué empezamos a usar Hadoop. ¿Por qué surgió Hadoop?
Como mencionó en el comentario que desea recurso en línea, simplemente eche un vistazo a Hadoop, primero comprenda por qué surgió Hadoop.
• ¿Por qué Hadoop?
Entendamos ahora por qué Hadoop es muy popular, por qué Hadoop ha capturado más del 90% del mercado de big data.
Hadoop no es solo un sistema de almacenamiento, sino que es una plataforma para el almacenamiento de datos y el procesamiento. Es escalable (se pueden agregar más nodos sobre la marcha), Tolerante a los fallos (incluso si los nodos bajan, los datos pueden ser procesados por otro nodo) y Fuente abierta (puede modificar el código fuente si es necesario).
¿Qué es Hadoop?
Hadoop es una herramienta de código abierto de Apache Software Foundation para procesar y almacenar grandes volúmenes de datos.
Proporciona un marco eficiente para ejecutar trabajos en múltiples nodos de clústeres. Cluster significa un grupo de sistemas conectados a través de LAN. Hadoop proporciona procesamiento paralelo de datos, ya que funciona en varias máquinas simultáneamente.
Hadoop es un marco de código abierto que está escrito en Java. Pero esto no significa que solo pueda codificar en Java. Puede codificar en C, C ++, Perl, python, ruby, etc. Puede codificar en cualquier idioma, pero se recomienda codificar en java, ya que tendrá un control de nivel inferior del código.
Puedes ver el siguiente video para una introducción a Hadoop:
Procesa eficientemente grandes volúmenes de datos en un clúster de hardware básico. Hadoop está desarrollado para el procesamiento de grandes volúmenes de datos. El hardware básico es el hardware de gama baja, son dispositivos baratos que son muy económicos. Así que Hadoop es muy económico.
Las siguientes características de Hadoop make son una plataforma única:
• Flexibilidad para almacenar y extraer cualquier tipo de información, ya sea estructurada, semiestructurada o no estructurada. No está limitado por un solo esquema.
• Excelente en el procesamiento de datos de naturaleza compleja, su arquitectura de escalamiento horizontal divide las cargas de trabajo en varios nodos. Otra ventaja adicional es que su sistema de archivos flexible elimina los cuellos de botella de ETL.
• Escala económicamente, como se comentó, se puede implementar en hardware de productos básicos. Aparte de esto, su naturaleza de código abierto protege contra el bloqueo del vendedor.
Hadoop se puede configurar en una sola máquina (modo pseudo-distribuido), pero el poder real de Hadoop viene con un grupo de máquinas, se puede escalar a miles de nodos sobre la marcha, es decir, sin ningún tiempo de inactividad. No necesitamos hacer ningún sistema para agregar más sistemas en el clúster. Para conocer la instalación de Hadoop en un clúster de múltiples nodos, siga esta guía de instalación.
Hadoop consta de tres partes clave: Sistema de archivos distribuidos Hadoop (HDFS), Map-Reduce y YARN. HDFS es la capa de almacenamiento, Map Reduce es la capa de procesamiento y YARN es la capa de administración de recursos.
Ahora después de aprender la introducción de Hadoop. Veamos las diferentes habilidades requeridas para diferentes campos en Hadoop.
1. analista de Hadoop
Las responsabilidades laborales de los analistas de Hadoop consisten en analizar grandes cantidades de datos y obtener información que las empresas podrían utilizar para mejorar su situación.
Analista de Hadoop Roles y Responsabilidades
- Desarrollo de nuevos conocimientos a partir de los datos disponibles utilizando el lenguaje de scripting
- Realización de pruebas A / B según diferentes hipótesis para impactar diferentes indicadores clave de rendimiento
Habilidades requeridas para el analista de Hadoop
- Manos en el conocimiento de la colmena , cerdo
- Profundo conocimiento de Flume y comando SQL.
Experiencia requerida para un perfil de analista de Hadoop.
0-5 años
El currículum vitae de los analistas de Hadoop debe ser una combinación de las habilidades mencionadas anteriormente para que sean seleccionadas por las compañías que contratan analistas de Hadoop en la India y en el extranjero.
Hadoop Tester
Las responsabilidades de los puestos de trabajo de Hadoop Tester son garantizar que el proceso que se está diseñando esté sincronizado con el proceso que requiere la organización. Su función principal es encontrar y corregir errores en las aplicaciones de Hadoop.
Funciones y responsabilidades del probador 2-Hadoop
La responsabilidad principal incluye solucionar problemas y encontrar defectos en el programa e informarlos al desarrollador de Hadoop para que tome medidas correctivas
Reportar todos los casos de prueba positivos y negativos en los componentes de Hadoop / Pig / Hive
Habilidades requeridas para Hadoop Tester
- Conocimiento de Pruebas de JUnit, MRUnit framework
- Conocimiento de Java para probar los trabajos de MapReduce
- Manos en el conocimiento de la colmena , cerdo
Experiencia requerida para un perfil de probador de Hadoop
0-5 años
El currículum vitae del probador de Hadoop debe ser una combinación de las habilidades mencionadas anteriormente para que sean seleccionadas por las compañías que contratan a los evaluadores de Hadoop en la India y en el extranjero.
Para más detalles consulte el siguiente enlace:
HABILIDADES REQUERIDAS PARA LOS CAMPOS HADOOP