¿Qué es Big Data Hadoop? ¿De dónde puedo aprender?

Answer 1

Primero déjame explicarte qué es Hadoop y luego te diré dónde puedes aprenderlo.

Hadoop es un marco de código abierto, escalable y tolerante a fallos de ASF – Apache Software Foundation escrito en Java. Fuente abierta significa que está disponible de forma gratuita y su fuente también se puede cambiar según los requisitos.

Hadoop procesa Big Data, que viene en grandes volúmenes, variedad y velocidad, en un clúster de hardware básico.

Lo bueno es que, si una determinada funcionalidad no funciona o no satisface sus necesidades, puede cambiarlas de acuerdo con sus necesidades. La mayoría del código de Hadoop está escrito por Yahoo, IBM, Facebook y Cloudera.

Hadoop no es solo un sistema de almacenamiento; Es una plataforma para el almacenamiento de datos grandes, así como el procesamiento.

Proporciona un marco eficiente para ejecutar trabajos en múltiples nodos de clústeres.

Si no lo sabe, Cluster significa un grupo de sistemas conectados a través de LAN.

Apache Hadoop proporciona procesamiento paralelo de datos, ya que funciona en varias máquinas simultáneamente.

Características y características de Hadoop.

Apache Hadoop es la mejor y más poderosa herramienta para Big Data. Proporciona la capa de almacenamiento más confiable del mundo: HDFS, un motor de procesamiento por lotes, MapReduce y una capa de administración de recursos, YARN.

Algunas de las características importantes de Hadoop son:

1. Fuente abierta

Apache Hadoop es un proyecto de código abierto, lo que significa que su código puede ser modificado por cualquiera de forma gratuita de acuerdo con los requisitos comerciales.

2. Procesamiento distribuido

Los datos se almacenan en el sistema de archivos distribuidos HDFS – Hadoop de manera distribuida en todo el clúster. Los datos se procesan en un grupo de nodos.

3. Tolerancia a fallos

Apache Hadoop es altamente tolerante a las fallas. Por defecto, almacena 3 réplicas de cada bloque en el clúster en Hadoop. Si cualquier nodo se cae, los datos en ese nodo se pueden recuperar de los otros nodos fácilmente. Así es como Hadoop es tolerante a fallos.

4. Fiabilidad

Debido a la característica de replicación de datos en el clúster, los datos se pueden almacenar de manera confiable en el clúster de la máquina a pesar de las fallas de la máquina.

Aprende Hadoop de Industry Ex

5. Alta disponibilidad

Big Data está altamente disponible y es accesible a pesar de la falla del hardware debido a las múltiples copias de datos que contiene. Incluso si una máquina falla, se puede acceder a los datos desde otra ruta.

6. escalabilidad

Hadoop es altamente escalable ya que se puede agregar cualquier cantidad de hardware a los nodos. También facilita la escalabilidad horizontal, lo que significa que los nuevos nodos se pueden agregar fácilmente sobre la marcha sin ningún tiempo de inactividad.

7. económico

Apache Hadoop es muy rentable ya que se ejecuta en un clúster de hardware básico. No se necesita una máquina especializada para ello. Hadoop también ofrece grandes ahorros de costos ya que es muy fácil agregar más nodos sobre la marcha aquí.

8. Fácil de usar

Sin necesidad de que el cliente se ocupe de la computación distribuida, el marco se encarga de todo. Así que es fácil de usar.

9. Localidad de datos

Hadoop trabaja en principio de localidad de datos. Este principio establece que mueva el cálculo a los datos en lugar de los datos al cálculo. Cuando un cliente envía el algoritmo MapReduce, este algoritmo se mueve a los datos en el clúster en lugar de llevar los datos a la ubicación donde se envía el algoritmo y luego procesarlos.

Ecosistema Hadoop

El ecosistema de Hadoop consta de componentes HDFS y HDFS, MapReduce, YARN, Hive, Apache Pig, Apache HBase y HBase componentes, HCatalogue, Avro, Thrift, Drill, Apache mahout, Sqoop, Apache Flume, Ambari, Zookeeper y Apache OOzie to deep sumérgete en Big Data Hadoop y conviértete en el maestro de la tecnología Hadoop.

Más sobre el ecosistema de Hadoop.

¿Dónde aprender Hadoop?

Estos son algunos enlaces donde puede aprender buena calidad de los tutoriales de Hadoop

Tutorial de Hadoop – Guía de Apache Hadoop completa para principiantes

Instale Hadoop 2 con YARN en modo pseudo-distribuido

Terminologías de Big Data y conceptos de Hadoop que debes conocer

Componentes del ecosistema de Hadoop y su papel

Cómo funciona Hadoop – Aprenda el funcionamiento interno de Hadoop

Si se toma en serio aprender Hadoop y hacer carrera en él, puede obtener una buena calidad de cursos en línea en los siguientes enlaces:

Curso certificado de Big Data y Hadoop

Capacitación en administración certificada de Hadoop

Answer 2

Tiene una máquina (Instancia de SQL Server) con una configuración de 8 GB de RAM y 200 GB de espacio en disco. Ahora, tiene el problema de resumir 100 mil millones de datos estadísticos de transacciones (distribuidos en varios años) y agruparlos en grupos de países mientras filtra los datos erróneos. También está haciendo algunos cálculos aritméticos adicionales con grandes columnas de tipo de datos int

Conecta el servidor utilizando un cliente y ejecuta una consulta, pero incluso después de ejecutar durante varias horas, la consulta falla con un error de error de memoria.

Para resolver el problema, conecte unas 10 máquinas juntas con la misma configuración y desea utilizar la potencia de cálculo de todas estas máquinas juntas, dividiendo la carga de trabajo entre todas estas máquinas y uniendo la salida de todas las máquinas. Resolvió un problema complejo de resumir miles de millones de datos transaccionales utilizando un CLÚSTER de máquinas. En definitiva resolviste un problema de big data.

La computación distribuida es el núcleo de big data.

Actualmente hay muchas tecnologías que admiten Big Data (no solo hadoop). Bases de datos MPP (Teradata, Vertica, Microsoft Parallel datawarehouse).

Por favor, compruebe la siguiente respuesta para aprender de manera difícil.

La respuesta de Gokul Nair a “Soy un DBA” y quiero pasar al campo de Big Data (Hadoop, Spark). ¿Cómo puedo seguir adelante con él? ¿Alguien ya ha hecho tal transición?

Answer 3

Aquí está el enlace —-> Tutorial de Hadoop

Hadoop y Big Data Ambos son términos diferentes

¿Qué es Big Data?

Big data significa realmente una gran cantidad de datos, es una colección de grandes conjuntos de datos que no pueden procesarse utilizando técnicas de computación tradicionales. Big data no es meramente un dato, sino que se ha convertido en un tema completo, que involucra varias herramientas, tecnologías y marcos.

¿Qué viene bajo Big Data?

Big data involucra los datos producidos por diferentes dispositivos y aplicaciones. A continuación se presentan algunos de los campos que están bajo el paraguas de Big Data.

• Datos de la caja negra : es un componente del helicóptero, aviones y aviones, etc. Captura las voces de la tripulación de vuelo, las grabaciones de micrófonos y auriculares, y la información de rendimiento de la aeronave.
• Datos de los medios sociales: los medios sociales como Facebook y Twitter contienen información y las opiniones publicadas por millones de personas en todo el mundo.
• Datos de la bolsa de valores : los datos de la bolsa de valores contienen información sobre las decisiones de “compra” y “venta” tomadas sobre una parte de las diferentes compañías que los clientes tomaron.
• Datos de la red eléctrica : Los datos de la red eléctrica contienen información consumida por un nodo en particular con respecto a una estación base.
• Datos de transporte : los datos de transporte incluyen el modelo, la capacidad, la distancia y la disponibilidad de un vehículo.
• Datos del motor de búsqueda : los motores de búsqueda recuperan gran cantidad de datos de diferentes bases de datos

Ahora viene a hadoop

¿Qué es Hadoop?

Hadoop es un marco de código abierto que permite almacenar y procesar big data en un entorno distribuido a través de grupos de computadoras utilizando modelos de programación simples. Está diseñado para escalar desde servidores individuales a miles de máquinas, cada una ofrece computación y almacenamiento locales.

Answer 4

Hadoop es un marco de programación gratuito basado en Java que admite el procesamiento de grandes conjuntos de datos en un entorno informático distribuido. Es parte del proyecto Apache patrocinado por Apache Software Foundation. Proporciona almacenamiento masivo para cualquier tipo de datos, enorme capacidad de procesamiento y la capacidad de manejar tareas o trabajos concurrentes prácticamente ilimitados.
Pocos proveedores famosos para la distribución de Hadoop incluyen Cloudera, HortonWorks, MapR y AWS.

Con respecto a la curva de aprendizaje, puede seguir mi respuesta → Respuesta de Priyanshu Kumar a ¿Cómo obtengo un trabajo en big data hadoop como un programa de actualización más reciente, M.Tech CSE?
La respuesta de Priyanshu Kumar a ¿Quién es elegible para la capacitación Hadoop de big data?

Un consejo importante sería que no empieces a seguir ciegamente los enlaces de tutoriales o institutos de capacitación. Hadoop es una vasta pila de tecnología y debes estar al tanto de lo que estás haciendo antes de comenzar a hacerlo.

Siempre creo que los libros son los mejores amigos para comenzar a aprender algo nuevo. 🙂

Answer 5

El software Apache Hadoop es esencialmente un marco que permite el procesamiento distribuido de grandes conjuntos de datos en grupos de computadoras utilizando un modelo de programación simple. Hadoop puede escalar desde servidores individuales a miles de máquinas, cada una ofrece computación y almacenamiento locales.

Para aprender a instalar Hadoop

http://hortonworks.com/

para obtener más información acerca de hadoop, visite el curso de ciencias de datos hadoop en – coursera

Answer 6

Big data es simplemente el gran conjunto de datos que las empresas y otras partes reúnen para cumplir objetivos y operaciones específicas. Big data puede incluir muchos tipos diferentes de datos en diferentes tipos de formatos.

Considerando que, Hadoop es una de las herramientas diseñadas para manejar grandes datos. Hadoop y otros productos de software trabajan para interpretar o analizar los resultados de búsquedas de big data a través de algoritmos y métodos específicos.

En mi opinión, MindsMapped ofrece uno de los mejores cursos de Big Data y Hadoop. Uno de los aspectos más reconfortantes de hacer un curso de Hadoop con MindsMapped es que brindan capacitación en línea dirigida por un instructor. Esto ahorra mucho tiempo.