¿Hay algún proyecto Hadoop disponible que ayude a los principiantes a aprender?

Answer 1

En breve se lanzó un programa muy breve y preciso sobre la implementación de proyectos de Big Data, que contiene proyectos de dominios como la banca, el comercio electrónico con videos autodidactas sobre la ejecución de los proyectos.

Dominar Big Data con proyectos del mundo real

Dado que el aprendizaje automático se implementa en gran medida junto con las tecnologías de Big Data como Haadoop y spark, estoy dando algunos casos de uso en el aprendizaje automático con Spark.

Enlace: Caso de uso de Spark SQL – 911 – Análisis de datos de números de la línea de ayuda de emergencia

Enlace: Análisis de datos de Pokémon utilizando Apache Hive

Enlace: Aprendizaje de máquina con chispa – Parte 1

Enlace: Aprendizaje de máquina con chispa – Parte 2

Enlace: Aprendizaje automático con chispa en el caso de uso del banco – Parte 3

Encuentre los enlaces a continuación para pequeños casos de uso en MapReduce en hadoop.

Los dos enlaces a continuación te ayudarán a dominar los conceptos de Reducción de mapas:

Enlace 1: Reducir el uso del mapa – Uber Data Analysis

Enlace 2: MapReduce utiliza el análisis de datos de Case-Youtube

Enlace 3: Caso de uso de reducción de mapa – Análisis de datos de Titanic

Los siguientes enlaces están relacionados con el análisis de sentimientos utilizando varios componentes de Hadoop como Pig y Hive.

Enlace 4: Caso de uso de cerdo – La parte del análisis diario de datos de muestra – I

Enlace 5: Caso de uso de cerdos: la parte del análisis diario de datos – II

Enlace 6: Determinar Hashtags populares en Twitter usando Pig

Enlace 7: Análisis de sentimientos en Twitter – Análisis inteligente de zonas horarias

Enlace 8: Caso de uso de Hive – Contando Hashtags usando Hive

Enlace 9: Análisis de opiniones en tweets con Apache Pig utilizando el diccionario AFINN

Enlace 10: Análisis de opiniones en tweets con Apache Hive utilizando el diccionario AFINN

Para los casos de uso de nivel de principiante en Spark, consulte los siguientes enlaces:

Enlace 11: Caso de uso de HealthCare con Apache Spark

Enlace 12: Introducción a Spark RDD y operaciones básicas en RDD

Enlace 13: Análisis de los datos de delitos de Nueva York utilizando SparkSQL

Enlace 14: Caso de uso de Spark – Análisis de datos de viaje

Enlace 15: Caso de uso de Spark – Análisis de datos Uber

Enlace 16: Caso de uso de Spark – Análisis del conjunto de datos de MovieLens

Enlace 17: Caso de uso de chispa – Análisis de redes sociales

Si usted es totalmente nuevo en Big Data, le recomiendo que revise los siguientes libros electrónicos sobre Big Data para comprender los pasos completos que deben seguirse para comenzar a trabajar en las tecnologías de Big Data.

Guía paso a paso para convertirse en Big Data Developer.

Entendiendo Big Data

Guía para principiantes de Spark

Satyam Kumar | Desarrollador Hadoop en Acadgild

Answer 2

Si usted es un principiante y quiere hacer un proyecto, necesita conocer las herramientas para resolver un problema de Big Data en Hadoop:
Necesitas saber cómo usar las siguientes herramientas :

• R lenguaje analítico
• RHadoop
• Cerdo
• Algoritmos de aprendizaje automático como la regresión lineal
• Linux / Java
• HDFS

Para conocer las herramientas anteriores puede visitar los siguientes sitios web :

• Bigdatauniversity.com
• Encuentra cursos de ciencia de datos en Coursera.com
• Lea la documentación de todas las herramientas en sus respectivos sitios web.

Pero, si sabe cómo usar estas herramientas y necesita comenzar a trabajar en un proyecto de Hadoop, puede hacer clic en los siguientes enlaces :

• Predicción de retrasos en las aerolíneas: http://stat-computing.org/dataex …
• Competencias en línea de resolución de problemas de Big Data en kaggle.com

Espero que esto te ayude a empezar.

Answer 3

Hay muchos proyectos disponibles de los cuales puedes aprender. En general, cualquier proyecto de Hadoop implica conceptos relacionados con varias herramientas que existen en el ecosistema de Hadoop.

A continuación se muestra el enlace al video tutorial de Hadoop en el que se han demostrado múltiples proyectos de Hadoop prácticamente con una explicación:

Tutorial de Hadoop para principiantes | ¿Qué es Hadoop? Tutorial de Hadoop | Entrenamiento Hadoop | Edureka

También puede consultar los siguientes blogs que cubren diferentes herramientas en el ecosistema de Hadoop junto con ejemplos prácticos y proyectos:

Hadoop Streaming: escribiendo un programa de Hadoop MapReduce en Python | Blog de Edureka – Programa de reducción de mapas

Ejemplo de MapReduce | Ejemplo de Reducir unir de MapReduce de lado | Edureka – Join de lado reducido

Pasos para crear UDF en Apache Pig | Edureka.co – Creando UDF en Apache Pig

Programación De Cerdo | Crea tu primer script de Apache Pig | Edureka – Creación de guiones de cerdo

Principales comandos de Hive con ejemplos en HQL | Blog Edureka – Comandos De La Colmena

Ejemplo de prueba de concepto de HBase | HBase – Edureka Blog – HBase

Answer 4

Para inclinarse Hadoop apache es mejor el sitio web. Para aprender a través de la implementación del proyecto, puede descargar los datos desde el siguiente sitio y comenzar a implementar sus ideas:
Data.gov
Datos
Página en open-data.europa.eu
Basketball-Reference.com
Referencia de beisbol
Pro Football Reference
Datos | El guardián
Y muchos más

Answer 5

Para una persona más fresca, hay muchos conceptos pequeños con los que podemos comenzar a aprender hadoop como los siguientes:
1. Seleccione los registros de su sistema e intente convertir la información en datos.
2.Apache .NET Ant Library
3.Apache Acumulo
4. Apache ACE
5.Apache ActiveMQ
Estos son algunos de los proyectos que podemos iniciar y si desea aprender de los conceptos básicos de hadoop, puede preferir el siguiente enlace:
Apache Spark, Scala Training Classes en línea | Apache Spark, Scala Cursos Online

Answer 6

Puede encontrar el proyecto Social Media Sentiment Analysis utilizando Hadoop para fines de aprendizaje con documentos y código completos al registrarse en este enlace: Free Big Data & Hadoop Project

Answer 7

Puedes descargar conjuntos de datos en vivo para practicar desde aquí.

Estado de salud, seguro de salud y utilización de servicios médicos (tablas de 2001 a 2011)

Answer 8

Es bueno saber que estás interesado en el proyecto Hadoop, pero al mismo tiempo me pregunto, sin un conocimiento adecuado de Hadoop, qué harás de un proyecto. En segundo lugar, ni siquiera sabe si el proyecto es un candidato ideal para el proyecto Hadoop o no.
Le sugiero que no debe llegar a ninguna conclusión sin comprender esto en detalle, y para eso le sugiero que visite el siguiente sitio de Simplilearn. No creo que ahora necesite Simplilearn y la introducción Big-Data y Hadoop Developer Certification Training. Simplilearn ofrece no solo un curso (que cubre todo dentro de un curso) sino también cursos de profundidad para cada una de las tecnologías clave de Big Data Hadoop.