¿Cuál es el futuro de Hadoop para desarrolladores de Java?

Answer 1

Hadoop, independientemente de su poder, es una tecnología antigua. Recientemente he descubierto Apache Spark y me dejó perplejo. Además, hay proyectos para la fundación Apache que están progresando y probablemente generarán un gran interés en los ingenieros de Data Science (si es un término).

No obstante, creo que Hadoop evolucionará, al igual que el alcance de los desarrolladores de Java. Java es un lenguaje de programación muy favorable para Hadoop map reduce la API y otros sistemas de software que son similares a Hadoop o están construidos sobre él.

He estado usando Scala durante casi un año y creo que Scala es un lenguaje mucho mejor que Java (solo una opinión). Entonces, si estás empezando a aprender Java, diría que sigue adelante, pero también echa un vistazo a Scala cuando estés a mitad de camino en el aprendizaje de Java. La transición es fácil y el lenguaje se está teniendo en cuenta en los nuevos proyectos de Big Data.

Ahora, volviendo a Java, es un lenguaje muy popular y se está utilizando muy bien con Hadoop y otras plataformas de Big Data que hacen un uso extensivo de JVM. Entonces, sí, el futuro se ve bien.

Answer 2

Oye
Hadoop es más y un ecosistema de lo que es una tecnología única por decir. Mientras que Hadoop 1 era Hdfs y MapReduce. Hadoop 2 es Hdfs, Yarn, MapReduce, Tez, Spark, Flink, Giraph, Storm … Entonces, el futuro de Hadoop es Hadoop o más bien aplicaciones. Como cualquier otra pieza de software evoluciona, madura, agrega componentes, etc. similar a java que agregó paquetes, gastó el lenguaje, etc. java evolucionó, incluso scala o clojure están basados ​​en la JVM, así que la tecnología basada en java, si así lo hace.
Para un desarrollador de Java, hadoop es como cualquier otra tecnología. Depende de usted usar lo que necesite, lenguaje o software. En el mundo de Java, puede usar Spring, guava, Tomcat, Jetty, Lucene y muchos más, y usted elige según sus necesidades. Incluso puede agregar su propio código o algún JS o Pythoor Perl en la mezcla.
Para Hadoop, el mundo no ha cambiado, resuelve la distribución para usted y luego algunas aplicaciones pueden hacerlo más fácil o no. Esto es nuevo. Estamos tentados a encontrar un martillo y consideramos que todos nuestros problemas son clavos, pero gran parte de lo que era verdad sigue siendo muy válido.
Si usted es un desarrollador de Java, supongo que se enfoca en las aplicaciones de makings y necesita un conjunto rico de primitivas, una forma de hacer la prueba unitaria, la prueba final, las pruebas de integración y un marco robusto bien documentado. Además de esto, es posible que tenga problemas de aplicaciones de mayor nivel como latencias, ecosistemas existentes, una forma de compartir su código.
Para todos estos elegirás:
Motor
– MapReduce tiene muchos de estos pero es un motor de paradigma único con abstracciones muy bajas y orientado a lotes.
– Encienda un motor de nivel superior con más memoria orientada a mejores latencias pero más reciente y puede que no tenga todo lo que necesita desde la perspectiva de un desarrollador de aplicaciones.
– Encienda un motor de nivel superior más orientado a la memoria para obtener mejores latencias aún más recientes, pero podría ofrecer una arquitectura más conectable.
Marco de referencia
– En cascada un marco de desarrollo general con capacidades de alto nivel de extracción y pruebas agradables, puede elegir el motor que desee desde arriba en tiempo de ejecución
Analizadores de lenguaje
Hive: una extracción de SQL en los datos para el motor de su elección
Pig: una extracción de Script en datos para el motor de tu elección
Bases de datos
Hbase, Cassandra, Solr, Elasticsearch

He sido breve y no me he dado cuenta o le he dado a cada tecnología una verdadera explicación merecida, pero tratar de mostrar como en cualquier línea de trabajo el desarrollo de software viene con el montaje de una arquitectura y la elección de componentes por una razón bien informada. La mayoría, si no todos estos componentes, comprenden Java, Scala, Python y otros. Entonces, el futuro de Hadoop es la gran aplicación que harás con ella, y sospecho que usarás al menos 5-7 bloques en cualquier arquitectura dada.

Answer 3

Este es un extracto de este blog 5 razones por las que los profesionales de Java deberían aprender hadoop.

“Las empresas de todo el mundo no están usando Hadoop porque quieren. Tienen que cambiarse a Hadoop, ya que tiene el sentido comercial perfecto, y siguen buscando desarrolladores de Java que tengan experiencia con Hadoop.
Un profesional de Java, habiendo aprendido a Hadoop, le resultará más fácil profundizar en los códigos de Hadoop y estaría en una mejor posición para entender la funcionalidad de un módulo en particular y es aquí donde los profesionales de Java obtienen una ventaja sobre otros profesionales “por Hadoop Training Online – Obtener la certificación de IBM

Answer 4

Sugerencia, profundizar con las primitivas en lugar de las implementaciones. Eche un vistazo a MapReduce, el concepto central detrás de Hadoop, incluido su trabajo de investigación. Además, la comunidad se está alejando de hadoop en relación con implementaciones específicas como Hive, Spark y etc.