¿Cuál es la mejor manera de comenzar a aprender Kafka (por ejemplo, charlas, tutoriales, ejemplos, etc.)?

La mejor forma de aprender sobre Kafka es leer la página de diseño original: Apache Kafka. Eso le dará una visión general de la motivación detrás de las opciones de diseño y lo que hace que Kafka sea eficiente. También es una lectura muy interesante si está interesado en sistemas.


En términos de adopción, Kafka se usa actualmente en la producción en LinkedIn, Twitter, Tumblr, Square y varias compañías diferentes. Puede leer sobre los casos de uso que esas empresas encontraron para Kafka aquí – Powered By – Apache Kafka – Apache Software Foundation.


Hemos escrito algunos artículos y dado varias charlas en varias empresas y conferencias: documentos y presentaciones de Kafka. Si está interesado en algunos números de rendimiento, puede echar un vistazo a mi presentación ApacheCon – http://people.apache.org/~nehana…


Finalmente, la mejor manera de aprender más sobre Kafka es usarlo. Hemos preparado un inicio rápido que te ayudará a comenzar. Si tiene más preguntas, la lista de correo está muy activa – Apache Kafka

La mejor manera es leer la documentación en Apache Kafka, pero es larga y no apta para principiantes.

También he creado un curso de Udemy que tiene una alta calificación, más de 3000 estudiantes, 600 evaluaciones, promedio de 4.6 (cupón para obtenerlo por $ 10 KAFKAQUORA10):
Apache Kafka Series – Aprende Apache Kafka para principiantes

Le permite comenzar a utilizar Kafka muy rápidamente, aprovecha el estado de las tecnologías del arte con Docker , demuestra la integración con el marco popular como Spark Streaming , Akka Streams , Apache NiFi y Scala .

Y si quieres aprender temas avanzados de Kafka, aquí están mis otros cursos:

  • Kafka Connect: Apache Kafka Series – Aprendizaje práctico de Kafka Connect. Twitter -> Kafka -> ElasticSearch & PostgreSQL. + codificando su propio conector Kafka.
  • Kafka Streams: Apache Kafka Series – Kafka Streams para el procesamiento de datos. 4 ejemplos de aplicaciones de Streams, DSL de alto nivel, exactamente una vez semántica
  • Configuración de Kafka Cluster en AWS: Apache Kafka Series – Configuración y administración de Kafka Cluster. Configuración de Kafka y Zookeeper en modo cluster. Comprender los ajustes necesarios para las implementaciones de producción. Implementación de manos a mano en AWS.
  • Más tutoriales en: Apache Kafka Tutorials

Aquí está la lista esencial de recursos:

  • El documento original de Kafka: Kafka: un sistema de mensajería distribuida para el procesamiento de registros disponible en http://research.microsoft.com/en
  • Logs y el artículo completo relacionado con Kafka de Jay Kreps, autor de Kafka: The Log: Lo que todo ingeniero de software debe saber sobre la abstracción unificadora de datos en tiempo real disponible en http://engineering.linkedin.com/
  • Presentación paralela al artículo anterior, nuevamente por Jay Kreps:
    Kafka: I Love Logs disponible en
  • Otra presentación de otro comentarista de Kafka, Joe Stein: Transmisión en tiempo real y tuberías de datos con Apache Kafka disponible en
  • La documentación oficial de Kafka que discute varias decisiones de diseño disponibles en http://kafka.apache.org/document

Kafka es un sistema de mensajería de publicación-suscripción distribuido que está diseñado para ser rápido, escalable y duradero. Fue desarrollado por LinkedIn y de código abierto en el año 2011. Es una opción sumamente conveniente para la integración de datos con la creciente complejidad en los desafíos de procesamiento de datos en tiempo real. Es una gran solución para aplicaciones que requieren procesamiento de mensajes a gran escala.

Los componentes de Kafka son:

  1. Zookeeper
  2. Kafka Cluster – que contiene uno o más servidores llamados como intermediarios
  3. Productor – que publica mensajes a kafka.
  4. Consumidor – que consume mensajes de kafka.

Los componentes de Kafka son:

Kafka guarda los mensajes en un disco y les permite a los suscriptores leerlos. La comunicación entre productores, clúster kafka y consumidores se realiza con el protocolo TCP. Todos los mensajes publicados se conservarán durante un período de tiempo configurable. Cada agente kakfa puede contener múltiples temas en los que los productores publican mensajes. Cada tema se divide en una o más particiones ordenadas. Las particiones se replican en varios servidores para la tolerancia a fallos. Cada partición tiene un servidor Leader y cero o más servidores seguidores, dependiendo del factor de replicación de la partición.

Cuando un editor publica en un clúster Kafka, consulta qué particiones existen para ese tema y qué corredores son responsables de cada partición. Los editores envían mensajes al intermediario responsable de esa partición (utilizando algún algoritmo de hash).

Los consumidores hacen un seguimiento de lo que consumen (id de partición) y almacenan en Zookeeper. En caso de falla del consumidor, un nuevo proceso puede comenzar desde el último punto guardado. A cada consumidor del grupo se le asigna un conjunto de particiones para consumir.

Los productores pueden adjuntar una clave con mensajes, en la que todos los mensajes con la misma clave van a la misma partición. Al consumir de un tema, es posible configurar un grupo de consumidores con varios consumidores. Cada consumidor en un grupo de consumidores leerá los mensajes de un subconjunto único de particiones en cada tema al que se suscriban, por lo que cada mensaje se entrega a un consumidor en el grupo, y todos los mensajes con la misma clave llegan al mismo consumidor.

Artículo relacionado: Cómo empezar a trabajar con KAFKA

Hola,

Puedes probar a continuación absolutamente gratis Kafka Tutorial. Utilice el código de cupón skafkaj18 para la suscripción gratuita.

Diseñe su propio grupo de Kafka con los tutoriales de Apache Kafka

Saludos

Mover

Aquí hay algunos consejos que son útiles

  • kafka-storm: Conoce la página de Happiestmind
  • Construyendo una plataforma analítica a gran escala con Storm, Kafka y Cassa …
  • Documento sobre el caso de uso kafka Página en computadora
  • Introducción de AJUG a Apache Kafka
  • Índice – Apache Kafka – Apache Software Foundation
  • Apache Kafka: Nishant Garg: 9781782167938: Amazon.com: Libros
  • Tech Talk: Kafka, el sistema de mensajería de publicación y publicación de código abierto de LinkedIn.
  • Usarlo

** agregará más

Además de las respuestas anteriores, me gustaría dar referencias a algunos buenos tutoriales sobre Apache Kafka.

  • Tutorial de Kafka de TutorialKart para ejemplos de Kafka
  • Curso de Udemy – Para principiantes

¡Creo que la mejor manera de hacerlo Kafka sería a través de un tutorial en línea! Hago todo mi aprendizaje en línea de Eduonix, así que fui allí para buscarte uno.

Tienes mucha suerte, todo el curso es completamente gratis! Porque tienen alguna venta pasando, supongo.

Aquí está el enlace: Diseñe su propio clúster de Kafka con los tutoriales de Apache Kafka

Apache Kafka – sistema de mensajería de suscripción de publicación distribuida. Comprenda qué es Apache Kafka, sus componentes, sus características que lo hacen diferente de otros sistemas de mensajería y sus casos de uso en tiempo real junto con la demanda de la industria. Puede obtener toda la información y los detalles que explican a Kafka en el siguiente video:

Si quieres obtener una formación certificada de Apache Kafka entonces no necesita pensar mucho y no debe preocuparse, solo inscríbase en el Curso de Instructor Dirigido por Kafka Live hoy mismo.

Prueba esto – Apache Kafka para principiantes absolutos

Es gratis

Hola amigo,

Hay muchas fuentes disponibles en internet.

Puedes empezar desde el siguiente enlace Apache Kafka. Pero si busca entender kafka y cómo implementar e interactuar con Kafka utilizando diferentes tecnologías como Java, Spring Boot y Docker. Tengo un curso creado en Udemy y solo cuesta $ 10. Utilice el código de cupón como 10_DOLLAR_COURSE

Haga clic en el siguiente enlace para el curso en Udemy!

Apache Kafka para principiantes – Aprenda Apache Kafka de forma práctica

Gracias por la A2A. Seguir el tutorial puede ayudarte.

Tutorial de Apache Kafka

Gracias,

Way to Easy Learn

Recientemente escribí un pequeño manual de instrucciones con kafka 0.8.2, tal vez alguien lo encuentre útil: http://beegor.blogspot.com/2015/

Tengo un pequeño artículo para empezar:

https://www.linkedin.com/pulse/i