Курс «Основы Kafka»

Направление
Java-разработка
Формат
Вебинар
Домашние задания
Есть
Итоговый экзамен
Нет
Количество уроков
9
Документ об обучении
Сертификат
Обратная связь
Есть
Доступ
Сразу после покупки
Последнее обновление 16.08.2022

О курсе

Вводный тренинг по Apache Kafka — платформе распределенной потоковой передачи событий с открытым исходным кодом. Рассматриваются архитектурные особенности Kafka, обеспечивающие высокопроизводительную доставку данных.

Программа курса

  1. Что такое Kafka.
    Примеры удачного и неудачного использования Kafka.
    Kafka и база данных: сходства и различия.
    Kafka и прямые конкуренты.
    Kafka и Apache Pulsar.
    Архитектура хранилища Kafka: Брокеры, Темы, Разделы, Сегменты, Реплики.
    Архитектура кластера Kafka: Zookeeper, партиционирование, главные и ведомые узлы репликации, ISR.
    Клиенты и API.
  2. Практика 2.1: запуск кластера Kafka с помощью Docker.
    Установка Zookeeper.
    Установка брокеров Kafka.
  3. Самые популярные инструменты Kafka.
    Демо 3.1: Инструменты Kafka.
    Практики KafkaOps.
  4. Kafka Producer API: основы.
    Практика 4.1: Отправка одного сообщения.
    Kafka Consumer API: основы, группы потребителей.
    Практика 4.2: Один получатель.
    Практика 4.3: Несколько получателей в одной группе.
    Дополнительные возможности: Пакеты, Повторы, Идемпотентность, Транзакции, Перебалансировка Групп Потребителей.
    Практика 4.4: Транзакционный Отправитель.
    Практика 4.5: Отправка и получение в транзакции.
    Практика 4.6: Замороженный потребитель.
    Практика 4.7: Медленный потребитель.
  5. Безопасность: SSL, SASL, Kerberos.
    REST Proxy: отправка и получение сообщений в форматах JSON, бинарные и Авро файлы.
    Практика 5.1: доступ через REST Proxy.
    Schema Registry: реестр схем.
    Практика 5.2: Schema Registry.
  6. Kafka Streams: DSL, API, StreamBuilder, создание и реализация топологии.
    Устройство Kafka Streams: многопоточность, несколько экземпляров и задач.
    Практика 6.1: Реализация потоков без сохранения состояния.
    Обработка с сохранением состояния: хранилище состояний, отказоустойчивость для хранилищ состояний.
    Практика 6.2: Агрегация в Kafka Streams.
    KTable: Потоки обновления данных, кэширование, скорость выдачи, агрегация.
    Окна в потоках: метки времени, плавающие, прыгающие, сеансовые.
    Соединение: поток с потоком, KTable с KTable, поток с KTable.
    Практика 6.3: Соединение потоков и таблиц.
    KSQL: Потоки без программирования.
    KSQL Серверная архитектура.
    Практика 6.4: Реализация потоков без сохранения состояния в KSQL.
    Практика 6.5: Агрегация в KSQL.
    Практика 6.6: Соединение в KSQL.
  7. Архитектура Kafka Connect.
    Источники Kafka Connect.
    Практика 7.1: JDBC Source Connector (postgres).
    Практика 7.2: JDBC Source Connector (postgres) с ключами.
    Kafka Connect Sinks.
    Практика 7.3: JDBC Sink Connector (postgres).
    Практика 7.4: JDBC Sink Connector (postgres) с ключами.
  8. Цели по производительности и режимы выполнения.
    Zookeeper: конфигурация, автономный режим и режим кворума, CLI.
    Управление и мониторинг кластера.
    Практика 8.1: Мониторинг кластера Kafka с помощью Prometheus.
    Практика 8.2: Измерение производительности.
  9. Различные мультикластреные архитектуры MirrorMaker.
    Практика 9.1: Использование MirrorMaker для синхронизации кластеров.
    Confluence Replicator.