[Слёрм] Apache Kafka (Анатолий Солдатов, Александр Миронов)

​
Преимущества курса:

✓ Методология Слёрм
Мы расскажем об Apache Kafka в простой и последовательной форме, вам не придется изучать сложную документацию.
✓ Работа на результат
Техподдержка поможет каждому студенту справиться с практическими заданиями и добиться поставленных целей.
✓ Курс на русском языке
Практический курс по Apache Kafka на русском языке, вам будет проще усвоить материал, задавать вопросы и общаться с коллегами.
✓ Практикующие эксперты
Вы будете учиться у специалистов, которые уже несколько лет работают с Apache Kafka, знают о важных нюансах и будут делиться своим опытом с вами.

Необходимые знания:

а) Базовые знания и навыки работы с Git и Docker
- клонирование репозитория, добавление в него файла, commit, push.
- сборка docker-образов и запуск контейнеров из них.

б) Хорошее знание Linux
- умение работать с systemd, sudo, ip, ifconfig, cron;
- знание bash на уровне написания (минимум чтения) скриптов;
- умение работать с консолью (автокомплит, хистори и т.д.);
- знание основных утилит в линукс (ps, grep, cat, free и т.д.).

Программа курса: Курс состоит из бесплатной части (вводная, для ознакомления) и платной (основная часть)!!!


Бесплатный блок (Курс будет доступен в личном кабинете EDU.SLURM.IO после регистрации):
1. Введение

• Немного истории: почему лог и стриминг важны, и занимают значительное место в бизнес процессах компаний.

2. Базовые основы технологии

• Место Кафки в жизни корпорации.
• Сравнения с подобными технологиями.
• Базовые примитивы: брокеры, топики, партиции, оффсеты, retention - обзор экосистемы (коннекторы, фреймворки).

3. Installation & single broker cluster

• Создание и конфигурация топиков - первая запись и первое чтение (из консоли и клиентом).
• Zookeeper (basic knowledge).

Программа основного/платного курса:
№1: Distributed Cluster

• Конфигурационные параметры кластера.
• Отказоустойчивость (replication, RF, ISR, leader election).
• Контроллер - multi-DC setup: rack-awareness (MirrorMaker 2.0, uReplicator) - примеры архитектур.

№2: Клиенты

• Producer (lingering, batching, acks).
• Consumer (standalone, consumer group).
• Как (не) потерять данные: strong consistency vs. availability (acks, jepsen).
• Idempotence & transactions.

№3: Мониторинг

• Key metrics.
• Key alerts.
• SLI & SLO for streaming infrastructure.

№4: Performance analysis & tuning

• Benchmarking.
• Изменение конфигурационных параметров и их оптимизация.

№5: Обслуживание сервера и траблшутинг

• Балансировщик: partition assignment & repartitioning (hotspots, throttling, tools).
• Upgrades & downgrades.
• Чтение логов.
• Продвинутые инструменты (decoding __consumer_offsets, dumping binary blobs, forcing controller re-election, zookeeper data).
• Примеры из практики, real-life кейсы.