Kafka を知るための情報源
ここ半年ほどずっと Kafka の大規模クラスターに関っていたりします。自分が Kafka を知るために読んだドキュメントやら資料などもだいぶたまったので、このあたりで一度整理をして、メモ代わりにここに残しておこうと思います。
公式ドキュメント
Kafka の公式ドキュメントはとてもよく書かれているので、非常に有用です。何度読んでも新しい発見があるぐらい詳細に書かれているので、自分は印刷したものを手元に用意して、困った時などに見直すようにしています。他にも一部古い情報が混じっているので注意が必要ですが、Wiki や FAQ のページも有用です。
ソースコード
ソースコードは Apache の Git リポジトリにあります。GitHub にもミラーされているので、自分はこちらで参照することが多いです。
コミュニティ
メーリングリストは公式に用意されていて、ユーザー向けの ML と開発者向けの ML に分かれています。流量が速いので追うのは結構大変ですが、開発の動向や他のユーザーが困っている事を知るには有用です。IRC もあるみたいです。
Kafka の生みの親は LinkedIn であり、Kafka を最も長く運用しているのも LinkedIn です。LinkedIn の開発者は Kafka に関する情報を積極的に発信しているため、LinkedIn の開発者向けブログの記事には注目しておくといいかと思います。過去の記事も、Kafka を理解する上ではとても役立ちます。
Confluent
Kafka の生みの親たちが、Kafka を武器に LinkedIn から独立して立ち上げたスタートアップが Confluent Inc. です。彼らの Blog にも Kafka に関する最新情報などが掲載されています。更新頻度も高く内容も充実していてとても有用です。また、彼らは Confluent Platform と呼ばれる Kafka のディストリビューションも配布しています。こちらは Kafka に加えて Schema Registry や REST Proxy といった周辺ツールも付属しているので、Kafka を実際に使う際に検討してもよいでしょう。
ディストリビューション
Confluent 以外にもディストリビューションはいくつかあります。Hortonworks が配布している HDP や、Cloudera が配布している CDH にも Kafka が含まれているようです。導入の際にはこちらを検討してみるのもよさそうです。
プレゼンテーション
Web 上に公開されている Kafka に関するプレゼンテーションの中で、勉強になったものをいくつかピックアップしておきます。
- Apache Kafka 0.8 basic training
- Enterprise Kafka: Kafka as a Service
- Event Detection Pipelines with Apache Kafka
- Tuning Kafka for Fun and Profit
- Intra-cluster Replication for Apache Kafka
- Building a Real-Time Data Pipeline: Apache Kafka at LinkedIn
- Kafka at Scale
その他
LinkedIn のブログ記事「The Log」はめちゃくちゃ長いのですが、ログに対する考え方の理解が深まるので読んでおくのが良いかと思います。Oreilly から「I Heart Logs」というタイトルで書籍にもなっています。
