Kafka概述以及安装配置

Kafka admin 2年前 (2018-10-09) 179次浏览 0个评论 扫描二维码

一、Kafka概述

PUBLISH & SUBSCRIBE
Read and write streams of data like a messaging system.
发布和订阅
读取和写入数据流,类似消息传递系统。
PROCESS
Write scalable stream processing applications that react to events in real-time.
编写可扩展的流处理应用程序,以实时响应事件。
STORE
Store streams of data safely in a distributed, replicated, fault-tolerant cluster.
存储
将数据流安全地存储在分布式、多副本、容错的群集中。
Kafka® is used for building real-time data pipelines and streaming apps.
It is horizontally scalable, fault-tolerant, wicked fast,
and runs in production in thousands of companies.
Kafka®用于构建实时数据管道和流应用程序。 它具有横向可扩展性、容错性、快速性,并在数千家公司的生产中运行。

二、Kafka架构及核心概念

1)生产者
2)消费者
3)broker
4)topic

消费者和生产者约定指定的topic来传递特定数据

三、Kafka部署及使用

由于kafka使用scala开发

1、下载jdk1.8

到这里查看jdk得安装,基本所有的编译好的包,linux都是下载包后将路径添加到PATH中
https://blog.csdn.net/u013429010/article/details/81744749

2、下载安装scala

这里我们使用scala2.11
https://downloads.lightbend.com/scala/2.11.12/scala-2.11.12.tgz
解压tar -xzvf scala-2.11.12.tgz -C /app/cdh/
路径添加到环境变量中
vim /etc/profile (如果有用户的就是 vim ~/.bash_profile)

export SCALA_HOME=/app/cdh/scala-2.11.12
export PATH=$SCALA_HOME/bin:$PATH

source /etc/profile 生效后
使用scala -version查看是否成功

3、下载安装zookeeper

这里我们使用cdh的zookeeper-3.4.5-cdh5.15.0.tar.gz版本,以防止版本不兼容造成的问题
https://archive.cloudera.com/cdh5/cdh/5/zookeeper-3.4.5-cdh5.15.0.tar.gz
解压tar -xzvf zookeeper-3.4.5-cdh5.15.0.tar.gz -C /app/cdh/
路径添加到环境变量中
vim /etc/profile (如果有用户的就是 vim ~/.bash_profile)

export ZOOKEEPER_HOME=/app/cdh/zookeeper-3.4.5-cdh5.15.0
export PATH=$ZOOKEEPER_HOME/bin:$PATH

source /etc/profile 生效后

cd $ZOOKEEPER_HOME/conf
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
dataDir=/app/tmp/zookeeper

zkServer.sh start
启动zookeeper

4、下载安装kafka

下载scala2.11版本对应的kafka
https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.0.0/kafka_2.11-2.0.0.tgz
解压tar -xzvf kafka_2.11-2.0.0.tgz -C /app/cdh/
路径添加到环境变量中
vim /etc/profile(如果有用户的就是 vim ~/.bash_profile)

export KAFKA_HOME=/app/cdh/kafka_2.11-2.0.0
export PATH=$KAFKA_HOME/bin:$PATH

source /etc/profile 生效
总结:
linux应用中但凡是有已经编译的版本,就可以下载编译完的版本,按照以上套路进行安装

5、cd $KAFKA_HOME/config 配置 vim server.properties

单节点单broker:

# The id of the broker. This must be set to a unique integer for each broker.
broker.id=0
#这个参数是broker的id,必须设置成数字并且,多个broker之间不重复
listeners=PLAINTEXT://DEV2:9092  #当前机器hostname
log.dirs=/data/kafka/server-0
zookeeper.connect=DEV2:2181

配置完毕后启动kafka
kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties
创建topics
kafka-topics.sh --create --zookeeper DEV2:2181 --replication-factor 1 --partitions 1 --topic test
查看topics:
kafka-topics.sh --list --zookeeper DEV2:2181
发送消息:
kafka-console-producer.sh --broker-list DEV2:9092 --topic test
消费消息:

kafka-console-consumer.sh --bootstrap-server DEV2:9092 --topic test --from-beginning
kafka-topics.sh --describe --zookeeper DEV2:2181
kafka-topics.sh --describe --zookeeper DEV2:2181 --topic test

注意:
如果在参数中添加--from-beginning ,则每次重启kafka-console-consumer.sh后都会从头开始消费


codeobj , 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权
转载请注明原文链接:Kafka概述以及安装配置
喜欢 (0)
[a37free@163.com]
分享 (0)
发表我的评论
取消评论
表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址