实时数据湖基础环境构建之kafka环境搭建

一、搭建环境

操作系统：centos7.2

二、准备安装软件

安装软件：jdk-8u181-linux-x64.gz、kafka_2.11-2.1.0.tgz、zookeeper-3.4.5.tar.gz

三、开始安装

1、使用 SecureCRTP 登录centos7.2 系统，创建工作目录

        mkdir ysn

2、使用WinSCP，登录centos7.2 系统，将jdk-8u181-linux-x64.gz、kafka_2.11-2.1.0.tgz、zookeeper-3.4.5.tar.gz 文件上传到bigdata目录下

3、使用 SecureCRTP，进入bigdata目录，分别解压上传好的文件

      cd ysn
      tar -zxvf jdk-8u181-linux-x64.gz
      tar -zxvf kafka_2.11-2.1.0.tgz
      tar -zxvf zookeeper-3.4.5.tar.gz       

4、将解压目录，移动到对应的目录下

     mv jdk1.8.0_181 /usr/local/jdk
     mv zookeeper-3.4.5 /usr/local/zk
     mv kafka_2.11-2.1.0 /usr/local/kafka  

5、配置zookeeper

     cd /usr/local/zk/conf
     cp zoo_sample.cfg zoo.cfg
     vim zoo.cfg

修改文件中的dataDir路径配置为

     dataDir=/usr/local/zk/data      

保存退出

6、配置kafka

     cd /usr/local/kafka/config
     vim server.properties    

修改文件中的log.dirs路径配置为

    log.dirs=/usr/local/kafka/data

保存退出

7、配置jdk、zookeeper、kafka环境变量

      vim /etc/profile
         

在文件尾部添加配置信息

export JAVA_HOME=/usr/local/jdk
export ZK_HOME=/usr/local/zk
export KAFKA_HOME=/usr/local/kafka
export PATH=.:$JAVA_HOME/bin:$ZK_HOME/bin:$KAFKA_HOME/bin:$PATH

保存退出，配置生效

   source /etc/profile

8、启动zookeeper

    zkServer.sh start

查看启动状态

   zkServer.sh status

显示Mode: standalone 信息表示正常

9、启动kafka

cd /usr/local/kafka/bin
./kafka-server-start.sh ../config/server.properties

创建主题

./kafka-topics.sh --zookeeper 127.0.0.1:2181 --replication-factor 1 --partitions 1 --create --topic test
 

启动生成者

./kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic test  

启动消费者

./kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic test

测试在生产者端输入信息，消费者是否正常接收到

表示正常接收，安装kafka环境搭建完成。

如果觉得文章能帮到您，欢迎关注微信公众号：“大数据技术天涯” ，共同进步！

持续分享java微服务技术，大数据、人工智能等科技类原创文章。