5分钟学大数据第二节-高性能分析性数据库Druid集群部署那些坑

总体来说，在部署中的遇到的坑不是很多，下面是集群部署过程及需要注意的地方。

一、角色分配：

机器：hadoop2,hadoop3,hadoop4,hadoop5

1、管理角色服务器："Master" servers：主要进程： Coordinator 和 Overlord

hadoop2

2、数据服务器："Data" servers：主要进程：Historical 和 MiddleManager

hadoop3,hadoop4

3、查询服务器："Query" servers：Broker

hadoop5

二、配置修改：

在conf/druid目录中，可以看到如下文件夹：broker ，_common， coordinator， historical ，middleManager， overlord

其中 _common是抽离出来的公共配置，其他为各角色配置。

1、公共配置修改：/druid-0.12.3/conf/druid/_common

1）修改mysql meta storage

需要先添加数据库：CREATE DATABASE druid DEFAULT CHARACTER SET utf8;

修改配置源数据存储：注意配置后，启动coodnator角色会报错，因为默认在扩展里没有添加扩展包

参考文档：http://druid.io/docs/latest/development/extensions-core/mysql.html

添加mysql扩展包： 可以用编译源码生成jar包，这里使用官方提供的另外一张方式：pull-deps tool ：命令：java -classpath "/druid目录/lib/*" io.druid.cli.Main tools pull-deps --clean -c io.druid.extensions:mysql-metadata-storage:0.12.3 执行获取。

2）深度存储配置

2、各角色的配置文件 jvm.config runtime.properties

jvm 配置里主要修改 堆内存大小（注意broker角色默认为xms24g 太大会资源不足无法启动要改小），时区修改，临时目录等。

官方提示的注意：Keep -XX:MaxDirectMemory >= numThreads*sizeBytes, otherwise Druid will fail to start up..

runtime.properties 这个主要添加下druid.host

druid.host=192.168.3.85

coordinator注册到zk的地址会以runtime.properties 配置的 host为准 如下截图，开始手抖把host配成了一个错误的ip了，historical进程会通过zk里写入的这个地址进行通信，host写错将一直报错无法连接）下图是在zookeeper里的存储信息

三、在各个服务器上启动

bin目录下有各个服务的启动脚本

./historical.sh stop

./historical.sh start

四、查看服务

http://192.168.3.85:8081/#/

http://192.168.3.85:8090/console.html

这样集群就搭建起来了。