【每日一记11】CENTOS 7/8 部署FLINK高可用独立集群
  

新手629655 1603

{{ttag.title}}
    首先要安装JDK及zookeeper,另外需要各服务器之间SSH免密码登录,这个自行百度,要注意的是自己SSH自己也要免密码,除此之外还需要准备一个共享的存储目录,可以是hdfs、ceph、S3、nfs
  环境说明:三台百度云服务器,内网IP分别为: ***, 不开放公网IP访问
分别在三台服务器上执行以下操作:

1.创建目录及下载解压

mkdir /usr/local/flink
cd /usr/local/flink
wget https://mirrors.tuna.tsinghua.ed ... -bin-scala_2.11.tgz
tar zxvf flink-1.11.1-bin-scala_2.11.tgz
2.编辑master文件

vim /usr/local/flink/flink-1.11.1/conf/masters
# 设置为以下内容
***
3.编辑配置文件

vim /usr/local/flink/flink-1.11.1/conf/flink-conf.yaml
# 首先将jobmanager.rpc.address项注释掉
# 然后设置高可用相关的配置项
high-availability: zookeeper
high-availability.storageDir: /nfs/flink/ha/ # 存储目录 这里直接使用了百度云的CFS文件系统,三台均挂载到了/nfs下
high-availability.zookeeper.quorum: ***# ZooKeeper quorum是ZooKeeper服务器的复制组,它提供分布式协调服务
high-availability.zookeeper.path.root: /flink # 根ZooKeeper节点,在该节点下放置所有集群节点
high-availability.cluster-id: /ccreate-flink-cluster # cluster-id ZooKeeper节点,在该节点下放置集群的所有必需协调数据
# 另外以下几个参数看情况调整
jobmanager.memory.process.size: 10240m
taskmanager.memory.process.size: 10240m
taskmanager.numberOfTaskSlots: 8 # flink槽数量 建议设置为当前服务器的CPU核数
parallelism.default: 1 # 这个可以在JOB中指定,这里设不设置影响不大, 优先级最低

4.检验集群启动和停止
cd /usr/local/flink/flink-1.11.1/

# 启动集群 这个操作会在三台服务器上各启动一个jobmanager守护程序,以及在当前服务器上启动一个taskmanager守护程序,所以最终还是需要三台服务器都运行一下这个命令
bin/start-cluster.sh
# 停止集群 这个具体停止哪些守护程序未进行测试
bin/stop-cluster.sh

# 这两个命令建议多运行几次直到没有YES弹出,另外如果弹出让你输密码的提示说明你SSH免密码可能没有配置好

# 确认可以无障碍启动集群后可以登录WEB查看 http://***

# webUI有一点要注意只有在leader的webUI中才可以查看Task Managers的信息,其他的如果停留在Task Managers页面会循环报错,经验证离开页面后报错就会停止不会无限产生日志导致磁盘爆满

5.添加到服务管理
vim /usr/lib/systemd/system/flink.service
# 添加以下内容
[Unit]
Description=flink-1.11.1 service
After=syslog.target network.target zookeeper.service

[Service]
Type=forking
TimeoutSec=120

User=root
Environment=JAVA_HOME=/usr/local/java/jdk1.8.0_261

ExecStart=/usr/local/flink/flink-1.11.1/bin/start-cluster.sh
ExecStop=/usr/local/flink/flink-1.11.1/bin/stop-cluster.sh

[Install]
WantedBy=multi-user.target

6.设置服务生效及开机自启动
systemctl daemon-reload
systemctl enable flink.service


7.启动flink集群
systemctl start flink
systemctl status flink

打赏鼓励作者,期待更多好文!

打赏
暂无人打赏

新手780102 发表于 2020-9-13 18:34
  
感谢分享
新手741261 发表于 2020-9-13 18:42
  
学习到了,谢谢
新手031815 发表于 2020-9-13 18:48
  
学习到了,谢谢
新手612152 发表于 2020-9-13 18:55
  
学习到了,谢谢
司马缸砸了光 发表于 2020-9-13 19:01
  
学习到了,谢谢
新手517842 发表于 2020-9-13 19:08
  
感谢分享
小霞米 发表于 2023-9-3 10:06
  
楼主分享的案例很实用,具有典型性,希望有更多这样的干货供我们学习参考,非常感谢!
蔺嘉宾 发表于 2023-9-3 10:06
  
楼主分享的案例很实用,具有典型性,希望有更多这样的干货供我们学习参考,非常感谢!
焱燚 发表于 2023-9-3 10:10
  
楼主分享的案例很实用,具有典型性,希望有更多这样的干货供我们学习参考,非常感谢!
发表新帖
热门标签
全部标签>
每日一问
每周精选
技术笔记
技术盲盒
2024年技术争霸赛
产品连连看
干货满满
2023技术争霸赛专题
技术咨询
标准化排查
新版本体验
通用技术
技术晨报
功能体验
自助服务平台操作指引
文档捉虫活动
信服课堂视频
秒懂零信任
GIF动图学习
答题自测
每日一记
运维工具
SDP百科
技术圆桌
排障笔记本
专家问答
在线直播
安装部署配置
测试报告
解决方案
项目案例
存储
技术争霸赛
卧龙计划
畅聊IT
MVP
网络基础知识
升级
安全攻防
上网策略
日志审计
问题分析处理
流量管理
云计算知识
用户认证
原创分享
sangfor周刊
VPN 对接
SANGFOR资讯
专家分享
技术顾问
信服故事
功能咨询
终端接入
授权
设备维护
资源访问
地址转换
虚拟机
迁移
加速技术
产品预警公告
玩转零信任
信服圈儿
S豆商城资讯
「智能机器人」
追光者计划
深信服技术支持平台
社区帮助指南
答题榜单公布
纪元平台
华北区拉练
天逸直播
以战代练
山东区技术晨报
齐鲁TV
华北区交付直播
北京区每日一练

本版达人

新手89785...

本周建议达人

新手78183...

本周分享达人