【每日一记11】CENTOS 7/8 部署FLINK高可用独立集群
  

新手629655 3919

{{ttag.title}}
    首先要安装JDK及zookeeper,另外需要各服务器之间SSH免密码登录,这个自行百度,要注意的是自己SSH自己也要免密码,除此之外还需要准备一个共享的存储目录,可以是hdfs、ceph、S3、nfs
  环境说明:三台百度云服务器,内网IP分别为: ***, 不开放公网IP访问
分别在三台服务器上执行以下操作:

1.创建目录及下载解压

mkdir /usr/local/flink
cd /usr/local/flink
wget https://mirrors.tuna.tsinghua.ed ... -bin-scala_2.11.tgz
tar zxvf flink-1.11.1-bin-scala_2.11.tgz
2.编辑master文件

vim /usr/local/flink/flink-1.11.1/conf/masters
# 设置为以下内容
***
3.编辑配置文件

vim /usr/local/flink/flink-1.11.1/conf/flink-conf.yaml
# 首先将jobmanager.rpc.address项注释掉
# 然后设置高可用相关的配置项
high-availability: zookeeper
high-availability.storageDir: /nfs/flink/ha/ # 存储目录 这里直接使用了百度云的CFS文件系统,三台均挂载到了/nfs下
high-availability.zookeeper.quorum: ***# ZooKeeper quorum是ZooKeeper服务器的复制组,它提供分布式协调服务
high-availability.zookeeper.path.root: /flink # 根ZooKeeper节点,在该节点下放置所有集群节点
high-availability.cluster-id: /ccreate-flink-cluster # cluster-id ZooKeeper节点,在该节点下放置集群的所有必需协调数据
# 另外以下几个参数看情况调整
jobmanager.memory.process.size: 10240m
taskmanager.memory.process.size: 10240m
taskmanager.numberOfTaskSlots: 8 # flink槽数量 建议设置为当前服务器的CPU核数
parallelism.default: 1 # 这个可以在JOB中指定,这里设不设置影响不大, 优先级最低

4.检验集群启动和停止
cd /usr/local/flink/flink-1.11.1/

# 启动集群 这个操作会在三台服务器上各启动一个jobmanager守护程序,以及在当前服务器上启动一个taskmanager守护程序,所以最终还是需要三台服务器都运行一下这个命令
bin/start-cluster.sh
# 停止集群 这个具体停止哪些守护程序未进行测试
bin/stop-cluster.sh

# 这两个命令建议多运行几次直到没有YES弹出,另外如果弹出让你输密码的提示说明你SSH免密码可能没有配置好

# 确认可以无障碍启动集群后可以登录WEB查看 http://***

# webUI有一点要注意只有在leader的webUI中才可以查看Task Managers的信息,其他的如果停留在Task Managers页面会循环报错,经验证离开页面后报错就会停止不会无限产生日志导致磁盘爆满

5.添加到服务管理
vim /usr/lib/systemd/system/flink.service
# 添加以下内容
[Unit]
Description=flink-1.11.1 service
After=syslog.target network.target zookeeper.service

[Service]
Type=forking
TimeoutSec=120

User=root
Environment=JAVA_HOME=/usr/local/java/jdk1.8.0_261

ExecStart=/usr/local/flink/flink-1.11.1/bin/start-cluster.sh
ExecStop=/usr/local/flink/flink-1.11.1/bin/stop-cluster.sh

[Install]
WantedBy=multi-user.target

6.设置服务生效及开机自启动
systemctl daemon-reload
systemctl enable flink.service


7.启动flink集群
systemctl start flink
systemctl status flink

打赏鼓励作者,期待更多好文!

打赏
暂无人打赏

新手780102 发表于 2020-9-13 18:34
  
感谢分享
新手741261 发表于 2020-9-13 18:42
  
学习到了,谢谢
新手031815 发表于 2020-9-13 18:48
  
学习到了,谢谢
新手612152 发表于 2020-9-13 18:55
  
学习到了,谢谢
司马缸砸了光 发表于 2020-9-13 19:01
  
学习到了,谢谢
新手517842 发表于 2020-9-13 19:08
  
感谢分享
小霞米 发表于 2023-9-3 10:06
  
楼主分享的案例很实用,具有典型性,希望有更多这样的干货供我们学习参考,非常感谢!
蔺嘉宾 发表于 2023-9-3 10:06
  
楼主分享的案例很实用,具有典型性,希望有更多这样的干货供我们学习参考,非常感谢!
焱燚 发表于 2023-9-3 10:10
  
楼主分享的案例很实用,具有典型性,希望有更多这样的干货供我们学习参考,非常感谢!
发表新帖
热门标签
全部标签>
安全效果
每日一问
西北区每日一问
技术笔记
技术盲盒
【 社区to talk】
干货满满
产品连连看
新版本体验
技术咨询
标准化排查
信服课堂视频
每周精选
功能体验
自助服务平台操作指引
排障那些事
GIF动图学习
技术晨报
安装部署配置
运维工具
解决方案
2023技术争霸赛专题
秒懂零信任
故障笔记
技术圆桌
云计算知识
用户认证
技术顾问
资源访问
存储
技术争霸赛
「智能机器人」
以战代练
社区新周刊
畅聊IT
答题自测
专家问答
在线直播
MVP
网络基础知识
升级
安全攻防
上网策略
测试报告
日志审计
问题分析处理
流量管理
每日一记
原创分享
sangfor周刊
VPN 对接
项目案例
SANGFOR资讯
专家分享
信服故事
SDP百科
功能咨询
终端接入
授权
设备维护
地址转换
虚拟机
迁移
加速技术
排障笔记本
产品预警公告
玩转零信任
信服圈儿
S豆商城资讯
追光者计划
深信服技术支持平台
社区帮助指南
答题榜单公布
纪元平台
通用技术
卧龙计划
华北区拉练
天逸直播
山东区技术晨报
文档捉虫活动
齐鲁TV
华北区交付直播
2024年技术争霸赛
北京区每日一练
场景专题
高手请过招
升级&主动服务
高频问题集锦
POC测试案例
全能先锋系列
云化安全能力

本版达人

新手89785...

本周建议达人

新手78183...

本周分享达人