【每日一记11】CENTOS 7/8 部署FLINK高可用独立集群
  

新手629655 1885

{{ttag.title}}
    首先要安装JDK及zookeeper,另外需要各服务器之间SSH免密码登录,这个自行百度,要注意的是自己SSH自己也要免密码,除此之外还需要准备一个共享的存储目录,可以是hdfs、ceph、S3、nfs
  环境说明:三台百度云服务器,内网IP分别为: ***, 不开放公网IP访问
分别在三台服务器上执行以下操作:

1.创建目录及下载解压

mkdir /usr/local/flink
cd /usr/local/flink
wget https://mirrors.tuna.tsinghua.ed ... -bin-scala_2.11.tgz
tar zxvf flink-1.11.1-bin-scala_2.11.tgz
2.编辑master文件

vim /usr/local/flink/flink-1.11.1/conf/masters
# 设置为以下内容
***
3.编辑配置文件

vim /usr/local/flink/flink-1.11.1/conf/flink-conf.yaml
# 首先将jobmanager.rpc.address项注释掉
# 然后设置高可用相关的配置项
high-availability: zookeeper
high-availability.storageDir: /nfs/flink/ha/ # 存储目录 这里直接使用了百度云的CFS文件系统,三台均挂载到了/nfs下
high-availability.zookeeper.quorum: ***# ZooKeeper quorum是ZooKeeper服务器的复制组,它提供分布式协调服务
high-availability.zookeeper.path.root: /flink # 根ZooKeeper节点,在该节点下放置所有集群节点
high-availability.cluster-id: /ccreate-flink-cluster # cluster-id ZooKeeper节点,在该节点下放置集群的所有必需协调数据
# 另外以下几个参数看情况调整
jobmanager.memory.process.size: 10240m
taskmanager.memory.process.size: 10240m
taskmanager.numberOfTaskSlots: 8 # flink槽数量 建议设置为当前服务器的CPU核数
parallelism.default: 1 # 这个可以在JOB中指定,这里设不设置影响不大, 优先级最低

4.检验集群启动和停止
cd /usr/local/flink/flink-1.11.1/

# 启动集群 这个操作会在三台服务器上各启动一个jobmanager守护程序,以及在当前服务器上启动一个taskmanager守护程序,所以最终还是需要三台服务器都运行一下这个命令
bin/start-cluster.sh
# 停止集群 这个具体停止哪些守护程序未进行测试
bin/stop-cluster.sh

# 这两个命令建议多运行几次直到没有YES弹出,另外如果弹出让你输密码的提示说明你SSH免密码可能没有配置好

# 确认可以无障碍启动集群后可以登录WEB查看 http://***

# webUI有一点要注意只有在leader的webUI中才可以查看Task Managers的信息,其他的如果停留在Task Managers页面会循环报错,经验证离开页面后报错就会停止不会无限产生日志导致磁盘爆满

5.添加到服务管理
vim /usr/lib/systemd/system/flink.service
# 添加以下内容
[Unit]
Description=flink-1.11.1 service
After=syslog.target network.target zookeeper.service

[Service]
Type=forking
TimeoutSec=120

User=root
Environment=JAVA_HOME=/usr/local/java/jdk1.8.0_261

ExecStart=/usr/local/flink/flink-1.11.1/bin/start-cluster.sh
ExecStop=/usr/local/flink/flink-1.11.1/bin/stop-cluster.sh

[Install]
WantedBy=multi-user.target

6.设置服务生效及开机自启动
systemctl daemon-reload
systemctl enable flink.service


7.启动flink集群
systemctl start flink
systemctl status flink

打赏鼓励作者,期待更多好文!

打赏
暂无人打赏

新手780102 发表于 2020-9-13 18:34
  
感谢分享
新手741261 发表于 2020-9-13 18:42
  
学习到了,谢谢
新手031815 发表于 2020-9-13 18:48
  
学习到了,谢谢
新手612152 发表于 2020-9-13 18:55
  
学习到了,谢谢
司马缸砸了光 发表于 2020-9-13 19:01
  
学习到了,谢谢
新手517842 发表于 2020-9-13 19:08
  
感谢分享
小霞米 发表于 2023-9-3 10:06
  
楼主分享的案例很实用,具有典型性,希望有更多这样的干货供我们学习参考,非常感谢!
蔺嘉宾 发表于 2023-9-3 10:06
  
楼主分享的案例很实用,具有典型性,希望有更多这样的干货供我们学习参考,非常感谢!
焱燚 发表于 2023-9-3 10:10
  
楼主分享的案例很实用,具有典型性,希望有更多这样的干货供我们学习参考,非常感谢!
发表新帖
热门标签
全部标签>
每日一问
2024年技术争霸赛
技术盲盒
干货满满
技术笔记
产品连连看
信服课堂视频
GIF动图学习
2023技术争霸赛专题
秒懂零信任
新版本体验
标准化排查
每周精选
通用技术
技术咨询
功能体验
每日一记
文档捉虫活动
安装部署配置
安全攻防
信服圈儿
场景专题
答题自测
在线直播
问题分析处理
运维工具
产品预警公告
技术晨报
自助服务平台操作指引
畅聊IT
专家问答
技术圆桌
MVP
网络基础知识
升级
上网策略
测试报告
日志审计
流量管理
云计算知识
用户认证
原创分享
解决方案
sangfor周刊
VPN 对接
项目案例
SANGFOR资讯
专家分享
技术顾问
信服故事
SDP百科
功能咨询
终端接入
授权
设备维护
资源访问
地址转换
虚拟机
存储
迁移
加速技术
排障笔记本
玩转零信任
S豆商城资讯
技术争霸赛
「智能机器人」
追光者计划
深信服技术支持平台
社区帮助指南
答题榜单公布
纪元平台
卧龙计划
华北区拉练
天逸直播
以战代练
山东区技术晨报
齐鲁TV
华北区交付直播
北京区每日一练

本版达人

新手89785...

本周建议达人

新手78183...

本周分享达人