Flink1.2 报错 org.apache.flink.util.FlinkException: Could not retrieve file from transient

Flink1.2 Flink on yarn 

在运行./bin/flink run ./examples/streaming/TopSpeedWindowing.jar Demo的时候总是报

 org.apache.flink.util.FlinkException: Could not retrieve file from transient

  • 无法从暂态检索文件

以下是我的报错信息

 我的Flink yaml配置文件中io.tmp.dirs配置项是tmp/flink

 按照报错的信息体现的是找不到hadoop01节点上面/tmp/flink目录下面的io文件夹,所以我就按照这个思路解决问题,后来看到是jobmanger报的错,是jobmanger找不到文件夹。诶呀???flink on yarn 不是应该yarn来定jobmanger在哪个节点嘛,或者手动通过命令行的形式指定嘛,我也没定义是hadoop01节点啊。

后来上网查找了一大顿资料还是没有头绪。按照我是菜鸟的经验来告诉我,如果这个思路网上都没有相应答案的话,那就是我错了。

后来我仔细阅读官网,和相应Flink on yarn的文档,恍然大明白,以下是参考资料

Flink on Yarn (HA)高可用部署 基于flink1.12 CDH5.8.5 保姆级操作 - 薛定谔的猫不吃猫粮 - 博客园Flink on Yarn -CDH5部署 1.1 Flink模式 Flink有开发模式,Local-cluster模式,Standalone模式,Yarn模式 这里我们搭建在CDH集群上,我们采Flhttps://www.cnblogs.com/54along/p/14682243.html

官网资料

Apache Flink 1.12 Documentation: Apache Hadoop YARNhttps://ci.apache.org/projects/flink/flink-docs-release-1.12/deployment/resource-providers/yarn.html原来我靠,start-cluster.sh 之后不能再

 执行这个yarn-session.sh --detached了

./bin/yarn-session.sh --detached

 TMD

就算执行成功,运行也会报之前的错,只能运行一种模式,fuck。

然后把所有的FlinK进程都关闭了之后

就是执行stop-cluster.sh 

杀掉yarn上面的yarn seesion cluster进程

总之所有的Flink进程都停掉重新来

加上一个配置我也不知道有没有用

 全部杀掉后

就按照官网执行

 ./bin/yarn-session.sh --detached

这个指令。start-cluster.sh不用执行

然后执行./bin/flink run ./examples/streaming/TopSpeedWindowing.jar

这个官网demo

终于成功了

流弊!!!!!!!!!!!!!!skr skr skr

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

云谱科技工作室计算机毕设

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值