Flink 提交作业的方式

首先我进行了flink单机部署,个人建议不管是学习还是开发尽量不使用

然后开始了flink自带集群部署,部署在三台服务器上,资源管理由flink集群自己管理,然后为了解决集群的单点故障问题,使用zookeeper监听事件,实现独立高可用集群,防止集群的单点故障,推荐这种集群可以部署在开发环境中测试使用

最后一种就是flink on yarn: 把资源管理交给yarn实现,计算机资源统一由Haoop YARN管理,推荐部署在生产环境中使用,也算是目前主流的一种部署方式。

然后k8s部署,容器化部署是如今业界流行的一项技术,基于 Docker 镜像运行能够让用户更加方便地对应用进行管理和运维。容器管理工具中最为流行的就是 Kubernetes(k8s),而 Flink 也在最近的版本中支持了 k8s 部署模式

 

如果传递了–detached参数,一旦提交被接受,客户端将停止 :

参考:

Flink运行方式及对比-腾讯云开发者社区-腾讯云

Flink on Yarn模式部署

相关推荐

  1. flink 作业动态维护更新,不重启flink,不提交作业

    2024-07-09 17:58:03       13 阅读
  2. Flink 命令行提交、展示和取消作业

    2024-07-09 17:58:03       10 阅读
  3. Flink 命令行提交、展示和取消作业

    2024-07-09 17:58:03       12 阅读
  4. Flink两阶段提交是什么

    2024-07-09 17:58:03       34 阅读
  5. Flink命令行提交时参数传递

    2024-07-09 17:58:03       21 阅读

最近更新

  1. npm小记

    2024-07-09 17:58:03       0 阅读
  2. 【busybox记录】【shell指令】df

    2024-07-09 17:58:03       0 阅读
  3. C语言之封装,继承,多态

    2024-07-09 17:58:03       0 阅读
  4. 【广告&推荐】首选积分墙:试玩星shiwanxing.com

    2024-07-09 17:58:03       0 阅读
  5. 大模型的短期记忆和长期记忆各自的使用场景

    2024-07-09 17:58:03       0 阅读
  6. 深入探索Flutter中的状态管理:使用Provider库

    2024-07-09 17:58:03       0 阅读
  7. 认识一下哈希函数

    2024-07-09 17:58:03       0 阅读
  8. 在 CentOS-Stream-9 中使用 network 代替 NetworkManager

    2024-07-09 17:58:03       0 阅读

热门阅读

  1. 57、Flink 的项目配置概述

    2024-07-09 17:58:03       7 阅读
  2. git杂记

    git杂记

    2024-07-09 17:58:03      8 阅读
  3. [Python学习篇] Python面向对象——继承

    2024-07-09 17:58:03       6 阅读
  4. 【Linux命令入门】查找文件

    2024-07-09 17:58:03       7 阅读
  5. 编码与梦想:我的CSDN创作5周年

    2024-07-09 17:58:03       5 阅读
  6. 多数据库支持在PHP框架中的实现策略与实践

    2024-07-09 17:58:03       9 阅读
  7. JVM 堆内存分配过程

    2024-07-09 17:58:03       10 阅读
  8. c++单例模式的一种写法

    2024-07-09 17:58:03       9 阅读
  9. nunjucks动态更新模版路径

    2024-07-09 17:58:03       9 阅读
  10. 【python技巧】pytorch网络可视化

    2024-07-09 17:58:03       7 阅读