当前位置: 首页 > news >正文

Flink的部署

Flink的部署

环境准备:windows7系统,本地连接。如果打开更改适配器设置后没有本地连接,可以通过驱动精灵等软件安装网卡驱动。为了使部署在虚拟机上的服务器可以与物理机进行连通,必须使物理机的网卡和虚拟机上服务器的网卡在同一个网段上,在此我们规定一个网段192.168.0.*为标准,我的物理机的IP地址是192.168.0.99。根据以下的附图对网络进行配置。

 

 

1.windows下安装VMware并且在VMware上新建三台虚拟机,分别在这三台虚拟机上安装Ubuntu16.04 Server版系统,虚拟机上的网络设置采用桥接模式

2.使用命令vim /etc/network/interfaces对文件interfaces中的网卡信息进行修改。

 

如下附图为服务器上所要配置的网卡的信息,我的服务器的IP地址为192.168.0.103

 

按照同样的方法配置另外两台服务器,它们的IP地址分别为192.168.0.104,192.168.0.105

测试连通性:在一台服务器上使用命令ping 192.168.0.104ping另外一台服务器,产生如下附图的效果即为拼接成功。三台服务器相互ping都可以拼接成功。

服务器上的环境:为三台Ubuntu服务器配置Java环境,jdk的版本要求为1.8或者更高,本实例的flink集群有三个节点,一主两从。Flink 有三种部署模式,分别是 Local、Standalone Cluster 和 Yarn Cluster。对于 Local 模式来说,JobManager 和 TaskManager 共用一个 JVM,Local模式的部署请点击http://www.jianshu.com/p/26c9ef86fb19。如果要验证一个简单的应用,Local 模式是最方便的。实际应用中大多使用 Standalone 或者 Yarn Cluster。

模式一:单节点的Local模式

1.在http://flink.apache.org/downloads.html网站上下载需要的flink版本,我下载的如下附图所示。

2.将tar包解压后放置到/opt/data下,进入flink目录,使用命令bin/start-local.sh运行flink,根据你的IP地址localhost:8081,进入flink的前端界面如下附图所示即为启动flink成功。

 

 

模式二:多节点的Standalone模式

1.在http://archive.apache.org/dist/flink/flink-1.3.2/上下载flink的版本,我下载的如下图附图所示的版本的tar包。

 

2.使用命令tar -zxvf flink-1.3.2-bin-hadoop26-scala_2.11.tgzflink的tar包进行解压,并将解压后的文件改名为flink且将其安放到/usr/local/java/目录下。(flink的安放目录根据每个人的不同情况可进行自定义)

flink目录下,使用命令vim conf/flink-conf.yaml,增加master节点的IP地址,修改jobmanager.rpc.address:,其IP为master的IP地址。在fink目录下使用命令vim conf/slaves,增加worker节点的IP地址。

(根据如下附图所示进行修改,其他的两台服务器使用相同的方法进行配置,具体配置可在Apache的官网上进行查看,官网的网址如下所示https://ci.apache.org/projects/flink/flink-docs-release-1.0/setup/config.html#full-reference)

注释

Jobmanager可用内存(jobmanager.heap.mb)

taskmanager可用内存(taskmanager.heap.mb)

每个机器可用cpu数量(taskmanager.numberOfTaskSlots)

集群中的总cpu数量(parallelism.default)

节点临时目录(taskmanager.tmp.dirs)

 

3.启动flink集群。

下面的脚本将会在本机启动一个jobmanager节点,然后通过SSH连接到slaves文件中的所有worker节点,在worker节点上面启动taskmanager。现在flink启动并且运行。在本地运行的jobmanager现在将会通过配置的RPC端口接收任务。

确保master节点的终端下同时进入flink目录:使用命令bin/start-cluster.sh启动flink集群,使用命令bin/stop-cluster.sh停止flink集群。

 

转载于:https://www.cnblogs.com/ALittleMoreLove/p/9396118.html

相关文章:

  • 矩阵快速幂模板
  • c# Color 颜色设置
  • bzoj 4521 [Cqoi2016]手机号码——数位dp
  • 性能测试中TPS上不去的几种原因浅析
  • jmeter的脚本增强之参数化
  • 关于有时候导入maven项目时候报错(有红色叹号,类中导入的包提示the import java.util cannot be resolve,)...
  • 性能优化中CPU、内存、磁盘IO、网络性能的依赖
  • leetcode485 python3 88ms 最大连续1的个数
  • logstash常用插件解析
  • Websocket(1)pom引入、嵌入spring
  • Docker 操作记录
  • CentOS7安装GO
  • dll和lib的关系(转)
  • Quest 公司的Shareplex 与 GoldenGate比较
  • WPF程序 双击exe自动申请“以管理员方式运行”权限
  • 03Go 类型总结
  • cookie和session
  • Java 11 发布计划来了,已确定 3个 新特性!!
  • Java知识点总结(JDBC-连接步骤及CRUD)
  • MD5加密原理解析及OC版原理实现
  • Vim 折腾记
  • vue从创建到完整的饿了么(18)购物车详细信息的展示与删除
  • 类orAPI - 收藏集 - 掘金
  • 浅谈Kotlin实战篇之自定义View图片圆角简单应用(一)
  • 区块链分支循环
  • 如何将自己的网站分享到QQ空间,微信,微博等等
  • 思维导图—你不知道的JavaScript中卷
  • 【运维趟坑回忆录 开篇】初入初创, 一脸懵
  • 【运维趟坑回忆录】vpc迁移 - 吃螃蟹之路
  • ​ ​Redis(五)主从复制:主从模式介绍、配置、拓扑(一主一从结构、一主多从结构、树形主从结构)、原理(复制过程、​​​​​​​数据同步psync)、总结
  • ​人工智能之父图灵诞辰纪念日,一起来看最受读者欢迎的AI技术好书
  • #QT(智能家居界面-界面切换)
  • (07)Hive——窗口函数详解
  • (2/2) 为了理解 UWP 的启动流程,我从零开始创建了一个 UWP 程序
  • (二)七种元启发算法(DBO、LO、SWO、COA、LSO、KOA、GRO)求解无人机路径规划MATLAB
  • (分布式缓存)Redis哨兵
  • (六)库存超卖案例实战——使用mysql分布式锁解决“超卖”问题
  • (三)uboot源码分析
  • (四)Linux Shell编程——输入输出重定向
  • (太强大了) - Linux 性能监控、测试、优化工具
  • (提供数据集下载)基于大语言模型LangChain与ChatGLM3-6B本地知识库调优:数据集优化、参数调整、Prompt提示词优化实战
  • (五)c52学习之旅-静态数码管
  • (转)VC++中ondraw在什么时候调用的
  • (轉貼)《OOD启思录》:61条面向对象设计的经验原则 (OO)
  • .net core MVC 通过 Filters 过滤器拦截请求及响应内容
  • .net framework 4.0中如何 输出 form 的name属性。
  • .Net 高效开发之不可错过的实用工具
  • .NET 指南:抽象化实现的基类
  • .net获取当前url各种属性(文件名、参数、域名 等)的方法
  • @ 代码随想录算法训练营第8周(C语言)|Day57(动态规划)
  • []使用 Tortoise SVN 创建 Externals 外部引用目录
  • []新浪博客如何插入代码(其他博客应该也可以)
  • [100天算法】-二叉树剪枝(day 48)
  • [2019.3.5]BZOJ1934 [Shoi2007]Vote 善意的投票
  • [C/C++]_[初级]_[关于编译时出现有符号-无符号不匹配的警告-sizeof使用注意事项]