当前位置: 首页 > news >正文

Flink SQL填坑记3:两个kafka数据关联查询

在一个项目中,实时生成的统计数据需要关联另外一张表(并非维表),需要统计的数据表是Kafka数据,而需要关联的表,由于不是维度,不能按照主键查询,所以如果放在MySQL上,将存在严重的性能问题,这个时候我想到用将两张表的数据都生成为Kafka数据,然后进行Join操作。中途发现这种性能特别差,而且表变更会产生多条kakfa记录,导致计算越来越来,最后改成upsert-kafka,下面记录下处理过程。

刚开始用kafka,建表语句如下:

Create Table `kafka_t_test1` (`f_id` bigint,`f_name` string,PRIMARY KEY (`f_corp_id`,`f_id`) NOT ENFORCED) WITH ('connector' = 'kafka','topic' = 't_test','properties.bootstrap.servers' = '10.10.10.1','properties.group.id' = 'test','value.format' = 'json','value.fields-include' 

相关文章:

  • 使用npm仓库的优先级以及.npmrc配置文件的使用
  • [HackMyVM]靶场Crossbow
  • 港大新工作 HiGPT:一个模型,任意关系类型 !
  • Hana数据库 No columns were bound prior to calling SQLFetch or SQLFetchScroll
  • 谷歌seo营销服务有哪些服务?
  • Java ArrayList类
  • Share-ChatGPT官网UI/文件上传/联网搜索/GPTS 一并同步
  • 【408直通车】(考研数一、二、三合集)线性代数公式全覆盖
  • 自动驾驶-如何进行多传感器的融合
  • DMA知识
  • selenium元素定位--xpath定位--层级与逻辑组合定位
  • VUE3——reactive对比ref
  • 阿里云子域名配置,且不带端口访问
  • unity实现2D主角视野锥解决方案
  • 部标JT808车辆定位监控平台单服务器13.6万接入压力测试记录(附源码)
  • $translatePartialLoader加载失败及解决方式
  • Facebook AccountKit 接入的坑点
  • Javascript弹出层-初探
  • Median of Two Sorted Arrays
  • MobX
  • Spark in action on Kubernetes - Playground搭建与架构浅析
  • vue.js框架原理浅析
  • vue-cli3搭建项目
  • Xmanager 远程桌面 CentOS 7
  • 记一次用 NodeJs 实现模拟登录的思路
  • 前端性能优化——回流与重绘
  • 浅谈Golang中select的用法
  • 再谈express与koa的对比
  • Oracle Portal 11g Diagnostics using Remote Diagnostic Agent (RDA) [ID 1059805.
  • zabbix3.2监控linux磁盘IO
  • ​软考-高级-系统架构设计师教程(清华第2版)【第9章 软件可靠性基础知识(P320~344)-思维导图】​
  • # .NET Framework中使用命名管道进行进程间通信
  • # 安徽锐锋科技IDMS系统简介
  • ### Cause: com.mysql.jdbc.exceptions.jdbc4.MySQLTr
  • #单片机(TB6600驱动42步进电机)
  • (+3)1.3敏捷宣言与敏捷过程的特点
  • (NO.00004)iOS实现打砖块游戏(九):游戏中小球与反弹棒的碰撞
  • (Spark3.2.0)Spark SQL 初探: 使用大数据分析2000万KF数据
  • (初研) Sentence-embedding fine-tune notebook
  • (大众金融)SQL server面试题(1)-总销售量最少的3个型号的车及其总销售量
  • (附源码)ssm码农论坛 毕业设计 231126
  • (一)搭建springboot+vue前后端分离项目--前端vue搭建
  • (源码版)2024美国大学生数学建模E题财产保险的可持续模型详解思路+具体代码季节性时序预测SARIMA天气预测建模
  • (转)Linux下编译安装log4cxx
  • **CI中自动类加载的用法总结
  • .md即markdown文件的基本常用编写语法
  • .NET 6 Mysql Canal (CDC 增量同步,捕获变更数据) 案例版
  • .NET Framework 和 .NET Core 在默认情况下垃圾回收(GC)机制的不同(局部变量部分)
  • .NET LINQ 通常分 Syntax Query 和Syntax Method
  • .net 生成二级域名
  • .NET 应用启用与禁用自动生成绑定重定向 (bindingRedirect),解决不同版本 dll 的依赖问题
  • .net 桌面开发 运行一阵子就自动关闭_聊城旋转门家用价格大约是多少,全自动旋转门,期待合作...
  • .net最好用的JSON类Newtonsoft.Json获取多级数据SelectToken
  • ::
  • @CacheInvalidate(name = “xxx“, key = “#results.![a+b]“,multi = true)是什么意思