当前位置: 首页 > news >正文

【Apache Doris】周FAQ集锦:第 19 期

【Apache Doris】周FAQ集锦:第 19 期

  • SQL问题
  • 数据操作问题
  • 运维常见问题
  • 其它问题
  • 关于社区

欢迎查阅本周的 Apache Doris 社区 FAQ 栏目!
在这个栏目中,每周将筛选社区反馈的热门问题和话题,重点回答并进行深入探讨。旨在为广大用户和开发者分享有关 Apache Doris 的常见问题。
通过这个每周 FAQ 栏目,希望帮助社区小伙伴更好地了解和应用 Apache Doris,促进经验交流和技术共享。

SQL问题

❓Q1 doris已经把connection_pool_max_size调大到1000,运行一段时间后执行查询报:

Connection is not available, request timed out

💡A1 如下:

  1. 检查下 MySQL 那边是不是真的有 1000 个连接,排除下是否连接泄露
  2. 因为改任何一个连接池参数都会新建连接池,所以大概率可能和连接个数没啥关系
  3. 综上来讲,大概率是超时,把超时时间调大再观察下
    https://doris.apache.org/zh-CN/docs/lakehouse/database/jdbc/#%E8%BF%9E%E6%8E%A5%E6%B1%A0%E9%97%AE%E9%A2%98%E6%8E%92%E6%9F%A5

数据操作问题

❓Q2 mongodb如何导入至doris
💡A2 如下:

  1. 批量导入时,可以基于DataX同步
  2. 增量导入时,可以结合CDC的方式;目前Flink-Connector-Doris 1.6.2 已经支持整库同步增量+全量 Mongodb数据到Doris

❓Q3 通过spark-doris-connector或者flink-doris-connector读取doris 2.1.x 版本报:
type is DATETIMEV2, BUT arrow type is TIMESTAMPMICRO
💡A3 在doris2.1+版本后,变更了arrow的返回类型导致,主要涉及date/datetime ,可以使用最新版本的connector解决。

具体可以查阅Doris论坛帖子:
https://ask.selectdb.com/questions/D1fM/jie-jue-fang-an-tong-guo-spark-doris-connector-huo-zhe-flink-doris-connector-du-qu-doris-2-1-x-ban-ben-chu-xian-type-is-datetimev2-but-arrow-type-is-t/E1gM

❓Q4 doris 2.1版本的arrow flight协议是否支持支持读视图?
💡A4 支持。Doris 基于 Arrow Flight SQL 协议实现了高速数据链路,支持多种语言使用 SQL 从 Doris 高速读取大批量数据。

arrow flight内容可查阅:
https://doris.apache.org/zh-CN/docs/dev/db-connect/arrow-flight-sql-connect

运维常见问题

❓Q5 doris部署时,fe机器是no avx2,be机器是支持avx2的,这种模式部署是否可行?
💡A5 可行;fe主要是java编写,通过jvm允许,对指令集无要求。

❓Q6 doris选择网卡是通过priority_networks选择的?
💡A6 是的;都是通过priority_networks的CIDR匹配模式选择的。该配置会指定 FE 使用的 IP,在配置 FQDN 的环境中,可以忽略该选项。

❓Q7 doris单表多少数据量会达到性能瓶颈?
💡A7 理论上资源充足且合理分区分桶,是无上限的。目前有许多用户的生产单表至少几十TB的。

❓Q8 doris的be数据盘,推荐用容量大点的,还是相对小点的好。比如:一块20T的盘和4块5T的盘,哪种配盘方式对读写性能会更好?
💡A8 推荐选择4块5T的盘:

  1. 坏盘时风险降低
  2. IOPS能力相对会扩展
  3. 默认情况下,compaction效率和磁盘数也有一定的正比

❓Q9 doris be扩容后数据不均衡如何处理?
💡A9 如下:

  1. show backends 查看各be间TabletNum、DataUsedCapacity和TrashUsedCapacity的值是否相对均匀;如果回收站数据Size差异较大,且无用则可以进行清理下:ADMIN CLEAN TRASH
  2. 参考下 [数据副本问题排查指南] 进行处理:https://mp.weixin.qq.com/s/KzK0Gx1m8Z-1qZbyY1ZtlQ

其它问题

❓Q10 doris 2024北京行什么时候启动?

💡A10 8月31日,由 Apache Doris 社区联合字节跳动开源共同发起的 Apache Doris 城市行 Meetup 第四站来到北京!

本次活动邀请了来自抖音集团、飞轮科技、爱玛科技、中国电信、天翼云等多位行业技术专家,将为参会者带来多行业、跨领域的技术分享及落地实践。比如 Apache Doris 在电商场景、PB 级规模数据场景下的最佳实践,以及在制造企业、国产化环境中的应用及探索。现场参会名额有限,感兴趣的同学抓紧报名占位!
本次活动报名席位有限,我们将基于提交的报名信息进行筛选以确定参会人员。为了确保您的顺利参与,请务必完整、准确填写报名信息,并凭报名成功通知短信入场。

活动时间:2024 年 8 月 31 日(周六)13:30 - 17:00

活动地点:北京市海淀区辉煌国际广场上地国际人才会客厅(西二旗地铁站 A 口步行 50 米)

活动入口:https://hdxu.cn/AfjED

在这里插入图片描述


一臻数据

关于社区

doris_new03.png

Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库,以极速易用的特点被人们所熟知,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。
如果您对 Apache Doris 感兴趣,可以通过以下入口访问官方网站、社区论坛、GitHub和dev邮件组:

💡官方文档

💡社区论坛

💡GitHub

💡dev邮件组:dev@doris.apache.org

非常欢迎您在社区论坛中与其他用户分享您的使用经验和技巧,或者向dev邮件组提交反馈和意见。

相信,您的参与将帮助Apache Doris变得更加完善。

相关文章:

  • 北京网站建设多少钱?
  • 辽宁网页制作哪家好_网站建设
  • 高端品牌网站建设_汉中网站制作
  • pytest自定义命令行选项
  • ML307R_APP_DEMO_SDK TCP/UDP使用介绍
  • 【vue】编辑器段落对应材料同步滚动交互
  • [底层原理] C/C++获取时间(将时间戳转换为年月日)?
  • springboot jar 配置文件同级目录 启动脚本sh 并添加日志文件,日志文件定时分文件
  • RedisDistributedLock 分布式锁
  • Ubuntu 22.04上稳定安装与配置搜狗输入法详细教程
  • 分享一个基于文本挖掘的微博舆情分析系统Python网络舆情监控系统Flask爬虫项目大数据(源码、调试、LW、开题、PPT)
  • 基于深度学习的智能工厂优化
  • 光伏对国内各行各业的影响
  • linux 提权
  • 【QT代码控制Linux开发板】QT控制嵌入式Linux开发板运行shell脚本
  • 证书学习(二)搞懂 keystore、jks、p12、pfx、crt、csr、pem文件的区别
  • ResNet网络学习
  • 幂等性是什么意思?
  • angular2开源库收集
  • CSS 提示工具(Tooltip)
  • extjs4学习之配置
  • Java 最常见的 200+ 面试题:面试必备
  • Laravel Mix运行时关于es2015报错解决方案
  • Material Design
  • QQ浏览器x5内核的兼容性问题
  • 大型网站性能监测、分析与优化常见问题QA
  • 多线程 start 和 run 方法到底有什么区别?
  • 服务器从安装到部署全过程(二)
  • 微服务入门【系列视频课程】
  • 我是如何设计 Upload 上传组件的
  • d²y/dx²; 偏导数问题 请问f1 f2是什么意思
  • AI算硅基生命吗,为什么?
  • scrapy中间件源码分析及常用中间件大全
  • ​2020 年大前端技术趋势解读
  • #!/usr/bin/python与#!/usr/bin/env python的区别
  • ### Error querying database. Cause: com.mysql.jdbc.exceptions.jdbc4.CommunicationsException
  • #define
  • #宝哥教你#查看jquery绑定的事件函数
  • (2)关于RabbitMq 的 Topic Exchange 主题交换机
  • (3)(3.5) 遥测无线电区域条例
  • (floyd+补集) poj 3275
  • (zt)最盛行的警世狂言(爆笑)
  • (附源码)springboot电竞专题网站 毕业设计 641314
  • (三)SvelteKit教程:layout 文件
  • (十八)SpringBoot之发送QQ邮件
  • (收藏)Git和Repo扫盲——如何取得Android源代码
  • (一)、软硬件全开源智能手表,与手机互联,标配多表盘,功能丰富(ZSWatch-Zephyr)
  • (一)utf8mb4_general_ci 和 utf8mb4_unicode_ci 适用排序和比较规则场景
  • (原+转)Ubuntu16.04软件中心闪退及wifi消失
  • (转)Linux NTP配置详解 (Network Time Protocol)
  • (转)我也是一只IT小小鸟
  • .bat批处理(八):各种形式的变量%0、%i、%%i、var、%var%、!var!的含义和区别
  • .NET Core工程编译事件$(TargetDir)变量为空引发的思考
  • .Net Core中Quartz的使用方法
  • .NET/C# 使用 #if 和 Conditional 特性来按条件编译代码的不同原理和适用场景
  • .NET大文件上传知识整理
  • .NET命名规范和开发约定
  • /etc/motd and /etc/issue