当前位置： 首页 > news >正文

2. Spark报错，Task is Failed,errorMsg: FileNotFoundException xxxx

news 来源：原创 2024/5/20 4:30:00
完整报错信息
21304, Task is Failed,errorMsg: FileNotFoundException: File does not exist: hdfs://xxxx-bigdata-nameservice/user/hive/warehouse/edw_ic.db/xxxx/part-00000-c8a718b3-54b3-42de-b36c-d6eedefd2e02-c000.snappy.parquet It is possible the xxx
报错场景

Airflow 调度脚本更新表xxxx的数据后，使用SparkSQL 查询表xxxx数据报如上错误。

解决方案

刷新表或重新创建相关的Dataset/DataFrame以使缓存失效。
还可以在Spark中通过运行 REFRESH TABLE tableName 命令来刷新表，或者重新创建相关的Dataset/DataFrame。

REFRESH TABLE tableName

相关文章：

  • uniapp刻度尺的实现（swiper）滑动打分器
  • 20 VPN详解
  • Flutter导入安卓第三方库报错：Flutter Could not find method implementation() 的可能原因及解决办法
  • QSqlDatabase使用Sqlite
  • 【c趣编程】输入一个整数，判断其有几位
  • kafka-go操作kafka
  • 计算机丢失mfc100.dll如何恢复，详细解析mfc100.dll文件丢失解决方法
  • uniapp的几种跳转方式
  • oled显示器程序（IIC）从stm32f103移植到stm32f429出现bug不显示-解决移植失败问题
  • react路由组件的lazyLoad
  • Go 语言初探：从基础到实战
  • 【gltf-pipeline】安装gltf-pipeline 进行文件格式转换
  • 汽车电子中的深力科推荐一款汽车用功率MOSFET NVTFS6H888NLTAG N沟道
  • C语言 每日一题 11.9 day15
  • 酷开科技持续推动智能投影行业创新发展
  • [LeetCode] Wiggle Sort
  • 【399天】跃迁之路——程序员高效学习方法论探索系列（实验阶段156-2018.03.11）...
  • 2017年终总结、随想
  • android高仿小视频、应用锁、3种存储库、QQ小红点动画、仿支付宝图表等源码...
  • Centos6.8 使用rpm安装mysql5.7
  • extract-text-webpack-plugin用法
  • Fundebug计费标准解释：事件数是如何定义的？
  • Java 实战开发之spring、logback配置及chrome开发神器（六）
  • Just for fun——迅速写完快速排序
  • Laravel Mix运行时关于es2015报错解决方案
  • mysql_config not found
  • ReactNativeweexDeviceOne对比
  • select2 取值 遍历 设置默认值
  • Spark RDD学习: aggregate函数
  • TiDB 源码阅读系列文章（十）Chunk 和执行框架简介
  • win10下安装mysql5.7
  • 从0到1：PostCSS 插件开发最佳实践
  • 解析 Webpack中import、require、按需加载的执行过程
  • 一起来学SpringBoot | 第十篇：使用Spring Cache集成Redis
  • 国内唯一，阿里云入选全球区块链云服务报告，领先AWS、Google ...
  • （11）MATLAB PCA+SVM 人脸识别
  • （9）STL算法之逆转旋转
  • （第27天）Oracle 数据泵转换分区表
  • （剑指Offer）面试题34：丑数
  • （每日持续更新）信息系统项目管理（第四版）（高级项目管理）考试重点整理 第13章 项目资源管理（七）
  • (原創) 如何安裝Linux版本的Quartus II? (SOC) (Quartus II) (Linux) (RedHat) (VirtualBox)
  • (转)Linq学习笔记
  • **PHP二维数组遍历时同时赋值
  • .bat批处理（四）：路径相关%cd%和%~dp0的区别
  • .NET Conf 2023 回顾 – 庆祝社区、创新和 .NET 8 的发布
  • .NET 命令行参数包含应用程序路径吗？
  • .net 微服务 服务保护 自动重试 Polly
  • .NET 中 GetProcess 相关方法的性能
  • .NET中使用Redis (二)
  • [ vulhub漏洞复现篇 ] Apache Flink目录遍历(CVE-2020-17519)
  • [.net 面向对象程序设计进阶] (19) 异步(Asynchronous) 使用异步创建快速响应和可伸缩性的应用程序...
  • [16/N]论得趣
  • [2018][note]用于超快偏振开关和动态光束分裂的all-optical有源THz超表——
  • [8481302]博弈论 斯坦福game theory stanford week 1
  • [AndroidStudio]_[初级]_[修改虚拟设备镜像文件的存放位置]