当前位置: 首页 > news >正文

Spark wordcount实验

Spark WordCount实验一

启动spark

1. 数据准备

 创建建数据文件夹

进入data文件夹

创建文本文件

并查看是否创建成功

文件内容

查看文件目录

启动pyspark

3、输入代码

从本地读入文本数据

读入1中创建好的data.txt文本文件。

并计算打印结果

Spark WordCount实验二

切工作目录到Downloads文件夹下, 并用用vim命令新建data.txt

编写代码

并把.py文件传输到Linux上

提交应用

切换到spark-submit所在目录下,然后提交wordcount.py代码。

运行结果

总体还是比较简单就练习如何使用spark-submit命令提交独立的python程序时最后的输出wordcount01.py时有点问题

相关文章:

  • 北京网站建设多少钱?
  • 辽宁网页制作哪家好_网站建设
  • 高端品牌网站建设_汉中网站制作
  • 探索PyCharm的C/C++支持:一站式配置指南
  • Python | Leetcode Python题解之第319题灯泡开关
  • C++ vector的基本使用(待补全)
  • Linux Vim教程
  • 探索WebKit之巅:开启现代网页应用的高效与兼容之旅
  • 强化场站网约车管理,共筑安全便捷出行新生态
  • 【C++标准模版库】list的介绍及使用
  • JVM内存的其他相关解释
  • 如何实现ElementUI表单项label的文字提示?
  • 快速体验LLaMA-Factory 私有化部署和高效微调Llama3模型FAQ
  • 【论文笔记】Matching Anything by Segmenting Anything
  • STM32 | ADC+RS485(第十天)
  • 如何在 Next.js 中实现电子邮件验证?
  • 手把手教你如何在宝塔上添加可道云登录页面的ICP备案信息,别跟权威开玩笑。
  • html+css 实现hover边框彩色流动
  • JavaScript-如何实现克隆(clone)函数
  • 【108天】Java——《Head First Java》笔记(第1-4章)
  • Git初体验
  • If…else
  • Javascript Math对象和Date对象常用方法详解
  • Laravel 菜鸟晋级之路
  • node和express搭建代理服务器(源码)
  • Python打包系统简单入门
  • QQ浏览器x5内核的兼容性问题
  • Spring Cloud(3) - 服务治理: Spring Cloud Eureka
  • Spring声明式事务管理之一:五大属性分析
  • uva 10370 Above Average
  • 回顾 Swift 多平台移植进度 #2
  • 解决jsp引用其他项目时出现的 cannot be resolved to a type错误
  • 如何正确配置 Ubuntu 14.04 服务器?
  • 提升用户体验的利器——使用Vue-Occupy实现占位效果
  • 物联网链路协议
  • 一、python与pycharm的安装
  • ionic入门之数据绑定显示-1
  • Java总结 - String - 这篇请使劲喷我
  • MyCAT水平分库
  • 机器人开始自主学习,是人类福祉,还是定时炸弹? ...
  • #我与Java虚拟机的故事#连载06:收获颇多的经典之作
  • (1)Jupyter Notebook 下载及安装
  • (173)FPGA约束:单周期时序分析或默认时序分析
  • (2024,Flag-DiT,文本引导的多模态生成,SR,统一的标记化,RoPE、RMSNorm 和流匹配)Lumina-T2X
  • (51单片机)第五章-A/D和D/A工作原理-A/D
  • (Mac上)使用Python进行matplotlib 画图时,中文显示不出来
  • (十一)JAVA springboot ssm b2b2c多用户商城系统源码:服务网关Zuul高级篇
  • (一)UDP基本编程步骤
  • (转)编辑寄语:因为爱心,所以美丽
  • (转)创业的注意事项
  • .net 7和core版 SignalR
  • .NET CORE 2.0发布后没有 VIEWS视图页面文件
  • .NET Core 成都线下面基会拉开序幕
  • .NET gRPC 和RESTful简单对比
  • .net mvc 获取url中controller和action
  • .NET/C# 编译期能确定的字符串会在字符串暂存池中不会被 GC 垃圾回收掉
  • .sh
  • //解决validator验证插件多个name相同只验证第一的问题