当前位置： 首页 > news >正文

大数据处理学习笔记1.1 搭建Scala开发环境

news 2026/2/8 14:25:04

文章目录

  • 零、本讲学习目标
  • 一、Scala简介
    • （一）Scala概述
    • （二）函数式编程
    • （三）Scala特性
      • 1、一切都是对象
      • 2、一切都是函数
      • 3、一切都是表达式
    • （四）在线运行Scala
  • 二、选择Scala版本
  • 三、Windows上安装Scala
    • （一）到Scala官网下载Scala
    • （二）安装Scala
    • （三）配置Scala环境变量
    • （四）测试Scala是否安装成功
      • 1、查看Scala版本
      • 2、启动Scala，执行语句
  • 四、Linux上安装Scala
    • （一）到Scala官网下载Scala
    • （二）安装Scala
      • 1、登录ied虚拟机
      • 2、上传scala安装包到ied虚拟机
      • 3、解压scala安装包到指定目录
    • （三）配置Scala环境变量
    • （四）测试Scala是否安装成功
      • 1、查看Scala版本
      • 2、启动Scala，执行语句
  • 五、​Scala的使用
    • （一）交互模式
      • 1、命令行方式
      • 2、文件方式
    • （二）编译模式
      • 1、创建源程序
      • 2、编译成字节码
      • 3、解释执行对象
  • 六、课后作业
    • 任务1、在你的笔记本上安装Windows版的Scala
    • 任务2、在你的私有云虚拟机上安装Linux版的Scala
    • 任务3、练习命令行模式与编译模式运行Scala

零、本讲学习目标

  1. 了解Scala语言的特点
  2. 学会搭建Scala开发环境
  3. 了解命令行模式与编译模式

一、Scala简介

（一）Scala概述

  • Scala是Scalable Language的简写，是一门多范式的编程语言，由联邦理工学院洛桑（EPFL）的Martin Odersky于2001年基于Funnel的工作开始设计，设计初衷是要集成面向对象编程和函数式编程的各种特性。
  • Scala是一种将面向对象和函数式编程结合在一起的高级语言，旨在以简洁、优雅和类型安全的方式表达通用编程模式。Scala功能强大，不仅可以编写简单脚本，还可以构建大型系统。
  • Scala运行于Java平台，Scala程序会通过JVM被编译成class字节码文件，然后在操作系统上运行。其运行时候的性能通常与Java程序不分上下，并且Scala代码可以调用Java方法、继承Java类、实现Java接口等，几乎所有Scala代码都大量使用了Java类库。
  • Scala 是完全兼容Java的，其实Scala就是在Java语言的基础上增加了一层编码的 “壳”，让程序人员可以通过函数式编程的方式来开发程序。由于Scala最终被编译为.class，所以其实本质上还是Java，所以在Scala中可以任意的调用Java的API。好处显而易见：让Jva程序员可以更无障碍的转到Scala；让原先Java的API仍然可以在Scala中使用；公司中的Java平台不用替换就可以使用Scala。

（二）函数式编程

  • 函数式编程：将所有复杂的问题的解决，拆分为若干函数的处理。每一个函数可以去实现一部分功能，利用很多次函数的处理，最终解决问题。

  • 函数式编程相对于面向对象编程，更加抽象，好处是，代码可以非常简洁，更多采用常量而不是变量来解决问题，这样额外带来的好处：在线程并发时，可以减少甚至杜绝多线程并发安全问题，特别适合于应用在处理高并发场景、分布式场景下的问题。函数式编程可以使用高阶函数，函数是一等公民，可以更加灵活的进行程序的编写。

  • 函数式编程并不是面向对象编程的发展，而是另外一种解决问题的思路，两者之间也并没有绝对的好坏之分，在不同的场景中各有各的优缺点。

（三）Scala特性

  • 在很多地方Scala都很像Java，也是静态类型语言，但是比Java更为函数式编程，这句话主要从三句话就可以理解“一切都是对象”，“一切都是函数”以及“一切都是表达式”三方面理解。

1、一切都是对象

  • Scala里一切都是对象，这大概和Python很像，因为即便是数字1都有一系列的方法，所以我们可以调用1.toDouble将Int类型的1转换为Double类型的1。

2、一切都是函数

  • 表现为可以重载操作符，跟Python很像，在一定程度上Scala是Java和Python生的孩子，只不过遗传基因比较大的卵子是Java提供的，而比较小的那颗精子则是Python提供的。

3、一切都是表达式

  • 在Scala里，一切都是表达式，即使像if(){}else{}这样的语句块也是有返回值的。

（四）在线运行Scala

  • 通过浏览器访问：Scala在线工具
    在这里插入图片描述
  • 单击【点击运行】按钮，可以查看代码运行结果
    在这里插入图片描述
  • 大家可以对照一下Java的HelloWorld程序，两者完全一一对应，相似度极高
    在这里插入图片描述

二、选择Scala版本

  • 本次学习我们准备采用Spark3.3.1，为了后续操作不出现任何匹配方面的问题，建议采用跟Spark版本匹配的Scala。
    在这里插入图片描述
  • 根据Spark官网建议，我们最好下载Scala 2.13版本

三、Windows上安装Scala

（一）到Scala官网下载Scala

  • Scala2.13.10下载网址：https://www.scala-lang.org/download/2.13.10.html
    在这里插入图片描述

  • 单击【scala-2.13.10.msi】超链接，将scala安装程序下载到本地
    在这里插入图片描述

（二）安装Scala

  • 双击安装程序图标，进入安装向导，按提示进行操作，完成Scala的安装
    在这里插入图片描述
  • 安装到默认的位置：C:\Program Files (x86)\scala，当然你也可以安装到其它位置

（三）配置Scala环境变量

  • 设置Windows系统的环境变量
变量名变量值
SCALA_HOMEC:\Program Files (x86)\scala
Path%SCALA_HOME%\bin
  • 通常Scala安装完成后会自动将Scala的bin目录的路径添加到系统Path变量中。若Path变量中无该路径，则需要手动添加。
    在这里插入图片描述

（四）测试Scala是否安装成功

1、查看Scala版本

  • 启动命令行窗口，执行scala -version命令，若能正确输出当前Scala版本信息，则说明安装成功
    在这里插入图片描述

2、启动Scala，执行语句

  • 在命令行提示后输入scala，则会进入Scala的命令行模式，在此可以编写Scala表达式和程序
    在这里插入图片描述

  • val - value：用于定义Scala常量

  • var - variable：用于定义Scala变量

  • 常量只能赋值一次，再次赋值是不允许的
    在这里插入图片描述

  • Scala里val定义的变量相当于Java里用final定义的变量，其实都是常量，不能再给它赋值
    在这里插入图片描述

四、Linux上安装Scala

（一）到Scala官网下载Scala

  • Scala2.13.10下载网址：https://www.scala-lang.org/download/2.13.10.html
    在这里插入图片描述
  • 单击【scala-2.13.10.tgz】超链接，将scala安装包下载到本地
    在这里插入图片描述

（二）安装Scala

1、登录ied虚拟机

  • 利用FinalShell登录ied虚拟机
    在这里插入图片描述

2、上传scala安装包到ied虚拟机

  • 进入/opt目录，将scala安装包上传到该目录
    在这里插入图片描述
    在这里插入图片描述

3、解压scala安装包到指定目录

  • 执行命令：tar -zxvf scala-2.13.10.tgz -C /usr/local
    在这里插入图片描述

（三）配置Scala环境变量

  • 执行命令：vim /etc/profile
    在这里插入图片描述
export SCALA_HOME=/usr/local/scala-2.13.10
export PATH=$SCALA_HOME/bin:$PATH
  • 存盘退出后，执行命令：source /etc/profile，让环境配置生效
    在这里插入图片描述

（四）测试Scala是否安装成功

1、查看Scala版本

  • 执行scala -version命令，若能正确输出当前Scala版本信息，则说明安装成功
    在这里插入图片描述
  • 报错，原因在于没有安装JDK（运行Scala要用到Java虚拟机）
  • 上传、安装、配置JDK
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
  • 配置好JDK之后，查看Scala版本
    在这里插入图片描述

2、启动Scala，执行语句

  • 在命令行提示后输入scala，则会进入Scala的命令行模式，在此可以编写Scala表达式和程序
    在这里插入图片描述

  • 演示语句块的返回值
    在这里插入图片描述

  • 演示if结构的返回值
    在这里插入图片描述

五、​Scala的使用

  • Scala可以在交互模式和编译模式两种方式下运行

（一）交互模式

  • 在命令行下直接敲命令或通过命令直接执行程序文件

1、命令行方式

  • 直接在scala>提示符后敲代码执行
    在这里插入图片描述
  • 在scala>提示符之后输入:quit，退出scala交互模式
    在这里插入图片描述

2、文件方式

  • 将代码写在xxx.scala文件中，通过scala xxx.scala执行文件中的代码
  • 创建/scala_work目录，进入该目录，执行命令：vim sum.scala
    在这里插入图片描述
    在这里插入图片描述
  • 执行命令：scala sum.scala
    在这里插入图片描述

（二）编译模式

  • 将代码写在.scala文件中，通过编译命令将.scala编译为.class，然后去解释执行。在.scala文件中编写好代码，创建对象，包含入口函数。通过scalac 或 fsc 命令进行编译，产生对应的.class文件。再通过scala命令来解释执行对象。scalac 和 fsc 都可以进行编译工作，区别是fsc会启动后台服务常驻系统后台，这样后续再进行编译的时候，速度就可以很快。

1、创建源程序

  • 在\scala_work目录里创建文件HelloWorld.scala
    在这里插入图片描述
    在这里插入图片描述

2、编译成字节码

  • 利用scalac将HelloWorld.scala编译成字节码文件HelloWorld.class
    在这里插入图片描述
  • 查看生成的同名字节码文件
    在这里插入图片描述

3、解释执行对象

  • 执行命令：scala HelloWorld，运行程序，查看结果
    在这里插入图片描述

六、课后作业

任务1、在你的笔记本上安装Windows版的Scala

任务2、在你的私有云虚拟机上安装Linux版的Scala

任务3、练习命令行模式与编译模式运行Scala

相关文章：

大数据处理学习笔记1.1 搭建Scala开发环境

文章目录零、本讲学习目标一、Scala简介（一）Scala概述（二）函数式编程（三）Scala特性1、一切都是对象2、一切都是函数3、一切都是表达式（四）在线运行Scala二、选择Scala版本三、Window…...

编程日记 2023/5/5 9:28:54

VSCODE C++ 调用matplotlibcpp画图

使用VSCODE编写C程序，想在调试过程中看中间数据的波形，于是找到了python的matplotlibcpp库，参考文章链接是：https://blog.csdn.net/weixin_43769166/article/details/118365416；按照他的步骤配置好之后，跳出…...

编程日记 2023/5/13 21:00:17

面对“开门红”，跨境支付如何寻求新增长曲线？

易观：2022年是第三方支付行业洗牌加剧的一年，在部分机构选择退出的过程中，也有机构开始瞄准跨境业务，成为了支付机构转型的重要方向之一。跨境支付是指两个或及其以上的国家或地区进行国际贸易、国际投资或其他经济活动&#xff0…...

编程日记 2023/5/17 21:01:53

MySQL入门篇-MySQL MHA高可用实战

MHA简介 MHA（Master High Availability）目前在MySQL高可用方面是一个相对成熟的解决方案，它由日本DeNA公司的youshimaton（现就职于Facebook公司）开发，是一套优秀的作为MySQL高可用性环境下故障切换和主从提…...

编程日记 2023/5/9 8:29:39

C语言文件操作

目录1.文件指针2.文件的打开和关闭3.文件的读写3.1文件的顺序读写fgetc和fputcfgets和fputsfscanf和fprintffread和fwrite3.2文件的随机读写fseekftellrewind4.文本文件和二进制文件5.文件读取结束的判定6.文件缓冲区1.文件指针 在文件操作中，一个关键的概念是文件…...

编程日记 2023/5/16 15:12:52

Flink中核心重点总结

目录 1. 算子链 1.1. 一对一（One-to-one， forwarding） 1.2. 重分区（Redistributing） 1.3. 为什么有算子链 2. 物理分区（Physical Partitioning） 2.1. 什么是分区 2.2. 随机分区&#xff…...

编程日记 2023/5/22 0:59:28

gismo中NURBS的相关函数的使用---待完善

文章目录 前言一、B样条的求值1.1 节点向量的生成1.2 基函数的调用1.3 函数里面的T指的是系数类型二、以等几何两个单元12个控制点为例输出的控制点坐标有误1.4二、#pic_center <table><tr><td bgcolor=PowderBlue>二维数2.12.22.32.4三、3.13.23.33.4四、4.…...

编程日记 2023/5/31 13:40:08

5.数据共享与持久化

数据共享与持久化 在容器中管理数据主要有两种方式&#xff1a; 数据卷&#xff08;Data Volumes&#xff09;挂载主机目录 (Bind mounts) 数据卷 数据卷是一个可供一个或多个容器使用的特殊目录&#xff0c;它绕过UFS&#xff0c;可以提供很多有用的特性&#xff1a; 数据…...

编程日记 2023/5/4 8:56:52

RabbitMQ-客户端源码之AMQCommand

AMQCommand不是直接包含Method等成员变量的&#xff0c;而是通过CommandAssembler又做了一次封装。 接下来先看下CommandAssembler类。此类中有这些成员变量&#xff1a; /** Current state, used to decide how to handle each incoming frame. */ private enum CAState {EXP…...

编程日记 2023/5/17 0:46:25

linux设置登录失败处理功能（密码错误次数限制、pam_tally2.so模块）和操作超时退出功能（/etc/profile）

一、登录失败处理功能策略 1、登录失败处理功能策略&#xff08;服务器终端&#xff09; &#xff08;1&#xff09;编辑系统/etc/pam.d/system-auth 文件&#xff0c;在 auth 字段所在的那一部分添加如下pam_tally2.so模块的策略参数&#xff1a; auth required pam_tally2…...

编程日记 2023/5/29 23:30:13

Centos7上Docker安装

文章目录1.Docker常识2.安装Docker1.卸载旧版本Docker2.安装Docker3.启动Docker4.配置镜像加速前天开学啦~所以可以回来继续卷了哈哈哈&#xff0c;放假在家效率不高&#xff0c;在学校事情也少点(^_−)☆昨天和今天学了学Docker相关的知识&#xff0c;也算是简单了解了下&…...

编程日记 2023/5/29 23:41:17

新瑞鹏“狂飙”，宠物医疗是门好生意吗？

宠物看病比人还贵&#xff0c;正在让不少年轻一族陷入尴尬境地。在知乎上&#xff0c;有个高赞提问叫“你愿意花光积蓄&#xff0c;给宠物治病吗”&#xff0c;这个在老一辈人看来不可思议的魔幻选择&#xff0c;真实地发生在当下的年轻人身上。提问底下&#xff0c;有人表示自…...

编程日记 2023/5/10 21:03:24

Spring循环依赖问题，Spring是如何解决循环依赖的？

文章目录一、什么是循环依赖1、代码实例2、重要信息二、源码分析1、初始化Student对Student中的ClassRoom进行Autowire操作2、Student的自动注入ClassRoom时&#xff0c;又对ClassRoom的初始化3、ClassRoom的初始化&#xff0c;又执行自动注入Student的逻辑4、Student注入Class…...

编程日记 2023/5/6 18:56:00

更改SAP GUI登录界面信息

在SAP GUI的登录界面&#xff0c;左部输入登录信息如客户端、用户名、密码等&#xff0c;右部空余部分可维护一些登录信息文本&#xff0c;如登录的产品、客户端说明及注意事项等&#xff0c;此项操作详见SAP Notes 205487 – Own text on SAPGui logon screen 维护文档使用的…...

编程日记 2023/5/31 13:50:54

分布式微服务架构下网络通信的底层实现原理

在分布式架构中&#xff0c;网络通信是底层基础&#xff0c;没有网络&#xff0c;也就没有所谓的分布式架构。只有通过网络才能使得一大片机器互相协作&#xff0c;共同完成一件事情。 同样&#xff0c;在大规模的系统架构中&#xff0c;应用吞吐量上不去、网络存在通信延迟、我…...

编程日记 2023/5/22 1:32:00

进大厂必备的Java面试八股文大全（2023最新精简易懂版，八股文中的八股文）

为什么同样是跳槽&#xff0c;有些人薪资能翻三倍&#xff1f;” 最近一个粉丝发出了灵魂拷问&#xff0c;类似的问题我收到过很多次&#xff0c;身边也确实有认识的同事、朋友们有非常成功的跳槽经历和收益&#xff0c;先说一个典型例子&#xff1a; 学弟小 A 工作一年半&am…...

编程日记 2023/5/26 19:37:50

都说测试行业饱和了，为什么我们公司给初级测试开到了12K？

故事起因&#xff1a; 最近我有个刚毕业的学生问我说&#xff1a;我感觉现在测试行业已经饱和了&#xff0c;也不是说饱和了&#xff0c;是初级的测试根本就没有公司要&#xff0c;哪怕你不要工资也没公司要你&#xff0c;测试刚学出来&#xff0c;没有任何的项目经验和工作经验…...

编程日记 2023/5/22 1:38:59

解决Idea启动项目失败，提示Error running ‘XXXApplication‘: Command line is too long

IDEA版本为&#xff1a;IntelliJ IDEA 2018.2 (Ultimate Edition)一、问题描述有时当我们使用IDEA&#xff0c;Run/Debug一个SpringBoot项目时&#xff0c;可能会启动失败&#xff0c;并提示以下错误。Error running XXXApplication: Command line is too long. Shorten comman…...

编程日记 2023/5/6 13:48:29

GB/T28181-2022针对H.265、AAC的说明和技术实现

GB/T28181-2022规范说明GB/T28181-2022相对来GB/T28181-2016针对H.265、AAC的更新如下&#xff1a;——更改了“联网系统通信协议结构图”&#xff0c;媒体流通道增加了 H.265、G.722.1、AAC&#xff08;见 4.3.1&#xff0c;2016 年版的 4.3.1&#xff09;。——增加了对 H.26…...

编程日记 2023/4/17 17:44:09

开关电源环路稳定性分析（11）——观察法找零极点

大家好&#xff0c;这里是大话硬件。 这篇文章主要是分享如何用观察法直接写出补偿网络中的零极点的表达式。 在前面的文章中&#xff0c;我们分别整理了OTA和OPA型的补偿网络&#xff0c;当时有下面的结论。 针对某个固定的补偿网络&#xff0c;我们可以用数学的方法推导补偿…...

编程日记 2023/5/5 13:36:59

sqlserver 根据指定字符 解析拼接字符串

DECLARE LotNo NVARCHAR(50)A,B,C DECLARE xml XML ( SELECT <x> REPLACE(LotNo, ,, </x><x>) </x> ) DECLARE ErrorCode NVARCHAR(50) -- 提取 XML 中的值 SELECT value x.value(., VARCHAR(MAX))…...

编程新知 2025/10/29 4:33:03

AspectJ 在 Android 中的完整使用指南

一、环境配置&#xff08;Gradle 7.0 适配&#xff09; 1. 项目级 build.gradle // 注意&#xff1a;沪江插件已停更&#xff0c;推荐官方兼容方案 buildscript {dependencies {classpath org.aspectj:aspectjtools:1.9.9.1 // AspectJ 工具} } 2. 模块级 build.gradle plu…...

编程新知 2025/7/7 22:33:57

关键领域软件测试的突围之路：如何破解安全与效率的平衡难题

在数字化浪潮席卷全球的今天&#xff0c;软件系统已成为国家关键领域的核心战斗力。不同于普通商业软件&#xff0c;这些承载着国家安全使命的软件系统面临着前所未有的质量挑战——如何在确保绝对安全的前提下&#xff0c;实现高效测试与快速迭代&#xff1f;这一命题正考验着…...

编程新知 2026/1/27 13:20:11

Linux 内存管理实战精讲：核心原理与面试常考点全解析

Linux 内存管理实战精讲&#xff1a;核心原理与面试常考点全解析 Linux 内核内存管理是系统设计中最复杂但也最核心的模块之一。它不仅支撑着虚拟内存机制、物理内存分配、进程隔离与资源复用&#xff0c;还直接决定系统运行的性能与稳定性。无论你是嵌入式开发者、内核调试工…...

编程新知 2026/1/25 10:16:57

动态 Web 开发技术入门篇

一、HTTP 协议核心 1.1 HTTP 基础 协议全称 &#xff1a;HyperText Transfer Protocol&#xff08;超文本传输协议&#xff09; 默认端口 &#xff1a;HTTP 使用 80 端口&#xff0c;HTTPS 使用 443 端口。 请求方法 &#xff1a; GET &#xff1a;用于获取资源&#xff0c;…...

编程新知 2025/10/3 0:42:17

使用LangGraph和LangSmith构建多智能体人工智能系统

现在&#xff0c;通过组合几个较小的子智能体来创建一个强大的人工智能智能体正成为一种趋势。但这也带来了一些挑战&#xff0c;比如减少幻觉、管理对话流程、在测试期间留意智能体的工作方式、允许人工介入以及评估其性能。你需要进行大量的反复试验。 在这篇博客〔原作者&a…...

编程新知 2026/1/26 13:48:59

【无标题】路径问题的革命性重构：基于二维拓扑收缩色动力学模型的零点隧穿理论

路径问题的革命性重构&#xff1a;基于二维拓扑收缩色动力学模型的零点隧穿理论 一、传统路径模型的根本缺陷 在经典正方形路径问题中&#xff08;图1&#xff09;&#xff1a; mermaid graph LR A((A)) --- B((B)) B --- C((C)) C --- D((D)) D --- A A -.- C[无直接路径] B -…...

编程新知 2025/10/21 1:07:59

搭建DNS域名解析服务器(正向解析资源文件)

正向解析资源文件 1&#xff09;准备工作 服务端及客户端都关闭安全软件 [rootlocalhost ~]# systemctl stop firewalld [rootlocalhost ~]# setenforce 0 2&#xff09;服务端安装软件&#xff1a;bind 1.配置yum源 [rootlocalhost ~]# cat /etc/yum.repos.d/base.repo [Base…...

编程新知 2026/2/4 15:42:45

Linux系统部署KES

1、安装准备 1.版本说明V008R006C009B0014 V008&#xff1a;是version产品的大版本。 R006&#xff1a;是release产品特性版本。 C009&#xff1a;是通用版 B0014&#xff1a;是build开发过程中的构建版本2.硬件要求 #安全版和企业版 内存&#xff1a;1GB 以上 硬盘&#xf…...

编程新知 2026/1/1 12:32:33

安卓基础（Java 和 Gradle 版本）

1. 设置项目的 JDK 版本 方法1&#xff1a;通过 Project Structure File → Project Structure... (或按 CtrlAltShiftS) 左侧选择 SDK Location 在 Gradle Settings 部分&#xff0c;设置 Gradle JDK 方法2&#xff1a;通过 Settings File → Settings... (或 CtrlAltS)…...

编程新知 2025/7/10 0:32:50