大数据技术原理与应用实验1熟悉常用的Linux操作和Hadoop操作

发表于2023-04-05|更新于2023-04-05|大数据技术原理与应用

|浏览量:

实验1 熟悉常用的Linux操作和Hadoop操作

1.实验目的

Hadoop运行在Linux系统上，因此，需要学习实践一些常用的Linux命令。本实验旨在熟悉常用的Linux操作和Hadoop操作，为顺利开展后续其他实验奠定基础。

2.实验平台

（1）操作系统： Ubuntu-22.04.2-desktop-amd64

（2）Hadoop版本：3.1.3

3.实验步骤与结果

*1.熟悉常用的Linux*操作

1）cd命令：切换目录

（1）切换到目录“/usr/local”

（2）切换到当前目录的上一级目录

（3）切换到当前登录Linux系统的用户的自己的主文件夹

2）ls命令：查看文件与目录

查看目录“/usr”下的所有文件和目录

3）mkdir命令：新建目录

（1）进入“/tmp”目录，创建一个名为“a”的目录，并查看“/tmp”目录下已经存在哪些目录

（2）进入“/tmp”目录，创建目录“a1/a2/a3/a4”

4）rmdir命令：删除空的目录

（1）将上面创建的目录a（在“/tmp”目录下面）删除

（2）删除上面创建的目录“a1/a2/a3/a4” （在“/tmp”目录下面），然后查看“/tmp”目录下面存在哪些目录

5）cp命令：复制文件或目录

（1）将当前用户的主文件夹下的文件.bashrc复制到目录“/usr”下，并重命名为bashrc1

（2）在目录“/tmp”下新建目录test，再把这个目录复制到“/usr”目录下

6）mv命令：移动文件与目录，或更名

（1）将“/usr”目录下的文件bashrc1移动到“/usr/test”目录下

（2）将“/usr”目录下的test目录重命名为test2

7）rm命令：移除文件或目录

（1）将“/usr/test2”目录下的bashrc1文件删除

（2）将“/usr”目录下的test2目录删除

8）cat命令：查看文件内容

查看当前用户主文件夹下的.bashrc文件内容

9）tac命令：反向查看文件内容

反向查看当前用户主文件夹下的.bashrc文件的内容

10）more命令：一页一页翻动查看

翻页查看当前用户主文件夹下的.bashrc文件的内容

11）head命令：取出前面几行

（1）查看当前用户主文件夹下.bashrc文件内容前20行

（2）查看当前用户主文件夹下.bashrc文件内容，后面50行不显示，只显示前面几行

12）tail命令：取出后面几行

（1）查看当前用户主文件夹下.bashrc文件内容最后20行

（2）查看当前用户主文件夹下.bashrc文件内容，并且只列出50行以后的数据

13）touch命令：修改文件时间或创建新文件

（1）在“/tmp”目录下创建一个空文件hello，并查看文件时间

（2）修改hello文件，将文件时间整为5天前

14）chown命令：修改文件所有者权限

将hello文件所有者改为root帐号，并查看属性

15）find命令：文件查找

找出主文件夹下文件名为.bashrc的文件

16）tar命令：压缩命令

（1）在根目录“/”下新建文件夹test，然后在根目录“/”下打包成test.tar.gz

（2）把上面的test.tar.gz压缩包，解压缩到“/tmp”目录

17）grep命令：查找字符串

从“～/.bashrc”文件中查找字符串’examples’

18）配置环境变量

（1）请在“～/.bashrc”中设置，配置Java环境变量

（2）查看JAVA_HOME变量的值

*2.熟悉常用的Hadoop*操作

（1）使用hadoop用户登录Linux系统，启动Hadoop（Hadoop的安装目录为“/usr/local/hadoop”），为hadoop用户在HDFS中创建用户目录“/user/hadoop”

（2）接着在HDFS的目录“/user/hadoop”下，创建test文件夹，并查看文件列表

（3）将Linux系统本地的“～/.bashrc”文件上传到HDFS的test文件夹中，并查看test

（4）将HDFS文件夹test复制到Linux系统本地文件系统的“/usr/local/hadoop”目录下

4.实验总结

（1）实验完成情况

实验完成率：100%

（2）出现的问题与解决方案

问题1：在安装虚拟机的时候遇到了版本界面和教程不适配，以及hadoop下载出错的问题。

解决：网上搜索使用VMware虚拟机安装Ubuntu20.04详细图文教程（链接https://blog.csdn.net/weixin_41805734/article/details/120698714?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522167784061916800211556074%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=167784061916800211556074&biz_id=0&utm_medium=distribute.wap_search_result.none-task-blog-2~all~top_positive~default-1-120698714-null-null.wap_search_all_course_earnings_v1&utm_term=vmware%E5%AE%89%E8%A3%85ubuntu%E6%95%99%E7%A8%8B&spm=1018.2118.3001.4187），一步一步照着里面的步骤做，结合MOOC上，林子雨老师的完备的大数据技术原理与应用的视频教程（链接https://www.icourse163.org/course/XMU-1002335004），圆满高效的解决了安装的问题。

问题2：使用虚拟机进行实验的时候出现VMware Workstation 17 频繁未响应的问题。

解决：我通过百度解决了问题，最后决定关闭qq，将qq快捷截图改成windows自带的shift+win+s的截图方式。同时采用快捷键ctrl+alt来将鼠标从虚拟机中切换到主电脑上，避免不必要的未响应问题。

这里给出链接http://www.huwoo.net/2020/post-4036.html

问题3：虚拟机与我的电脑之间文件的交换

解决：采用SecureCRT 8.0软件。

输入虚拟机的ip地址，然后依次填入hadoop账户的用户名和密码

最后在这个界面上

可以直接将左侧的文件拖动到右侧界面里面即可实现将我的电脑的文件上传到虚拟机里面。

文章作者: hsuwindow

文章链接: http://hsuwindow.vip/%E5%A4%A7%E6%95%B0%E6%8D%AE%E6%8A%80%E6%9C%AF%E5%8E%9F%E7%90%86%E4%B8%8E%E5%BA%94%E7%94%A8/%E5%A4%A7%E6%95%B0%E6%8D%AE%E6%8A%80%E6%9C%AF%E5%8E%9F%E7%90%86%E4%B8%8E%E5%BA%94%E7%94%A8%E5%AE%9E%E9%AA%8C1%E7%86%9F%E6%82%89%E5%B8%B8%E7%94%A8%E7%9A%84Linux%E6%93%8D%E4%BD%9C%E5%92%8CHadoop%E6%93%8D%E4%BD%9C/

版权声明: 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 hsuwindowBlogs！

大数据学习

相关推荐

大数据技术原理与应用华为云实验实时检索

1.实验介绍1.1.实验概述本实验基于华为云服务。通过模拟开发流程，包括数据导入库，组件应用开发，构建搜索服务，最终完成实时检索功能。 1.2.实验目的l 掌握大数据相关服务的购买及基础配置 l 掌握HBase应用开发的基本语法 l 掌握ElasticSearch应用开发的基本语法 l 掌握实时检索的功能实现 1.3.实验规划在同一VPC内的ECS通过内网访问MRS HBase和CSS各自的网络地址，并通过各自网络地址完成数据导入和数据查询。 1.4.实验思路（1）通过配置和申请华为云服务VPC，ECS，MRS和CSS作为基础配置。（2）ECS在同一VPC内通过安全组规则访问MRS和CSS服务。（3）在ECS上搭建基本应用开发环境。（4）在ECS上建工程项目，开发基于MRS和CSS的应用程序。（5）服务使用完毕，进行释放资源。 1.5.实验流程 2.实验平台与服务l ECS (Elastic Cloud...

大数据技术原理与应用华为云实验实时分析

1.实验目的l 掌握大数据相关服务的购买及基础配置 l 掌握使用Flume采集数据 l 掌握Flink SQL代码的编写 l 掌握使用DLV进行数据可视化 l 掌握实时流数据的处理流程 2.实验平台与服务l MRS (MapReduce Service) MapReduce服务是一个在华为云上部署和管理Hadoop系统的服务，一键即可部署Hadoop集群。 l DLI (Data Lake Insight) 数据湖探索是完全兼容Apache Spark、Apache Flink、openLooKeng（基于Apache Presto）生态，提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。 l RDS (Relational Database Service) 华为云关系型数据库是一种基于云计算平台的即开即用、稳定可靠、弹性伸缩、便捷管理的在线关系型数据库服务，支持单机和主备部署模式，支持MySQL、PostgreSQL、SQL Server等主流的关系型数据库引擎。 l CDM (Cloud Data...

大数据技术原理与应用实验2熟悉常用的HDFS操作

实验2 熟悉常用的 HDFS 操作1.实验目的（1）理解 HDFS 在 Hadoop 体系结构中的角色；（2）熟练使用 HDFS 操作常用的 Shell 命令；（3）熟悉 HDFS 操作常用的 Java API。 2.实验平台（1）操作系统： Linux（Ubuntu-22.04.2-desktop-amd64）；（2） Hadoop 版本： 3.1.3；（3） JDK 版本： 1.8；（4） Java IDE： Eclipse。 3.实验步骤与结果（一）编程实现以下功能，并利用 Hadoop 提供的 Shell 命令完成相同任务：（1）向 HDFS 中上传任意文本文件，如果指定的文件在 HDFS...

大数据技术原理与应用实验3熟悉常用的HBase操作

实验3 熟悉常用的HBase操作1. 实验目的（1）理解 HBase 在 Hadoop 体系结构中的角色；（2）熟练使用 HBase 操作常用的 Shell 命令；（3）熟悉 HBase 操作常用的 Java API。 2.实验平台（1）操作系统： Linux（Ubuntu-22.04.2-desktop-amd64）；（2） Hadoop 版本： 3.1.3；（3） HBase版本：（4） JDK 版本： 1.8；（5） Java IDE： Eclipse。 3.实验步骤与结果（一）编程实现以下指定功能，并用 Hadoop 提供的 HBase Shell 命令完成相同任务：（1）列出 HBase 所有的表的相关信息，例如表名；运行结果+Java代码： 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960import java.io.IOException;import...

大数据技术原理与应用实验4NoSQL和关系数据库的操作比较

实验4 NoSQL和关系数据库的操作比较1. 实验目的（1）理解四种数据库(MySQL、 HBase、 Redis 和 MongoDB)的概念以及不同点；（2）熟练使用四种数据库操作常用的 Shell 命令；（3）熟悉四种数据库操作常用的 Java API。 2.实验平台（1）操作系统： Linux（Ubuntu-22.04.2）；（2） Hadoop 版本： 3.1.3；（3） MySQL 版本： 8.0.32；（4） HBase 版本： 2.2.2；（5） Redis 版本： 7.0.10；（6） MongoDB 版本： 6.0.5；（7） JDK 版本： 1.8；（8） Java IDE： Eclipse； 3.实验步骤与结果（一） MySQL 数据库操作学生表如 14-7 所示。表 14-7 学生表 Student Name English Math Computer zhangsan 69 86 77 lisi 55 100 88 \1. 根据上面给出的 Student 表，在 MySQL 数据库中完成如下操作：（1）在...

大数据技术原理与应用实验5MapReduce初级编程实践

实验5 MapReduce初级编程实践1. 实验目的（1）通过实验掌握基本的 MapReduce 编程方法；（2）掌握用 MapReduce 解决一些常见的数据处理问题，包括数据去重、数据排序和数据挖掘等。 2.实验平台（1）操作系统： Linux（Ubuntu22.04）；（2） Hadoop 版本： 3.1.3； 3.实验步骤与结果（一）编程实现文件合并和去重操作对于两个输入文件，即文件 A 和文件 B，请编写 MapReduce 程序，对两个文件进行合并，并剔除其中重复的内容，得到一个新的输出文件 C。下面是输入文件和输出文件的一个样例供参考。输入文件 A 的样例如下： 123456789101120170101 x 20170102 y 20170103 x 20170104 y 20170105 z 20170106 x 输入文件 B 的样例如下： 12345678920170101 y 20170102 y 20170103 x 20170104 z 20170105 y 根据输入文件 A 和 B 合并得到的输出文件 C...