大数据技术原理与应用华为云实验实时分析

发表于2023-04-30|更新于2023-04-30|大数据技术原理与应用

|浏览量:

1.实验目的

l 掌握大数据相关服务的购买及基础配置

l 掌握使用Flume采集数据

l 掌握Flink SQL代码的编写

l 掌握使用DLV进行数据可视化

l 掌握实时流数据的处理流程

2.实验平台与服务

l MRS (MapReduce Service)

MapReduce服务是一个在华为云上部署和管理Hadoop系统的服务，一键即可部署Hadoop集群。

l DLI (Data Lake Insight)

数据湖探索是完全兼容Apache Spark、Apache Flink、openLooKeng（基于Apache Presto）生态，提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。

l RDS (Relational Database Service)

华为云关系型数据库是一种基于云计算平台的即开即用、稳定可靠、弹性伸缩、便捷管理的在线关系型数据库服务，支持单机和主备部署模式，支持MySQL、PostgreSQL、SQL Server等主流的关系型数据库引擎。

l CDM (Cloud Data Migration)

云数据迁移是提供同构/异构数据源之间批量数据迁移服务，帮助客户实现数据自由流动。

l DLV (Data Lake Visualization)

数据可视化是一站式数据可视化开发平台，提供丰富多样的2D、3D可视化组件，采用拖拽式自由布局，旨在帮助用户快速定制和应用属于自己的数据大屏。

3.实验步骤与结果

3.1.大数据相关服务的购买与基本配置

3.1.1.申请弹性公网ip

3.1.2.开通MapReduce服务

3.1.3.开通云数据库服务RDS

3.1.4.开通数据湖探索服务

配置跨源链接

3.1.5.开通数据迁移服务CDM

3.1.6.开通数据可视化服务DLV

3.2.大数据实时数据分析开发实战

3.2.1.Python脚本生成测试数据

（1）执行Python命令，测试生成100条数据

（2）使用more命令查看生成的数据。

3.2.2.配置Kafka

（1）创建topic

（2）查看topic信息

3.2.3.安装Flume客户端

（1）进入到MRS Manager界面

下载完成后会有弹出框提示下载到哪一台服务器上（这台机器就是master节点），路径就是/tmp/MRS-client。

（2）校验下载的客户端文件包

（3）安装Flume运行环境

3.2.4.配置Flume采集数据

3.2.5.MySQL中准备结果表和维度数据表

（1）新建数据库

（2）执行SQL

（3）创建数据表

3.2.6.使用DLI中的Flink作业进行数据分析

（1）编辑SQL并进行语义校验

（2）输入kafka_bootstrap_servers地址，测试连通性

（3）查看作业运行详情

（3）验证数据分析

3.2.7.DLV数据可视化

（1）展示销售额排行前5的门店信息

（2）定时执行数据生成脚本

4.实验总结

（1）实验完成情况

实验完成率：100%。

（2）出现的问题与解决方案

问题1：查找Zookeeper的IP时，Zookeeper的ip有三个，不知道要用哪个。

解决：使用两个node-master里面的其中一个IP即可

问题1：对于linux命令不太熟悉。

解决：查找“菜鸟教程”或者命令行下直接在命令末尾“- - h”查看帮助。

问题2：Putty没有显示菜单键，无法duplicate session

解决：重新开启一个Putty，登录相同IP

文章作者: hsuwindow

文章链接: http://hsuwindow.vip/%E5%A4%A7%E6%95%B0%E6%8D%AE%E6%8A%80%E6%9C%AF%E5%8E%9F%E7%90%86%E4%B8%8E%E5%BA%94%E7%94%A8/%E5%A4%A7%E6%95%B0%E6%8D%AE%E6%8A%80%E6%9C%AF%E5%8E%9F%E7%90%86%E4%B8%8E%E5%BA%94%E7%94%A8%E5%8D%8E%E4%B8%BA%E4%BA%91%E5%AE%9E%E9%AA%8C%E5%AE%9E%E6%97%B6%E5%88%86%E6%9E%90/

版权声明: 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 hsuwindowBlogs！

大数据学习

相关推荐

大数据技术原理与应用实验1熟悉常用的Linux操作和Hadoop操作

实验1 熟悉常用的Linux操作和Hadoop操作1.实验目的Hadoop运行在Linux系统上，因此，需要学习实践一些常用的Linux命令。本实验旨在熟悉常用的Linux操作和Hadoop操作，为顺利开展后续其他实验奠定基础。 2.实验平台（1）操作系统： Ubuntu-22.04.2-desktop-amd64 （2）Hadoop版本：3.1.3 3.实验步骤与结果*1.熟悉常用的Linux*操作 1）cd命令：切换目录（1）切换到目录“/usr/local” （2）切换到当前目录的上一级目录（3） ...

大数据技术原理与应用华为云实验实时检索

1.实验介绍1.1.实验概述本实验基于华为云服务。通过模拟开发流程，包括数据导入库，组件应用开发，构建搜索服务，最终完成实时检索功能。 1.2.实验目的l 掌握大数据相关服务的购买及基础配置 l 掌握HBase应用开发的基本语法 l 掌握ElasticSearch应用开发的基本语法 l 掌握实时检索的功能实现 1.3.实验规划在同一VPC内的ECS通过内网访问MRS HBase和CSS各自的网络地址，并通过各自网络地址完成数据导入和数据查询。 1.4.实验思路（1）通过配置和申请华为云服务VPC，ECS，MRS和CSS作为基础配置。（2）ECS在同一VPC内通过安全组规则访问MRS和CSS服务。（3）在ECS上搭建基本应用开发环境。（4）在ECS上建工程项目，开发基于MRS和CSS的应用程序。（5）服务使用完毕，进行释放资源。 1.5.实验流程 2.实验平台与服务l ECS (Elastic Cloud...

大数据技术原理与应用实验2熟悉常用的HDFS操作

实验2 熟悉常用的 HDFS 操作1.实验目的（1）理解 HDFS 在 Hadoop 体系结构中的角色；（2）熟练使用 HDFS 操作常用的 Shell 命令；（3）熟悉 HDFS 操作常用的 Java API。 2.实验平台（1）操作系统： Linux（Ubuntu-22.04.2-desktop-amd64）；（2） Hadoop 版本： 3.1.3；（3） JDK 版本： 1.8；（4） Java IDE： Eclipse。 3.实验步骤与结果（一）编程实现以下功能，并利用 Hadoop 提供的 Shell 命令完成相同任务：（1）向 HDFS 中上传任意文本文件，如果指定的文件在 HDFS...

大数据技术原理与应用实验3熟悉常用的HBase操作

实验3 熟悉常用的HBase操作1. 实验目的（1）理解 HBase 在 Hadoop 体系结构中的角色；（2）熟练使用 HBase 操作常用的 Shell 命令；（3）熟悉 HBase 操作常用的 Java API。 2.实验平台（1）操作系统： Linux（Ubuntu-22.04.2-desktop-amd64）；（2） Hadoop 版本： 3.1.3；（3） HBase版本：（4） JDK 版本： 1.8；（5） Java IDE： Eclipse。 3.实验步骤与结果（一）编程实现以下指定功能，并用 Hadoop 提供的 HBase Shell 命令完成相同任务：（1）列出 HBase 所有的表的相关信息，例如表名；运行结果+Java代码： 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960import java.io.IOException;import...

大数据技术原理与应用实验4NoSQL和关系数据库的操作比较

实验4 NoSQL和关系数据库的操作比较1. 实验目的（1）理解四种数据库(MySQL、 HBase、 Redis 和 MongoDB)的概念以及不同点；（2）熟练使用四种数据库操作常用的 Shell 命令；（3）熟悉四种数据库操作常用的 Java API。 2.实验平台（1）操作系统： Linux（Ubuntu-22.04.2）；（2） Hadoop 版本： 3.1.3；（3） MySQL 版本： 8.0.32；（4） HBase 版本： 2.2.2；（5） Redis 版本： 7.0.10；（6） MongoDB 版本： 6.0.5；（7） JDK 版本： 1.8；（8） Java IDE： Eclipse； 3.实验步骤与结果（一） MySQL 数据库操作学生表如 14-7 所示。表 14-7 学生表 Student Name English Math Computer zhangsan 69 86 77 lisi 55 100 88 \1. 根据上面给出的 Student 表，在 MySQL 数据库中完成如下操作：（1）在...

大数据技术原理与应用实验5MapReduce初级编程实践

实验5 MapReduce初级编程实践1. 实验目的（1）通过实验掌握基本的 MapReduce 编程方法；（2）掌握用 MapReduce 解决一些常见的数据处理问题，包括数据去重、数据排序和数据挖掘等。 2.实验平台（1）操作系统： Linux（Ubuntu22.04）；（2） Hadoop 版本： 3.1.3； 3.实验步骤与结果（一）编程实现文件合并和去重操作对于两个输入文件，即文件 A 和文件 B，请编写 MapReduce 程序，对两个文件进行合并，并剔除其中重复的内容，得到一个新的输出文件 C。下面是输入文件和输出文件的一个样例供参考。输入文件 A 的样例如下： 123456789101120170101 x 20170102 y 20170103 x 20170104 y 20170105 z 20170106 x 输入文件 B 的样例如下： 12345678920170101 y 20170102 y 20170103 x 20170104 z 20170105 y 根据输入文件 A 和 B 合并得到的输出文件 C...