完全分布式Hadoop集群搭建
环境说明 操作系统:CentOS 8 x86_64 Hadoop版本:2.10.1 节点数:3 服务器规划: node1 n...
环境说明 操作系统:CentOS 8 x86_64 Hadoop版本:2.10.1 节点数:3 服务器规划: node1 n...
Hadoop生态系统介绍 Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。 它使我们能用一种简单的编程模型来处理存储于集群上的大...
Hadoop集群基础操作 Hadoop集群基本信息查看 集群存储信息查看 登录HDFS监控web查看运行情况及相关存储信息,默认端口为50070,具体以hdfs...
Hive安装详细步骤 基础环境准备 Hive安装前,首先以安装完成Hadoop,且本文中使用MySQL作为Hive的元数据存储库,MySQL数据库也要提前准备好,关...
Hive基础简介 关于Hive Hive是什么 Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上,总归为大数据,并使得...
spark shell本地模式: (1)使用spark shell需要开启Hadoop集群,在/home/hadoop/apps/spark-2.2.0-bin-hadoop2.7目录下执...
Spark History Server配置 (1)spark history server查看运行完成的作业信息和日志 (2)配置Hadoop的yarn-site.xml文件,所有节...
实现一个base64加密函数 1、实现java类 package com.zheng.udf; import java.util.Base64; import org.apac...
出现问题:hadoop集群起来以后,jps查看进程,看不到DataNode 根本原因:hadoop集群由原来3个节...