阿里云大数据平台
关注
分享
扫一扫
RayBreslin
大数据开发、设计企业应用
展开
-
阿里云搭建大数据平台（5）：scala和spark安装和配置
一、scala1.下载scala-2.11.8.tgztar -zxvf /opt/softwares/scala-2.11.8.tgz -C ./2.修改/etc/profilesudo vi /etc/profile添加：export SCALA_HOME=/opt/modules/scala-2.11.8export PATH=$SCALA_HOME/bin:...原创 2018-11-02 00:23:01 · 1062 阅读 · 0 评论 -
阿里云搭建大数据平台（6）：Hive和mysql安装和配置
一、环境1.CentOS7.42.hive-1.1.0-cdh5.15.03.mysql5.7二、Hive安装和配置1.解压：tar -zxvf /opt/softwares/hive-1.1.0-cdh5.15.0.tar.gz -C /opt/modules/2.配置环境： 修改名称：mv hive-env.sh.template hive-env.sh...原创 2018-11-03 20:21:49 · 1831 阅读 · 0 评论 -
阿里云搭建大数据平台（9）：kafka安装部署和测试
一、实现功能Kafka是消息队列的一种实现。A模块发送数据到kafka， B模块从kafka中获取数据。这样可以避免消息过多对处理消息服务器造成过大压力，消息可以先缓存在kafka然后，消费者从kafka中提取数据消费。二、部署和配置1.前提条件(1) 搭建jdk环境 => jdk1.8.x(2)搭建scala环境 => scala2.11.8(3)搭建zooke...原创 2018-11-07 08:23:43 · 1741 阅读 · 0 评论 -
阿里云搭建大数据平台（7）：Hbase和zookeeper安装和配置
一、概述1.安装hbase需要环境：hadoop环境，zookeeper的环境2.Hbase结构hbase是分布式主从架构的数据库 （1）主节点：master 负责管理型工作，类似于namenode （2）从节点: regionserver具体的数据流和数据存储工作，类似与datanode 二、zookeeper安装和配置伪分布式...原创 2018-11-06 00:08:30 · 1749 阅读 · 0 评论 -
阿里云搭建大数据平台（8）：flume安装部署和测试
一、flume安装1.解压缩 tar -zxvf flume-ng-1.6.0-cdh5.15.0.tar.gz -C /opt/modules/2.修改名字mv apache-flume-1.6.0-cdh5.15.0-bin/ flume-1.6.0-cdh5.15.0-bin/ 3.配置文件：conf/flume-env.sh(没有则重命名flume-env.sh...原创 2018-11-07 00:53:33 · 1583 阅读 · 0 评论 -
Hive(8):数据导入hive的多种方式
1、本地 load data local inpathLOAD DATA LOCAL INPATH ‘filepath' [overwrite] into table tablename [partition (partcol1=val1,...)]注意：（1）local代表本地（2）overwrite代表覆盖，如果不加，就是追加（3）分区表加载，特殊性 partition (p...原创 2018-11-07 00:01:01 · 277 阅读 · 0 评论 -
Hive(7):Hive四大表类型内部表、外部表、分区表和桶表
一、概述总体上Hive有四种表：外部表，内部表（管理表），分区表，桶表。分别对应不同的需求。下面主要讲解各种表的适用情形、创建和加载数据方法。二、具体内容1.内部表创建内部表和加载数据create table emp_inner(empno int,ename string,job string,mgr int,hiredate string,sal double...原创 2018-11-06 23:32:28 · 6129 阅读 · 2 评论 -
错误（为解决）：yarn的wordcount任务卡在INFO mapreduce.Job: Running job: job_1541084101495_0003
1.问题描述：配置好，yarn的日志聚合功能。运行yarn的wordcount任务，发生错误。一直卡在INFO mapreduce.Job，无法运行。2.现象[hadoop@hadoop hadoop-2.6.0-cdh5.15.0]yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.15.0.ja...原创 2018-11-01 23:59:51 · 1470 阅读 · 2 评论 -
Error :spark-shell模式报错：java.sql.SQLException: A read-only user or a user in a read-only database
1.问题描述：启动spark-shell local的模式bin/spark-shell --master local[2]报错：[hadoop@hadoop spark-2.1.0-bin-hadoop2.6]$ bin/spark-shell --master local[2]Setting default log level to "WARN".To adjust l...原创 2018-11-03 11:19:28 · 1576 阅读 · 0 评论 -
阿里云搭建大数据平台（3）：安装JDK和Hadoop伪分布环境
一、安装jdk1.卸载Linux自带的JDKrpm -qa|grep jdk #查询原始JDKyum -y remove <旧JDK>2.解压缩tar -zxvf /opt/softwares/jdk-8u151-linux-x64.tar.gz -C /opt/modules/3.将Java添加至环境变量vi /etc/profile添加...原创 2018-10-30 18:41:08 · 1556 阅读 · 0 评论 -
阿里云搭建大数据平台（2）：远程工具软件连接阿里云，以及配置SSH
一、SecureCRT1.作用：远程连接服务器，从而可以再Windows下操作Linux服务器系统，使得操作非常方便。2.配置方法：（1）选择“连接”-》（2）新建连接（3）新建会话配置（4）连接服务器即可！二、notepad++1.功能远程连接服务器，使用文本编译服务器文本文件，比vim编译操作便捷。2.配置步骤（1）选择配...原创 2018-10-27 18:21:16 · 1478 阅读 · 0 评论 -
阿里云搭建大数据平台（1）：远程连接阿里云平台
1.购买阿里云相应ECS服务器 2.点击“产品服务”-“云服务器ECS”3.选择“云服务器ECS”-》“概览”-》点击“云服务器1”4.重置密码选择实例，点击“重置密码”设置重置密码，即root用户的密码5.重启服务器，否则刚刚登陆密码不会生效6.远程连接输入远程连接密码（第一次登录的时候，会提示远程连接密码）7.登录成功...原创 2018-10-27 12:58:33 · 2880 阅读 · 0 评论 -
阿里云搭建大数据平台（4）：Yarn配置以及日志聚合以及优化
一、Yarn基本配置和测试1.Yarn环境变量（1）yarn-env.shexport HADOOP_YARN_USER=/opt/modules/jdk1.8.0_151（2）mapred-env.shexport JAVA_HOME=/opt/modules/jdk1.8.0_1512.修改hadoop/etc/hadoop/mapred-site.xml ...原创 2018-11-01 00:00:27 · 799 阅读 · 0 评论