第一步：下载redis安装包
wget http://download.redis.io/releases/redis-4.0.9.tar.gz
想下载哪个版本可以复制上面链接删除redis-*部分内容，可以查看到所有redis版本的安装包
第二步：解压安装包
tar -zxvf redis-4.0.9.tar.gz -C /usr/local/
将压……继续阅读 »
admin
2年前 (2019-06-09) 232浏览 0评论
0个赞
之前的文章有一篇记录的详细的MySQL安装，是一片DBA安装的详细文章
今天做一次简单的MySQL安装
1、删除自带mysql并安装新的mysql
rpm -e --nodeps mysql // 强力删除模式，如果使用上面命令删除时，提示有依赖的其它文件，则用该命令可以对其进行强力删除
然后使用以下命令进行安装：
yum install -y mysql……继续阅读 »
admin
2年前 (2019-05-13) 183浏览 0评论
0个赞
User-defined function用户自定义方法
UDF:一进一出
UDAF：多进一出
UDTF：一进多出
1、自定义一个最简单的UDF
pom文件,使用的cdh5.12.0的包
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/200……继续阅读 »
admin
2年前 (2019-01-08) 243浏览 0评论
0个赞
1、Hive中databases的信息-》DBS
字段关联，以及表
TBL_ID(TBLS)-> SD_ID(SDS)-> CD_ID(CDS)-> SERDE_ID(SERDES)
元数据表字段 说明
DB_ID 数据库ID
DESC 数据库描述
DB_LOCATION_URI 数据库HDFS路径
NAME 数据库名
……继续阅读 »
admin
2年前 (2019-01-06) 295浏览 0评论
0个赞
本文章转自若泽大数据，如果您也想转载请注明出处，原文地址：
我司Spark迁移Hive数据到MongoDB生产案例代码
(若泽大数据：www.ruozedata.com ，系统化讲解大数据知识，专注于生产案例的讲解，讲师全部为一线在职牛人，不定期学员分享生产案例，所有人一起进步)
Hive emp表数据如下
hive (soul)> select *……继续阅读 »
admin
2年前 (2018-12-28) 306浏览 0评论
0个赞
1、创建一个textfile默认的表
create table page_views(
track_time string,
url string,
session_id string,
referer string,
ip string,
end_user_id string,
city_id string
) ROW FORMAT DELIMITED F……继续阅读 »
admin
2年前 (2018-11-21) 164浏览 0评论
0个赞
1、Hiveserver2的使用
HiveServer2 (HS2) is a service that enables clients to execute queries against Hive.
启动一个server能够让clients在hive中执行queries
默认hiveserver2
[hadoop@hadoop000 ~]$ hivese……继续阅读 »
admin
2年前 (2018-11-17) 198浏览 0评论
0个赞
首先声明，以下只是对常见的存储格式进行说明，通常下我们直接采用ORC\PARQUET格式进行存储
一、常见的Hive存储格式，以及默认textfile的多重创建方式
1、Hive 常见的文件存储格式fileformat
: SEQUENCEFILE
| TEXTFILE -- (Default, depending on hive.defaul……继续阅读 »
admin
2年前 (2018-11-14) 237浏览 0评论
0个赞
一、产生背景
1）MapReduce编程不方便：开发、测试、需求变更
2）满足传统关系型数据库人员的需要
3）像使用sql一样的方式来处理分析大数据
==> Hive
文件存放在HDFS之上的，那么如果你想使用SQL去处理它，需要一个什么前提？
结构化、文件映射成表格 ==> Schema 元数据信息(metastore)
二、Hive是什么
1、官网：h……继续阅读 »
admin
2年前 (2018-11-09) 222浏览 0评论
0个赞
1、数据量
hive存储的数据量比较大，适合海量数据，适合存储轨迹类历史数据，适合用来做离线分析、数据挖掘运算，
事务性较差，实时性较差
rdbms一般数据量相对来说不会太大，适合事务性计算，实时性较好，更加接近上层业务
2、计算引擎
hive的计算引擎是hadoop的mapreduce，存储是hadoop的hdfs文件系统，
rdbms的引擎由数据库自己设……继续阅读 »
admin
2年前 (2018-11-08) 229浏览 0评论
0个赞
