Centos7下编译安装redis

Centos7下编译安装redis
第一步:下载redis安装包 wget http://download.redis.io/releases/redis-4.0.9.tar.gz   想下载哪个版本可以复制上面链接删除redis-*部分内容,可以查看到所有redis版本的安装包 第二步:解压安装包 tar -zxvf redis-4.0.9.tar.gz -C /usr/local/ 将压……继续阅读 »

admin 2年前 (2019-06-09) 232浏览 0评论 0个赞

记一次腾讯云标准型SA1 Centos7.2安装MySQL的坑

记一次腾讯云标准型SA1 Centos7.2安装MySQL的坑
之前的文章有一篇记录的详细的MySQL安装,是一片DBA安装的详细文章 今天做一次简单的MySQL安装 1、删除自带mysql并安装新的mysql rpm -e --nodeps mysql  // 强力删除模式,如果使用上面命令删除时,提示有依赖的其它文件,则用该命令可以对其进行强力删除 然后使用以下命令进行安装: yum install -y mysql……继续阅读 »

admin 2年前 (2019-05-13) 183浏览 0评论 0个赞

我司Spark迁移Hive数据到MongoDB生产案例代码–转载

我司Spark迁移Hive数据到MongoDB生产案例代码–转载
本文章转自若泽大数据,如果您也想转载请注明出处,原文地址: 我司Spark迁移Hive数据到MongoDB生产案例代码 (若泽大数据:www.ruozedata.com ,系统化讲解大数据知识,专注于生产案例的讲解,讲师全部为一线在职牛人,不定期学员分享生产案例,所有人一起进步) Hive emp表数据如下 hive (soul)> select *……继续阅读 »

admin 2年前 (2018-12-28) 306浏览 0评论 0个赞

Hive的fileformat文件存储格式测试,查看每一种格式对数据整体大小的影响(千万不要和Compression混淆)

Hive的fileformat文件存储格式测试,查看每一种格式对数据整体大小的影响(千万不要和Compression混淆)
首先声明,以下只是对常见的存储格式进行说明,通常下我们直接采用ORC\PARQUET格式进行存储 一、常见的Hive存储格式,以及默认textfile的多重创建方式 1、Hive 常见的文件存储格式fileformat : SEQUENCEFILE | TEXTFILE -- (Default, depending on hive.defaul……继续阅读 »

admin 2年前 (2018-11-14) 237浏览 0评论 0个赞

Hive介绍与客户端环境搭建

Hive介绍与客户端环境搭建
一、产生背景 1)MapReduce编程不方便:开发、测试、需求变更 2)满足传统关系型数据库人员的需要 3)像使用sql一样的方式来处理分析大数据 ==> Hive 文件存放在HDFS之上的,那么如果你想使用SQL去处理它,需要一个什么前提? 结构化、文件映射成表格 ==> Schema 元数据信息(metastore) 二、Hive是什么 1、官网:h……继续阅读 »

admin 2年前 (2018-11-09) 222浏览 0评论 0个赞

Hive与传统的关系型数据库的区别

Hive与传统的关系型数据库的区别
1、数据量 hive存储的数据量比较大,适合海量数据,适合存储轨迹类历史数据,适合用来做离线分析、数据挖掘运算, 事务性较差,实时性较差 rdbms一般数据量相对来说不会太大,适合事务性计算,实时性较好,更加接近上层业务 2、计算引擎 hive的计算引擎是hadoop的mapreduce,存储是hadoop的hdfs文件系统, rdbms的引擎由数据库自己设……继续阅读 »

admin 2年前 (2018-11-08) 229浏览 0评论 0个赞