ODS层怎样搭建数仓

1、创建数据库

1）创建gmall数据库

2、说明：如果数据库存在且有数据，需要强制删除时执行：drop database gmall cascade;

2）使用gmall数据库

3、ODS层

原始数据层，存放原始数据，直接加载原始日志、数据，数据保持原貌不做处理。

4、1）创建输入数据是lzo输出是text，支持json解析的分区表

5、说明Hive的LZO压缩

2）加载数据

6、注意：时间格式都配置成YYYY-MM-DD格式，这是Hive默认支持的时间格式

3）查看是否加载成功

7、创建事件日志表ods_event_log

8、1）创建输入数据是lzo输出是text，支持json解析的分区表

9、2）加载数据

10、注意：时间格式都配置成YYYY-MM-DD格式，这是Hive默认支持的时间格式

3）查看是否加载成功

11、Shell中单引号和双引号区别

1）在/home/atguigu/bin创建一个test.sh文件

12、在文件中添加如下内容

13、2）查看执行结果

14、3）总结：

（1）单引号不取变量值

（2）双引号取变量值

（3）反引号`，执行引号中命令

（4）双引号内部嵌套单引号，取出变量值

（5）单引号内部嵌套双引号，不取出变量值

15、ODS层加载数据脚本

1）在hadoop102的/home/atguigu/bin目录下创建脚本

16、在脚本中编写如下内容

17、说明1：

[ -n 变量值 ] 判断变量的值，是否为空

-- 变量的值，非空，返回true

-- 变量的值，为空，返回false

说明2：

查看date命令的使用，[atguigu@hadoop102 ~]$ date --help

18、2）增加脚本执行权限

19、3）脚本使用

20、4）查看导入数据

21、5）脚本执行时间