数仓怎样搭建ODS层

1、 创建数据库

1）创建gmall数据库

2、说明：如果数据库存在且有数据，需要强制删除时执行：drop database gmall cascade;

2）使用gmall数据库

3、ODS层

原始数据层，存放原始数据，直接加载原始日志、数据，数据保持原貌不做处理。

<1> 创建启动日志表ods_start_log

4、��创建输入数据是lzo输出是text，支持json解析的分区表

5、��加载数据

6、注意：时间格式都配置成YYYY-MM-DD格式，这是Hive默认支持的时间格式

3）查看是否加载成功

7、<2> 创建事件日志表ods_event_log

8、��创建输入数据是lzo输出是text，支持json解析的分区表

9、��加载数据

10、注意：时间格式都配置成YYYY-MM-DD格式，这是Hive默认支持的时间格式

3）查看是否加载成功

11、<3> Shell中单引号和双引号区别

1）在/home/atguigu/bin创建一个test.sh文件

12、在文件中添加如下内容

13、��查看执行结果

14、��总结：

（1）单引号不取变量值

（2）双引号取变量值

（3）反引号`，执行引号中命令

（4）双引号内部嵌套单引号，取出变量值

（5）单引号内部嵌套双引号，不取出变量值

15、<4> ODS层加载数据脚本

1）在hadoop102的/home/atguigu/bin目录下创建脚本

16、在脚本中编写如下内容

17、说明1：

[ -n 变量值 ] 判断变量的值，是否为空

-- 变量的值，非空，返回true

-- 变量的值，为空，返回false

说明2：

查看date命令的使用，[atguigu@hadoop102 ~]$ date --help

2）增加脚本执行权限

18、��脚本使用

19、��查看导入数据

20、��脚本执行时间