您现在的位置是:主页 > 数据库技术 > 数据库技术

Sqoop+Hive+MySQL怎么配置用户某时间范围

IDCBT2021-12-25服务器技术人已围观

简介这篇文章主要讲解了“Sqoop+Hive+MySQL怎么配置用户某时间范围”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“Sqoop+Hive+MySQL怎么

这篇文章主要讲解了“Sqoop+Hive+MySQL怎么配置用户某时间范围”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“Sqoop+Hive+MySQL怎么配置用户某时间范围”吧!

一、创建配置文件
【1、创建table_env文件,增加如下内容】
执行命令:vi table_env
内容:

此处)折叠或打开

    insert overwrite directory '${hivevar:hdfs_path}' ROW FORMAT DELIMITED FIELDS TERMINATED BY '${hivevar:field_term}' select * from (select c.area,p.product_name,

           sum(rn) visit_num,

           row_number()over(partition by c.area order by sum(rn) desc) rn,

            '${hivevar:action_time}' action_time

      from city_info c join (

             select product_id,city_id,count(1) rn from user_click where action_time='${hivevar:action_time}' group by product_id,city_id

           ) u join product_info p

       on c.city_id = case when u.city_id is null then concat('cityid',rand()) else u.city_id end

      and p.product_id = case when u.product_id is null then concat('prodid',rand()) else u.product_id end

     group by c.area,p.product_name) a

    where a.rn <= 3;

退出保存(:wq)

【3、创建从Hive导出脚本:创建hive_to_mysql.sh文件,增加如下内容】
执行命令:vi hive_to_mysql.sh
内容:

此处)折叠或打开

    create database works DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;

1.2、创建表

点击(此处)折叠或打开

    --城市表

    create table city_info(

    city_id int,

    city_name varchar(255),

    area varchar(255)

    ) ENGINE=InnoDB DEFAULT CHARSET=utf8;

     

    --产品表

    create table product_info(

    product_id int,

    product_name varchar(50),

    extend_info varchar(100)

    )ENGINE=InnoDB DEFAULT CHARSET=utf8;


    -- 用户点击表

    create table user_click(

    user_id int,

    session_id varchar(50),

    action_time varchar(30),

    city_id int(11),

    product_id int(11)

    )ENGINE=InnoDB DEFAULT CHARSET=utf8;


    --统考结果表

    create table user_click_rs(

    area varchar(50),

    product_name varchar(50),

    visit_num int(11),

    标签:

    很赞哦! ()

本栏推荐