您现在的位置是:主页 > 数据库技术 > 数据库技术
greenplum中怎么使用gpfdist与外部表高效导入数据
IDCBT2021-12-31【服务器技术】人已围观
简介本篇内容介绍了“greenplum中怎么使用gpfdist与外部表高效导入数据”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些
本篇内容介绍了“greenplum中怎么使用gpfdist与外部表高效导入数据”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!
greenplum作为OLAP分析型软件,自然避免不了从外部数据库加载大量的数据,然而传统的ETL数据传输方法(select=>insert)到GP需要经过GP的单点master,效率非常低。
下面介绍外部表用gpfdist快速导入数据:
普通外部表和可写外部表区别:
1、普通外部表只能select,可写外部表只能insert
2、可写外部表没有错误表
3、可写外部表可以指定分布键,如果不指定,默认随机分布;普通外部表只能随机分布
gpfdist优势:
1、直接由segment并发加载
2、直接加载数据文件,并可读写(和选择的外部表类型有关)
3、默认数据随机分配,每个节点负载均衡(和选择的外部表类型有关)
示例:
1、启动gpfdist
安装完GP后,自带gpfdist文件,直接指定目录、端口等就能启动服务。如果需要独立的文件服务器,则需要在文件服务器上单独下载gpfdist使用
[gpadmin@gp-master ~]nohup /disk/GP/bin/gpfdist -p 8081 -d /disk/upload &
使用nohup &是起守护进程作用,不然执行启动服务的客户端关闭后,这个进程也会被关闭;指定端口8081,指定文件服务器目录/disk/upload
[gpadmin@gp-master ~]$ ps -ef|grep gpfdist
gpadmin 816 32606 0 17:08 pts/4 00:00:00 grep gpfdist
gpadmin 13036 1 0 Oct21 ? 00:00:44 /disk/GP/bin/gpfdist -p 8081 -d /disk/upload
2、创建普通外部表
CREATE EXTERNAL TABLE "ods"."order" (
"id" varchar(64),
"create_by" varchar(64),
"create_date" timestamp,
"update_by" varchar(64),
"update_date" timestamp,
"del_flag" char(1),
"user_id" varchar(64),
"user_name" varchar(64),
"account_id" varchar(64),
"equ_def_id" varchar(64),
"amount_in" numeric(20,2),
"amount_in_money" numeric(20,2),
"amount_out" numeric(20,2),
"amount_out_money" numeric(20,2),
"fee" numeric(20,2),
"fee_discount" numeric(20,2),
"money" numeric(20,2),
"actual_pay_money" numeric(20,2),
"discount_money" numeric(20,2),
"pay_time" timestamp,
"order_type" varchar(16),
"status" varchar(64),
"rel_biz_type" varchar(64),
"rel_biz_id" varchar(64),
标签:很赞哦! ()