greenplum中怎么使用gpfdist与外部表高效导入数据

本篇内容介绍了“greenplum中怎么使用gpfdist与外部表高效导入数据”的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让小编带领大家学习一下如何处理这些情况吧！希望大家仔细阅读，能够学有所成！

greenplum作为OLAP分析型软件，自然避免不了从外部数据库加载大量的数据，然而传统的ETL数据传输方法（select=>insert）到GP需要经过GP的单点master，效率非常低。

下面介绍外部表用gpfdist快速导入数据：

普通外部表和可写外部表区别：

1、普通外部表只能select,可写外部表只能insert

2、可写外部表没有错误表

3、可写外部表可以指定分布键，如果不指定，默认随机分布；普通外部表只能随机分布

gpfdist优势：

1、直接由segment并发加载

2、直接加载数据文件，并可读写（和选择的外部表类型有关）

3、默认数据随机分配，每个节点负载均衡（和选择的外部表类型有关）

示例：

1、启动gpfdist

安装完GP后，自带gpfdist文件，直接指定目录、端口等就能启动服务。如果需要独立的文件服务器，则需要在文件服务器上单独下载gpfdist使用

[gpadmin@gp-master ~]nohup /disk/GP/bin/gpfdist -p 8081 -d /disk/upload &

使用nohup &是起守护进程作用，不然执行启动服务的客户端关闭后，这个进程也会被关闭；指定端口8081，指定文件服务器目录/disk/upload

[gpadmin@gp-master ~]$ ps -ef|grep gpfdist

gpadmin    816 32606  0 17:08 pts/4    00:00:00 grep gpfdist

gpadmin  13036     1  0 Oct21 ?        00:00:44 /disk/GP/bin/gpfdist -p 8081 -d /disk/upload

2、创建普通外部表

CREATE  EXTERNAL TABLE "ods"."order" (

"id" varchar(64),

"create_by" varchar(64),

"create_date" timestamp,

"update_by" varchar(64),

"update_date" timestamp,

"del_flag" char(1),

"user_id" varchar(64),

"user_name" varchar(64),

"account_id" varchar(64),

"equ_def_id" varchar(64),

"amount_in" numeric(20,2),

"amount_in_money" numeric(20,2),

"amount_out" numeric(20,2),

"amount_out_money" numeric(20,2),

"fee" numeric(20,2),

"fee_discount" numeric(20,2),

"money" numeric(20,2),

"actual_pay_money" numeric(20,2),

"discount_money" numeric(20,2),

"pay_time" timestamp,

"order_type" varchar(16),

"status" varchar(64),

"rel_biz_type" varchar(64),

"rel_biz_id" varchar(64),

转载：感谢您对IDCBT博客网站平台的认可，以及对我们原创作品以及文章的青睐，非常欢迎各位朋友分享到个人站长或者朋友圈，但转载请说明文章出处“来源IDCBT博客”。

标签：

很赞哦！ ()