POSTGRESQL中ETL、fdw的平行替换
01、简介
“ 在我前两次的文章中,说到postgresql对于python的支持,其实很多功能也就可以封装进入的postgresql数据库中去。比如fdw、etl等,本文将以此为叙述点,进行演示展示”
在postgresql数据库中fdw的支持,在创建和使用上都不上太方便,特别是fdw在用表级别关联的时候,性能会大大折扣,因为fdw的数据并不会落地到本地。所以我们可以利用postgresql对于python的支持,自行封装一个库对库的调度工具,将远端数据进行落地后再次使用。对于使用的便利性,读者可自行对比。
02、postgresql16.1的安装
安装依赖
yum install -y bison flex readline-devel zlib-devel zlib zlib-devel gcc gcc-c++ openssl-devel python3 python3-devel libicu-devel ncurses-devel sqlite-devel tk-devel gcc make