数据连接器¶
Driverless AI 提供若干用于访问外部数据源的数据连接器。默认启用以下数据连接类型:
Upload
: 标准上传功能file
: 本地文件系统/服务器文件系统Hdfs
: Hadoop 文件系统,注意配置 HDFS 配置文件夹路径和密钥表s3
: Amazon S3,可选择配置秘密和访问密钥Recipe_file
: 上传自定义插件文件Recipe_url
: 通过 url 上传自定义插件
此外,可通过修改 enabled_file_systems
配置选项(本机安装)或环境变量(Docker 映像安装)来启用以下连接类型:
Dtap
: Blue Data Tap 文件系统,注意配置 DTap 部分gcs
: Google Cloud Storage,注意配置gcs_path_to_service_account_json
Gbq
: Google Big Query,注意配置gcs_path_to_service_account_json
hive
: Hive 连接器,注意配置 HiveMino
: Minio Cloud Storage,注意配置secret and access key
snow
: Snowflake 数据仓库,注意配置 Snowflake 凭证kdb
: KDB+ 时间序列数据库,注意配置 KDB 凭证azrbs
: Azure Blob 存储,注意配置 Azure 凭证jdbc
: JDBC 连接器,注意配置 JDBC
这些数据源以文件系统的形式公开,并且每个文件系统均有其唯一前缀。例如:
若要引用 S3 中的数据,则使用
s3://
.若要引用 HDFS 中的数据,则使用前缀
hdfs://
.若要引用 Azure Blob Store 中的数据,则使用
https://<storage_name>.blob.core.windows.net
.若要引用 BlueData Datatap 中的数据,则使用
dtap://
.若要引用 Google BigQuery 中的数据,请确保您知道 Google BigQuery 数据集和想要查询的表。使用标准 SQL 查询来获取数据。
若要引用 Google Cloud Storage 中的数据,则使用
gs://
.若要引用 kdb+ 中的数据,则使用主机名和
http://<kdb_server>:<port>
端口。若要引用 Minio 中的数据,则使用
http://<endpoint_url>
.若要引用 Snowflake 中的数据,则使用标准 SQL 查询来获取数据。
若要通过 JDBC 访问 SQL 数据库,则使用语法与您的数据库相关联的 SQL 查询。
更多信息,请参阅以下章节: