该文档涉及的组件

Parquet文件读入 (ParquetSourceBatchOp)

Java 类名:com.alibaba.alink.operator.batch.source.ParquetSourceBatchOp

Python 类名:ParquetSourceBatchOp

功能介绍

读parquet文件数据。支持从本地、hdfs、http读取,可以递归读取目录下全部文件,如果是分区目录,可以对分区进行选择。

分区选择

分区目录名格式为“分区名=值”,例如: city=beijing/month=06/day=17;city=hangzhou/month=06/day=18。
Alink将遍历目录下的分区名和分区值,构造分区表:

city month day
beijing 06 17
hangzhou 06 18

使用SQL语句查找分区,例如:ParquetSourceBatchOp.setPartitions(“city = ‘beijing’”),分区选择语法参考《Flink SQL 内置函数》,分区值为String类型。

参数说明

名称 中文名称 描述 类型 是否必须? 取值范围 默认值
filePath 文件路径 文件路径 String
partitions 分区名 1)单级、单个分区示例:ds=20190729;2)多级分区之间用“ / ”分隔,例如:ds=20190729/dt=12; 3)多个分区之间用“,”分隔,例如:ds=20190729,ds=20190730 String null

代码示例

** 以下代码仅用于示意,可能需要修改部分代码或者配置环境后才能正常运行!**

Python 代码

filePath = 'https://alink-test-data.oss-cn-hangzhou.aliyuncs.com/iris.parquet'
parquetSource = ParquetSourceBatchOp()\
    .setFilePath(filePath)
parquetSource.print()

Java 代码

import com.alibaba.alink.operator.stream.StreamOperator;
import com.alibaba.alink.operator.stream.source.CsvSourceStreamOp;
import org.junit.Test;

public class ParquetSourceStreamOpTest {
	@Test
	public void testParquetSourceStreamOp() throws Exception {
		PluginDownloader downloader = AlinkGlobalConfiguration.getPluginDownloader();
		downloader.downloadPlugin("parquet");
		String parquetName = "https://alink-test-data.oss-cn-hangzhou.aliyuncs.com/iris.parquet";
		ParquetSourceBatchOp source = new ParquetSourceBatchOp()
			.setFilePath(new FilePath(parquetName, new HttpFileReadOnlyFileSystem()));
		source.print();

		//选择分区示例
		new ParquetSourceBatchOp()
			.setFilePath(filepath)
			.setPartitions("year>'9'")
			.print();

		new ParquetSourceBatchOp()
			.setFilePath(filepath)
			.setPartitions("city = 'beijing'")
			.print();
		
		new ParquetSourceBatchOp()
			.setFilePath(filepath)
			.setPartitions("year < '7' OR year > '9'")
			.print();
		
		new ParquetSourceBatchOp()
			.setFilePath(new FilePath(parquetName2))
			.setPartitions("year BETWEEN '9' AND '10'")
			.print();

	}
}

运行结果

class f0 f1 f2 f3
Iris-setosa 5.1000 3.5000 1.4000 0.2000
Iris-versicolor 5.0000 2.0000 3.5000 1.0000
Iris-setosa 5.1000 3.7000 1.5000 0.4000
Iris-virginica 6.4000 2.8000 5.6000 2.2000
Iris-versicolor 6.0000 2.9000 4.5000 1.5000
……
Iris-setosa 4.9000 3.0000 1.4000 0.2000
Iris-versicolor 5.7000 2.6000 3.5000 1.0000
Iris-setosa 4.6000 3.6000 1.0000 0.2000
Iris-versicolor 5.9000 3.0000 4.2000 1.5000