AkSourceBatchOp/StreamOp、CsvSourceBatchOp/StreamOp、ParquetSourceBatchOp/StreamOp等批式或流式数据源组件,都支持选择分区读取数据。
分区目录名格式为"分区名=值",例如: month=06/day=17;month=06/day=18。Alink将遍历目录下的分区名和分区值,构造分区表:
month | day |
06 | 17 |
06 | 18 |
使用SQL语句查找分区,例如:AkSourceBatchOp.setPartitions("day = '17'"),分区选择语法参考《Flink SQL 内置函数》,分区值为String类型。
上节的最后,使用Export2FileSinkStreamOp组件生成了分区数据;本节将以AkSourceBatchOp/StreamOp为例,演示选择分区数据进行读取。