第4.5节 Alink连接Kafka数据源

本文主要讨论如何使用Alink的Kafka连接组件（Kafka011SourceStreamOp和Kafka011SinkStreamOp）读取写入数据。如何你需要一个本地的Kafka数据源进行实验，可以参考我另外一篇文章，详细介绍了搭建Kafka及建立Topic的过程。

• 在MacOS上搭建Kafka
• 在Windo上搭建Kafka

首先，我们演示如何将流式数据写入Kafka。

假设已经有一个Kafka的数据源（譬如：本地Kafka数据源，端口为9092），并且Kafka中已经有一个topic，名称为iris，则Kafka写入组件Kafka011SinkStreamOp可以如下设置：

sink = Kafka011SinkStreamOp()\
.setBootstrapServers("localhost:9092")\
.setDataFormat("json")\
.setTopic("iris")

注意：Kafka写入的数据只能为字符串，需要设置每条记录转化为字符串的方式，这里我们使用Json格式。

我们还需要构造一个获取流式数据的方式，最简单的方式是使用CsvSourceStreamOp组件，将csv数据（https://alink-release.oss-cn-beijing.aliyuncs.com/data-files/iris.csv）以流的方式读入。然后，再连接Kafka写入组件，开始执行流式操作。完整代码如下：

URL = "https://alink-release.oss-cn-beijing.aliyuncs.com/data-files/iris.csv"
SCHEMA_STR = "sepal_length double, sepal_width double, petal_length double, petal_width double, category string"
data = CsvSourceStreamOp().setFilePath(URL).setSchemaStr(SCHEMA_STR)

sink = Kafka011SinkStreamOp()\
.setBootstrapServers("localhost:9092")\
.setDataFormat("json")\
.setTopic("iris")

data.link(sink)

StreamOperator.execute()

由于CSV文件中数据有限，当读取完最后一条时，流式任务会结束。

接下来，我们可以使用Alink的Kafka011SourceStreamOp组件读取数据，并设置其消费者组ID，读取模式为从头开始，具体代码如下：

source = Kafka011SourceStreamOp()\
.setBootstrapServers("localhost:9092")\
.setTopic("iris")\
.setStartupMode("EARLIEST")\
.setGroupId("alink_group")

source.print(key='kafka_iris', refreshInterval=1, maxLimit=500)

StreamOperator.execute()

执行显示结果如下，PyAlink对于流式数据的打印，是按一定的时间间隔，每次显示若干条（默认是100）。

message列显示的每条数据的信息，可以看到直接从Kafka中获取的每条数据都是Json格式的字符串。

我们在看到流式数据的同时，也注意到，连接Kafka的流式任务一直没有退出，需要我们点击菜单栏上的“中断”按钮，强行结束任务。

中断任务后，显示

注意：之后，还需要点击Restart按钮，重启整个引擎，才能继续后面的操作。

接下来，我们需要对字符串里面的数据进行提取。推荐使用JsonValueStreamOp，通过设置需要提取内容的JsonPath，提取出各列数据。详细代码如下：

source = Kafka011SourceStreamOp()\
.setBootstrapServers("localhost:9092")\
.setTopic("iris")\
.setStartupMode("EARLIEST")\
.setGroupId("alink_group")

data = source.link(
    JsonValueStreamOp()\
    .setSelectedCol("message")
    .setReservedCols([])
    .setOutputCols(["sepal_length", "sepal_width", "petal_length", "petal_width", "category"])
    .setJsonPath(["$.sepal_length", "$.sepal_width", "$.petal_length", "$.petal_width","$.category"])
)

data.getColTypes()

关于结果数据的Schema打印为：

[object, object, object, object, object]

可以看出JsonValueStreamOp提取出来的结果都是object类型的。我们可以使用Flink SQL 的cast方法，在代码实现上，只需在连接JsonValueStreamOp之后，再连接SelectStreamOp并设置其SQL语句参数，具体代码如下：

source = Kafka011SourceStreamOp()\
.setBootstrapServers("localhost:9092")\
.setTopic("iris")\
.setStartupMode("EARLIEST")\
.setGroupId("alink_group")

data = source.link(
    JsonValueStreamOp()\
    .setSelectedCol("message")
    .setReservedCols([])
    .setOutputCols(["sepal_length", "sepal_width", "petal_length", "petal_width", "category"])
    .setJsonPath(["$.sepal_length", "$.sepal_width", "$.petal_length", "$.petal_width","$.category"])
).link(
    SelectStreamOp()\
    .setClause("CAST(sepal_length AS DOUBLE) AS sepal_length, "\
               + "CAST(sepal_width AS DOUBLE) AS sepal_width, "\
               + "CAST(petal_length AS DOUBLE) AS petal_length, "\
               + "CAST(petal_width AS DOUBLE) AS petal_width, category")
)

data.getColTypes()

执行结果为：

[numpy.float64, numpy.float64, numpy.float64, numpy.float64, object]

即，每列数据都转化为相应的类型。

下面，我们再对data进行打印，并开始执行流式任务，具体代码如下：

data.print()
    
StreamOperator.execute()

流式数据打印显示如下图所示：

可以看出，配合使用Alink的相关组件，可以完整地从Kafka上读取、写入数据。后面，可通过Alink的各算法组件进行深入计算。