字符串两两相似度计算 (StringSimilarityPairwiseBatchOp)

Java 类名:com.alibaba.alink.operator.batch.similarity.StringSimilarityPairwiseBatchOp

Python 类名:StringSimilarityPairwiseBatchOp

功能介绍

字符相似度是计算两两文章或者句子之间的相似度: 支持Levenshtein Distance,Longest Common SubString,String Subsequence Kernel,Cosine,SimHashHamming,MinHash和Jaccard七种相似度计算方式,通过选择metric参数可计算不同的相似度。

Levenshtein(Levenshtein Distance)支持距离和相似度两种方式,相似度=(1-距离)/length,length为两个字符长度的最大值,距离应选择metric的参数为LEVENSHTEIN,相似度应选metric的参数为LEVENSHTEIN_SIM。

LCS(Longest Common SubString)支持距离和相似度两种参数,相似度=(1-距离)/length,length为两个字符长度的最大值,距离应选择metric的参数为LCS,相似度应选择metric的参数为LCS_SIM。

SSK(String Subsequence Kernel)支持相似度计算,应选择metric的参数为SSK。

Cosine(Cosine)支持相似度计算,应选择metric的参数为COSINE。

SimhashHamming(SimHash_Hamming_Distance),支持距离和相似度两种方式,相似度=1-距离/64.0,距离应选择metric的参数为SIMHASH_HAMMING,相似度应选择metric的参数为SIMHASH_HAMMING_SIM。

MinHash 支持相似度计算,应选择metric的参数为MINHASH_SIM。

Jaccard 支持相似度计算,应选择metric的参数为JACCARD_SIM。

Alink上字符相似度算法包括Batch组件和Stream组件。

参数说明

名称 中文名称 描述 类型 是否必须? 取值范围 默认值
outputCol 输出结果列列名 输出结果列列名,必选 String
selectedCols 选择的列名 计算列对应的列名列表 String[] 所选列类型为 [STRING]
lambda 匹配字符权重 匹配字符权重,SSK中使用 Double 0.5
metric 度量类型 计算距离时,可以取不同的度量 String “LEVENSHTEIN”, “LEVENSHTEIN_SIM”, “LCS”, “LCS_SIM”, “SSK”, “COSINE”, “SIMHASH_HAMMING”, “SIMHASH_HAMMING_SIM”, “JACCARD_SIM” “LEVENSHTEIN_SIM”
numBucket 分桶个数 分桶个数 Integer 10
numHashTables 哈希表个数 哈希表的数目 Integer 10
reservedCols 算法保留列名 算法保留列 String[] null
seed 采样种子 采样种子 Long 0
windowSize 窗口大小 窗口大小 Integer x >= 1 2
numThreads 组件多线程线程个数 组件多线程线程个数 Integer 1

代码示例

Python 代码

from pyalink.alink import *

import pandas as pd

useLocalEnv(1)

df = pd.DataFrame([
    [0, "abcde", "aabce"],
    [1, "aacedw", "aabbed"],
    [2, "cdefa", "bbcefa"],
    [3, "bdefh", "ddeac"],
    [4, "acedm", "aeefbc"]
])

inOp1 = BatchOperator.fromDataframe(df, schemaStr='id long, text1 string, text2 string')
inOp2 = StreamOperator.fromDataframe(df, schemaStr='id long, text1 string, text2 string')

batchOp = StringSimilarityPairwiseBatchOp().setSelectedCols(["text1", "text2"]).setMetric("LEVENSHTEIN").setOutputCol("LEVENSHTEIN")
batchOp.linkFrom(inOp1).print()

streamOp = StringSimilarityPairwiseStreamOp().setSelectedCols(["text1", "text2"]).setMetric("COSINE").setOutputCol("COSINE")
streamOp.linkFrom(inOp2).print()
StreamOperator.execute()

Java 代码

import org.apache.flink.types.Row;

import com.alibaba.alink.operator.batch.BatchOperator;
import com.alibaba.alink.operator.batch.similarity.StringSimilarityPairwiseBatchOp;
import com.alibaba.alink.operator.batch.source.MemSourceBatchOp;
import com.alibaba.alink.operator.stream.StreamOperator;
import com.alibaba.alink.operator.stream.similarity.StringSimilarityPairwiseStreamOp;
import com.alibaba.alink.operator.stream.source.MemSourceStreamOp;
import org.junit.Test;

import java.util.Arrays;
import java.util.List;

public class StringSimilarityPairwiseBatchOpTest {
	@Test
	public void testStringSimilarityPairwiseBatchOp() throws Exception {
		List <Row> df = Arrays.asList(
			Row.of(0, "abcde", "aabce"),
			Row.of(1, "aacedw", "aabbed"),
			Row.of(2, "cdefa", "bbcefa"),
			Row.of(3, "bdefh", "ddeac"),
			Row.of(4, "acedm", "aeefbc")
		);
		BatchOperator <?> inOp1 = new MemSourceBatchOp(df, "id int, text1 string, text2 string");
		StreamOperator <?> inOp2 = new MemSourceStreamOp(df, "id int, text1 string, text2 string");
		BatchOperator <?> batchOp = new StringSimilarityPairwiseBatchOp().setSelectedCols("text1", "text2").setMetric(
			"LEVENSHTEIN").setOutputCol("LEVENSHTEIN");
		batchOp.linkFrom(inOp1).print();
		StreamOperator <?> streamOp = new StringSimilarityPairwiseStreamOp().setSelectedCols("text1", "text2")
			.setMetric("COSINE").setOutputCol("COSINE");
		streamOp.linkFrom(inOp2).print();
		StreamOperator.execute();
	}
}

运行结果

id text1 text2 LEVENSHTEIN
0 abcde aabce 2.0000
1 aacedw aabbed 3.0000
2 cdefa bbcefa 3.0000
3 bdefh ddeac 3.0000
4 acedm aeefbc 4.0000
id text1 text2 COSINE
1 aacedw aabbed 0.4000
4 acedm aeefbc 0.0000
0 abcde aabce 0.5000
2 cdefa bbcefa 0.4472
3 bdefh ddeac 0.2500