该文档涉及的组件

IForest序列异常检测 (IForestOutlier4GroupedData)

Java 类名:com.alibaba.alink.pipeline.outlier.IForestOutlier4GroupedData

Python 类名:IForestOutlier4GroupedData

功能介绍

iForest 可以识别数据中异常点,在异常检测领域有比较好的效果。算法使用 sub-sampling 方法,降低了算法的计算复杂度。

文献或出处

  1. Isolation Forest

参数说明

名称 中文名称 描述 类型 是否必须? 取值范围 默认值
inputMTableCol 输入列名 输入序列的列名 String
outputMTableCol 输出列名 输出序列的列名 String
predictionCol 预测结果列名 预测结果列名 String
featureCols 特征列名数组 特征列名数组,默认全选 String[] 所选列类型为 [BIGDECIMAL, BIGINTEGER, BYTE, DOUBLE, FLOAT, INTEGER, LONG, SHORT] null
maxOutlierNumPerGroup 每组最大异常点数目 每组最大异常点数目 Integer
maxOutlierRatio 最大异常点比例 算法检测异常点的最大比例 Double
numTrees 模型中树的棵数 模型中树的棵数 Integer 100
outlierThreshold 异常评分阈值 只有评分大于该阈值才会被认为是异常点 Double
predictionDetailCol 预测详细信息列名 预测详细信息列名 String
subsamplingSize 每棵树的样本采样行数 每棵树的样本采样行数,默认 256 ,最小 2 ,最大 100000 . Integer 1 <= x <= 100000 256
tensorCol tensor列 tensor列 String 所选列类型为 [BOOL_TENSOR, BYTE_TENSOR, DOUBLE_TENSOR, FLOAT_TENSOR, INT_TENSOR, LONG_TENSOR, STRING, STRING_TENSOR, TENSOR, UBYTE_TENSOR] null
vectorCol 向量列名 向量列对应的列名,默认值是null String 所选列类型为 [DENSE_VECTOR, SPARSE_VECTOR, STRING, VECTOR] null
numThreads 组件多线程线程个数 组件多线程线程个数 Integer 1

代码示例

Python 代码

import pandas as pd
df = pd.DataFrame([
    [1, 1, 10.0],
    [1, 2, 11.0],
    [1, 3, 12.0],
    [1, 4, 13.0],
    [1, 5, 14.0],
    [1, 6, 15.0],
    [1, 7, 16.0],
    [1, 8, 17.0],
    [1, 9, 18.0],
    [1, 10, 19.0]
])

dataOp = BatchOperator.fromDataframe(
    df, schemaStr='group_id int, id int, val double')

IForestOutlier4GroupedData()\
    .setInputMTableCol("data")\
    .setOutputMTableCol("pred")\
    .setFeatureCols(["val"])\
    .setPredictionCol("detect_pred")\
    .transform(
    dataOp.link(
        GroupByBatchOp()
        .setGroupByPredicate("group_id")
        .setSelectClause("group_id, mtable_agg(id, val) as data")
    )
).print()

Java 代码

import org.apache.flink.types.Row;

import com.alibaba.alink.operator.batch.source.MemSourceBatchOp;
import com.alibaba.alink.operator.batch.sql.GroupByBatchOp;
import com.alibaba.alink.pipeline.outlier.IForestOutlier4GroupedData;
import org.junit.Test;

import java.util.Arrays;
import java.util.List;

public class IForestOutlier4GroupedDataTest {
	@Test
	public void test() throws Exception {
		List <Row> mTableData = Arrays.asList(
			Row.of(1, 1, 10.0),
			Row.of(1, 2, 11.0),
			Row.of(1, 3, 12.0),
			Row.of(1, 4, 13.0),
			Row.of(1, 5, 14.0),
			Row.of(1, 6, 15.0),
			Row.of(1, 7, 16.0),
			Row.of(1, 8, 17.0),
			Row.of(1, 9, 18.0),
			Row.of(1, 10, 19.0)
		);

		MemSourceBatchOp dataOp = new MemSourceBatchOp(mTableData, new String[] {"group_id", "id", "val"});

		new IForestOutlier4GroupedData()
			.setInputMTableCol("data")
			.setOutputMTableCol("pred")
			.setFeatureCols("val")
			.setPredictionCol("detect_pred")
			.transform(
				dataOp.link(
					new GroupByBatchOp()
						.setGroupByPredicate("group_id")
						.setSelectClause("group_id, mtable_agg(id, val) as data")
				)
			)
			.print();
	}
}

运行结果

group_id data pred
1 MTable(10,2)(id,val) MTable(10,3)(id,val,detect_pred)
1 10.0000 1 10.0000 false
2 11.0000 2 11.0000 false
3 12.0000 3 12.0000 false
4 13.0000 4 13.0000 false
5 14.0000 5 14.0000 false