批计算谓词下推配置

Spark

是否支持

SQL语句举例

And

是

select * from table where a > 1 and b < 0;

Or

是

select * from table where a > 1 or b < 0;

Not

是

select * from table where a != 1;

EqualTo

是

select * from table where a = 1;

Not+EqualTo

是

select * from table where a != 1;

IsNull

是

select * from table where a is null;

返回table数据表中没有a列的行。

In

是

select * from table where a in {1,2,3};

默认最大限制为1024。

LessThan

是

select * from table where a < 10;

当SQL语句中使用该谓词的列的数据类型为Long或者String时，可以自定义谓词下推配置。

LessThanOrEqual

是

select * from table where a <=10;

当SQL语句中使用该谓词的列的数据类型为Long或者String时，可以自定义谓词下推配置。

GreaterThan

是

select * from table where a > 10;

当SQL语句中使用该谓词的列的数据类型为Long或者String时，可以自定义谓词下推配置。

GreaterThanOrEqual

是

select * from table where a >= 10;

当SQL语句中使用该谓词的列的数据类型为Long或者String时，可以自定义谓词下推配置。

StringStartsWith

是

select * from table where a like "tablestore%";

返回table数据表中a列以tablestore为前缀（prefix）的行。

地理坐标（String JSON）中心距离

是

select * from table where val_geo = '{"centerPoint":"3,0", "distanceInMeter": 100000}';

由中心点和距离决定的地理圆圈范围。

地理坐标（String JSON）长方形

是

select * from table where geo = '{"topLeft":"8,0", "bottomRight": "0,10"}';

由左上角和右下角决定的地理长方形范围。

地理坐标（String JSON）多边形

是

select * from table where geo = '{"points":["5,0", "5,1", "6,1", "6,10"]}';

由多个点组成的地理多边形范围。

逻辑谓词

下推配置

SQL语句举例

预期效果

全为AND

• push.down.range.long=true

• push.down.range.string=true

select * from table where val_long1 > 1000 and val_long1 is null and name like 'table%' and pk in {12341,213432};

SQL正常。

谓词全部下推。

全为AND

• push.down.range.long=false

• push.down.range.string=true

select * from table where val_long1 > 1 and name like 'table%';

与Long类型做大小比较的谓词不会下推。

该谓词由Spark计算层进行过滤，Spark计算层获取name like 'table%'的数据，val_long1 > 1由业务代码进行过滤。

全为AND

• push.down.range.long=true

• push.down.range.string=false

select * from table where val_string1 > 'string1' and name like 'table%';

与String类型做大小比较的谓词都不会下推。

该谓词交由Spark计算层进行过滤，Spark计算层获取name like 'table%'的数据，val_string1 > 'string1'由业务代码进行过滤。

全为AND

存在地理位置类型列

select * from table where val_geo = '{"centerPoint":"3,0", "distanceInMeter": 100000}' and val_long1 = 37691900 and val_long2 > 2134234;

SQL正常。

val_long2 > 2134234能否由Spark计算层过滤取决于push.down.range.long的配置。

存在OR

• push.down.range.long=true

• push.down.range.string=true

select * from table where val_long1 > 1000 or val_long1 is null or name like 'table%' and pk in {12341,213432};

SQL正常。

谓词全部下推。

存在OR

存在地理位置类型列

select * from table where val_geo = '{"centerPoint":"3,0", "distanceInMeter": 100000}' or val_long1 = 37691900;

SQL正常。

谓词全部下推。

存在OR

• push.down.range.long=false

• push.down.range.string=true

• SQL语句中存在rangeLong的过滤字段

select * from table where val_long1 > 1 or name like 'table%';

此时自定义谓词配置不生效，谓词全部下推。

存在OR

• push.down.range.long=true

• push.down.range.string=false

• SQL语句中存在rangeString的过滤字段

select * from table where val_string1 > 'string1' or name like 'table%';

此时自定义谓词配置不生效，谓词全部下推。