Fusion引擎是EMR Serverless Spark內置的高性能向量化SQL執行引擎,相比開源Spark在TPC-DS基準測試上有2倍性能提升。Fusion引擎與開源Spark完全兼容,您無需對現有代碼做任何修改。在EMR Serverless Spark中,只需在創建會話時開啟使用Fusion加速開關,即可啟用該引擎。
注意事項
Fusion引擎使用堆外內存,您需要在創建會話時,在Spark配置中添加配置項spark.memory.offHeap.enabled=true
以開啟Spark的堆外內存。同時,合理配置堆外內存spark.memory.offHeap.size
。
Fusion加速適用場景
Fusion引擎加速適用于Spark SQL和DataFrame任務,支持大部分的算子、表達式和數據類型實現性能提升,而對于RDD任務或者包含用戶自定義函數(UDF)的執行階段暫不支持加速效果。
存儲格式
Fusion引擎支持的數據存儲格式,如下所示。
Parquet
Paimon
ORC(partial)
算子
Fusion引擎為大部分常見算子提供加速,具體分類如下所示。
類型 | 算子列表 |
Source |
|
Sink | DataWritingCommandExec |
常見操作 |
|
聚合 | HashAggregateExec |
Join |
|
窗口 |
|
Exchange |
|
Limit |
|
Subquery | SubqueryBroadcastExec |
其他 |
|
表達式
Fusion引擎目前支持的表達式,如下所示。
類型 | 表達式列表 |
比較/邏輯 | !、!=、<、<=、>、>=、<=>、<>、=、==、||、and、between、is not null、is null、negative、null if、or |
算術 | %、+、-、*、/、isnan、mod、negative、not、positive、abs、acos、acosh、asin、asinh、atan、atan2、atanh、cbrt、ceil、ceiling、cos、cosh、degrees、e、exp、floor、ln、log、log10、log2、pi、pmod、pow、power、radians、rand、random、rint、round、shiftleft、shiftright、sign、signum、sin、sqrt、tan、tanh |
位運算 | ^、|、&、~、bit_and、bit_count、bit_or、bit_xor、bit_length |
條件表達式 | case、if、when |
集合 | in、find_in_set |
String計算 | ascii、char、chr、char_length、character_length、concat、instr、lcase、lower、length、locate、lower、lpad、ltrim、 overlay、replace、reverse、rtrim、split、split_part、substr、substring、trim、ucase、upper、like、regexp、regexp_extract、regexp_extract_all、regexp_like、regexp_replace、rlike |
聚合 | aggregate、approx_count_distinct、avg、collect_list、collect_set、corr、count、covar_pop、covar_samp、first、first_value、kurtosis、last、last_value、max、max_by、mean、min、regr_avgx、regr_avgy、regr_count、regr_r2、 regr_intercept、regr_slope、regr_sxy、regr_sxx、regr_syy、skewness、std、stddev、stddev_pop、stddev_samp、sum、var_pop、var_samp、variance |
窗口 | cume_dist、dense_rank、lag、lead、nth_value、ntile、percent_rank、rank、row_number |
時間 | add_months、current_date、current_timestamp、current_timezone、date、date_add、date_format、date_from_unix_date、date_sub、datediff、day、dayofmonth、dayofweek、dayofyear、from_unixtime、from_utc_timestamp、hour、last_day、make_date、minute、month、next_day、now、quarter、second、timestamp_micros、timestamp_millis、to_date、to_unix_timestamp、unix_seconds、unix_millis、unix_micros、weekday、weekofyear、year |
json | get_json_object、json_array_length |
array | array、array_contains、array_distinct、array_except、array_intersect、array_join、array_max、array_min、array_position、array_remove、array_repeat、array_sort、arrays_overlap、arrays_zip、element_at、exists、filter、forall、flatten、shuffle、size、sort_array |
map | map、get_map_value、map_from_arrays、map_keys、map_values、map_zip_with、named_struct、struct、str_to_map |
編碼 | crc32、hash、md5、sha1、sha2 |
其他 | current_catalog、current_database、greatest、least、monotonically_increasing_id、nanvl、spark_partition_id、stack、uuid、rand |
數據類型
Fusion引擎支持的數據類型,如下所示。
Byte、Short、Int、Long
Boolean
String、Binary
Decimal
Float、Double
Date、Timestamp
Fusion加速暫不支持的場景
算子
類型 | 算子 |
聚合 |
|
Exchange | CustomShuffleReaderExec |
Pandas |
|
其他 |
|
數據類型
Struct
Array
Map