U-SQLInnerJOIN耗时过长

1. 确认数据集的大小：U-SQL 适用于大规模数据处理，但过大的数据集会导致 JOIN 耗时过长。检查 JOIN 的两个数据集是否有适当的筛选条件，以减少 JOIN 所需的数据量。

2. 使用 CLUSTER 调节 Join 的性能：CLUSTER BY 分区数据时有助于提高查询性能。根据 Join 的主键，尝试将其筛选加到分组后的列的 CLUSTER 子语句中。

3. 调整 Join 的大小：使用 SMALL 前缀调整 JOIN 的大小，例如SMALLJOIN 或SMALLBROADCASTJOIN 。这会影响 U-SQL 引擎决定执行计划的方式并改善性能。

以下示例演示基于两个数据表创建 Clustered Join 进行优化：

// Create input table1 DECLARE @input1 string = "/input/input1.csv"; CREATE TABLE IF NOT EXISTS db.dbo.Input1 (id int, company string, amount int) USING Extractors.Csv() WITH ( LOCATION = @input1, FIELDTERMINATOR = ',', ROWTERMINATOR = '\n', HEADER = true );

// Create input table2 DECLARE @input2 string = "/input/input2.csv"; CREATE TABLE IF NOT EXISTS db.dbo.Input2 (id int, region string) USING Extractors.Csv() WITH ( LOCATION = @input2, FIELDTERMINATOR = ',', ROWTERMINATOR = '\n', HEADER = true );

// Cluster and Join @result = SELECT i1.company, sum(i1.amount) as sum_amount FROM db.dbo.Input1 AS i1 INNER JOIN ( SELECT id, region FROM db.dbo.Input2 CLUSTER BY id ) AS i2 ON i1.id == i2.id GROUP BY i1.company;

// Output