关于Azure Lakehouse与Warehouse跨引擎数据转换的技术咨询

问题1：能否在Lakehouse中使用%%sql编写INSERT/UPDATE/DELETE这类数据转换SQL语句？ #

• 不行。Fabric Lakehouse的Notebook里，%%sql魔法命令仅支持SELECT查询，无法直接执行INSERT/UPDATE/DELETE这类DML操作。
• 如果要执行这些数据修改操作，可以通过PySpark的SQL API实现，比如编写spark.sql("INSERT INTO your_table SELECT ...")或者spark.sql("UPDATE your_table SET ... WHERE ...")这类代码，借助Delta Lake的特性完成数据转换。

问题2：能否在Warehouse中使用Python PySpark或Notebook进行数据转换？ #

• Warehouse本身基于SQL引擎，不支持直接运行PySpark代码。
• 可以通过Fabric的Notebook连接到Warehouse，使用Python的SQL驱动（比如pyodbc）执行SQL语句实现数据转换，但这本质是通过Python调用SQL，并非用PySpark处理数据。
• 如果需要用PySpark做转换，建议先将Warehouse的数据同步到Lakehouse，再在Lakehouse的Notebook中使用PySpark操作。

内容的提问来源于stack exchange，提问作者variable