Databricks中使用with open读取DBFS挂载文件失败，如何解决？

问题详情 #

尝试用Python原生with open读取DBFS挂载路径下的JSON文件，代码如下：

import json
my_json = ''
with open('/dbfs/mnt/my_mount/my_json.json', 'r') as fp:
    my_json = json.load(fp)

执行后抛出错误：

FileNotFoundError: [Errno 2] No such file or directory: '/dbfs/mnt/my_mount/my_json.json'

但使用Spark DataFrame读取同一文件完全正常，代码及验证：

df = spark.read.text('/dbfs/mnt/my_mount/my_json.json', wholetext=True)
df.show()  # 可正常显示文件内容

环境信息 #

使用的Databricks Runtime版本：

求助需求 #

如何通过Python原生的with open方法读取该文件？

内容的提问来源于stack exchange，提问作者Sarath Subramanian