Apache Beam部署至Google Cloud时同时启用use_beam_bq_sink与use_runner_v2实验选项的方法咨询
Apache Beam部署至Google Cloud时同时启用use_beam_bq_sink与use_runner_v2实验选项的方法咨询
嗨,我来帮你解决这个问题!在Google Cloud上部署Apache Beam时,同时启用多个实验选项其实有两种正确的格式,你之前遇到的解析错误大概率是格式细节没处理对,我给你详细说明:
方法一:同一个--experiments参数下用逗号分隔多个选项(无空格)
你需要把两个实验选项用无空格的逗号连起来,参数用=或者空格连接都可以,比如:
# 用=连接参数值 --experiments=use_beam_bq_sink,use_runner_v2 # 或者用空格(注意逗号后不能加空格) --experiments use_beam_bq_sink,use_runner_v2
这里一定要注意逗号前后不能有空格,否则会被当作无效的选项值,触发解析警告。
方法二:多次指定--experiments参数,每个选项单独设置
另一种方式是分别为每个实验选项单独加一个--experiments标记,比如:
--experiments use_beam_bq_sink --experiments use_runner_v2
这种方式更清晰,也不容易因为空格问题出错,我个人更推荐这种写法。
你之前尝试的时候可能是在逗号后加了空格,或者参数格式混用导致的问题,试试上面这两种标准写法应该就能解决啦。如果还是遇到问题,可以检查下你使用的Apache Beam版本是否同时支持这两个实验选项(不过这两个选项在较新的版本中都是兼容的)。
备注:内容来源于stack exchange,提问作者Bruno Wendt
相关产品推荐
相关产品推荐

