在k8s上使用sparkoperator进行多个spark-submit操作的解决方法。

在k8s上使用spark operator可以很方便地执行spark-submit操作。如果需要执行多个spark-submit操作，可以使用k8s的job组件和spark operator的自定义资源来实现。

首先，可以创建一个包含多个spark-submit操作的yaml文件，例如：

apiVersion: batch/v1
kind: Job
metadata:
  name: spark-jobs
spec:
  completions: 2  # 执行2个sark-submit任务
  template:
    spec:
      serviceAccountName: spark
      containers:
      - name: spark
        image: <your-spark-image>
        command:
        - "/opt/spark/bin/spark-submit"
        - "--master"
        - "k8s://https://<k8s-master-url>"
        - "--deploy-mode"
        - "cluster"
        - "--name"
        - "job1"
        - "--class"
        - "com.example.Job1"
        - "--conf"
        - "spark.executor.instances=2"
        - "local:///path/to/job1.jar"
      - name: spark
        image: <your-spark-image>
        command:
        - "/opt/spark/bin/spark-submit"
        - "--master"
        - "k8s://https://<k8s-master-url>"
        - "--deploy-mode"
        - "cluster"
        - "--name"
        - "job2"
        - "--class"
        - "com.example.Job2"
        - "--conf"
        - "spark.executor.instances=2"
        - "local:///path/to/job2.jar"

在自定义资源中添加以下内容：

apiVersion: sparkoperator.k8s.io/v1beta2
kind: ScheduledSparkApplication  # 自定义资源类型
metadata:
  name: multiple-spark-submit
spec:
  schedule: "*/15 * * * *"  # 设置定时任务的运行时间，可以根据需要更改
  concurrencyPolicy: Forbid
  successfulRunHistoryLimit: 1
  failedRunHistoryLimit: 1
  executor:
    cores: 1
    instances: 1
    memory: "1g"
  type: Scala  # 使用Scala编写任务
  mode: cluster  # 在集群模式运行
  image: <your-spark-image>
  mainClass: com.example.ScheduledSparkApplication
  applicationName: multiple-spark-submit
  arguments:
    - /path/to/multiple-spark-submit.yaml

接下来，可以使用kubectl apply命令将上述两个yaml文件部署到k8s中。

运行上述yaml文件后，就可以通过k8s的job组件来执行多个spark-submit任务，同时使用spark operator的自定义资源来实现定时任务的管理。