如何在Elixir中将CSV转换后的Map数据插入PostgreSQL

看起来你已经搞定了CSV到Map的转换环节，接下来要把这些数据批量塞进Ecto数据库对吧？我来一步步给你捋清楚怎么处理这个特殊的Map结构，把数据转成Ecto需要的格式并完成插入。

1. 先拆解你的特殊Map结构 #

你的数据结构是%{{:ok, ["key1", "key2", ...]} => {:ok, ["val1", "val2", ...]}}，首先得把表头（keys）和对应的数据（values）从这个Map里取出来。因为这个Map只有一个键值对，用Map.pop/1就能直接拿到：

# 假设你的CSV处理结果存在csv_data变量里
{{:ok, headers}, {:ok, data_rows}} = Map.pop(csv_data)

这里要注意：如果data_rows是单条记录（一维数组，比如["val1", "val2"]），直接处理即可；如果是多条记录（二维数组，比如[["val1", "val2"], ["val3", "val4"]]），就需要遍历每一行数据。

2. 把表头和数据配对成Ecto需要的attrs #

Ecto的changeset和insert方法需要键值对形式的attrs（比如%{"key1" => "val1", "key2" => "val2"}），我们可以用Enum.zip/2把表头和数据行配对，再转成Map：

单条记录的情况 #

# 生成符合Ecto要求的attrs
attrs = Enum.zip(headers, data_rows) |> Map.new()

# 用changeset处理并插入数据库
YourApp.YourSchema.changeset(%YourApp.YourSchema{}, attrs)
|> YourApp.Repo.insert()

多条记录的情况 #

# 遍历每一行数据，生成attrs并执行插入
for row <- data_rows do
  attrs = Enum.zip(headers, row) |> Map.new()
  
  # 处理插入结果，可选添加错误日志或后续逻辑
  case YourApp.YourSchema.changeset(%YourApp.YourSchema{}, attrs) |> YourApp.Repo.insert() do
    {:ok, record} -> IO.puts("成功插入记录：#{inspect(record)}")
    {:error, changeset} -> IO.inspect(changeset.errors, label: "插入失败，行数据：#{inspect(row)}")
  end
end

3. 处理表头与Schema字段不匹配的情况 #

如果CSV的表头和你的Ecto Schema字段名不一致（比如CSV里是"User Name"，Schema里是:user_name），可以先定义一个映射表来转换键名：

# 定义CSV表头到Schema字段的映射关系
header_to_field = %{
  "User Name" => :user_name,
  "Email Address" => :email,
  "Age" => :age
}

# 生成attrs时替换键名
attrs = Enum.zip(headers, row)
        |> Map.new()
        |> Map.new(fn {csv_key, value} ->
          # 有映射就用映射后的字段名，没有则保留原键
          {header_to_field[csv_key] || csv_key, value}
        end)

4. 数据类型转换（关键！） #

CSV里的所有值都是字符串，但你的Schema可能需要整数、日期等类型。最稳妥的方式是在changeset里处理转换：

defmodule YourApp.YourSchema do
  use Ecto.Schema
  import Ecto.Changeset

  schema "your_table" do
    field :user_name, :string
    field :email, :string
    field :age, :integer
    field :signup_date, :date
  end

  def changeset(schema, attrs) do
    schema
    |> cast(attrs, [:user_name, :email, :age, :signup_date])
    |> validate_required([:user_name, :email])
    # 验证并转换年龄为整数
    |> validate_change(:age, fn :age, value ->
      case Integer.parse(value) do
        {_, ""} -> []
        _ -> [age: "必须是有效的整数"]
      end
    end)
    |> put_change(:age, String.to_integer(attrs["age"]))
    # 转换日期（假设CSV日期格式为"YYYY-MM-DD"）
    |> put_change(:signup_date, Date.from_iso8601!(attrs["signup_date"]))
  end
end

注意：上面用的是带!的转换函数，转换失败会抛出错误。如果需要更温和的错误处理，可以用Integer.parse/1和Date.from_iso8601/1结合case做判断。

内容的提问来源于stack exchange，提问作者Errol Hassall