Go 读取 CSV 文件

CSV 是 “Comma-Separated Values(逗号分隔值)” 的缩写,它是日常开发和数据分析中很常见的轻量级表格格式。这类文件的后缀名为 .csv,既可以用记事本查看,也可以直接用 Excel 打开。在 CSV 文件中,每一行代表一条记录,同一行里的各个单元格之间默认使用英文逗号(,)隔开。

既然 CSV 只是用逗号隔开的普通文本,为什么我们不按行读取后直接调用 strings.Split() 切分呢?因为有些单元格的内容本身就包含逗号,比如 "北京,朝阳"。按照 CSV 规范,这类内容外层会包上一对双引号,如果我们直接按逗号硬切,就会误把同一个单元格拆成两列。

为了准确解析这类表格文件,Go 语言标准库内置了 encoding/csv 包,能够自动处理双引号与逗号转义。它主要提供 2 种读取方式:一种是通过 ReadAll() 一次性读取全部行,另一种是通过 Read() 一行一行地读取。

ReadAll() 一次性读取

如果 CSV 文件的数据量不大,比如只有几百行或几千行,我们可以先调用 os.Open() 打开文件。接着通过 csv.NewReader() 创建读取器,再调用 ReadAll() 方法一次性把整张表格读进内存。

语法:

reader := csv.NewReader(r)
records, err := reader.ReadAll()

说明:

csv.NewReader(r) 接收一个已打开的文件对象并返回读取器 reader。随后调用 reader.ReadAll() 会一次性读取文件中的所有行,返回一个 [][]string 类型的二维切片 records 和错误值 err。

在返回的二维切片 records 中,外层切片的每一个元素代表 CSV 中的 “一行”,内层切片的每一个元素则代表这一行里的 “一列单元格”。

接下来我们在当前工作目录下创建一个 users.csv 文件,写入以下 3 行数据并保存。其中第 1 条记录的地址带有英文逗号,后面的示例 2 也会共用这个文件:

姓名,年龄,地址
Jack,20,"北京,朝阳"
Lucy,18,上海

示例 1:一次性读取 CSV 文件

package main

import (
    "encoding/csv"
    "fmt"
    "os"
)

func main() {
    // 打开 CSV 文件
    f, err := os.Open("users.csv")
    if err != nil {
        fmt.Println("打开文件失败:", err)
        return
    }
    defer f.Close()

    // 创建读取器并一次性读取所有行
    reader := csv.NewReader(f)
    records, err := reader.ReadAll()
    if err != nil {
        fmt.Println("读取 CSV 失败:", err)
        return
    }
    if len(records) == 0 {
        fmt.Println("CSV 文件为空")
        return
    }

    // 打印第 0 行表头
    fmt.Println("表头:", records[0])

    // 跳过表头,遍历后面的数据行
    for _, row := range records[1:] {
        fmt.Printf("姓名:%s, 年龄:%s, 地址:%s\n", row[0], row[1], row[2])
    }
}

运行结果如下。

表头:[姓名 年龄 地址]
姓名:Jack, 年龄:20, 地址:北京,朝阳
姓名:Lucy, 年龄:18, 地址:上海

分析:

在这个例子中,reader.ReadAll() 将 users.csv 解析成了一个二维字符串切片 records。取出表头前我们先判断了 len(records) == 0,这样可以防止遇到空文件时直接访问 records[0] 引发下标越界。

确认非空后,我们通过 records[1:] 跳过第 0 行表头,再用 row[0]、row[1]、row[2] 依次取出每一行的姓名、年龄和地址。

同时小伙伴们可以看到,虽然 "北京,朝阳" 中间带有英文逗号,但因为外层包了双引号,并没有切错列。reader.ReadAll() 会自动去掉外层包裹用的双引号,把它完整保留在第 3 列 row[2] 中。

注意: 从 CSV 文件中读取出来的每一列单元格数据,比如上面的年龄 "20" 和 "18",在 Go 语言中全部都是 string 字符串类型。如果我们需要拿里面的数字做算术运算或大小比较,需要先使用 strconv.Atoi() 将其转换为整数才行。

Read() 逐行读取

如果遇到包含几十万行甚至上百万行数据的大型 CSV 文件,调用 ReadAll() 一次性全部装进内存会消耗大量内存空间。此时,我们可以在 for 循环中调用 reader.Read() 方法,一行一行地流式读取数据。

语法:

row, err := reader.Read()

说明:

每次调用 reader.Read() 只会往后读取一行记录,并返回一个代表当前行各个单元格的一维字符串切片 []string 和错误值 err。当读到文件末尾没有更多行时,reader.Read() 会返回 io.EOF,我们判断 err == io.EOF 即可使用 break 退出循环。

示例 2:逐行读取 CSV 文件

package main

import (
    "encoding/csv"
    "fmt"
    "io"
    "os"
)

func main() {
    f, err := os.Open("users.csv")
    if err != nil {
        fmt.Println("打开失败:", err)
        return
    }
    defer f.Close()

    reader := csv.NewReader(f)

    // 循环逐行读取
    for {
        row, err := reader.Read()
        if err == io.EOF {
            break    // 读到文件末尾,退出循环
        }
        if err != nil {
            fmt.Println("读取出错:", err)
            return
        }
        fmt.Printf("读取到一行:%v\n", row)
    }
}

运行结果如下。

读取到一行:[姓名 年龄 地址]
读取到一行:[Jack 20 北京,朝阳]
读取到一行:[Lucy 18 上海]

分析:

继续读取前面准备好的 users.csv 时,每次循环调用 reader.Read() 只会把当前这一行加载到一维切片 row 中,处理完就会进入下一轮循环。因此不管 CSV 文件有多大,程序的内存占用都能保持在很低的水平。

小伙伴们在逐行读取时如果想跳过第 1 行表头,只需要在进入 for 循环之前,先单独调用一次 reader.Read() 把表头读走就可以了,如下所示:

reader := csv.NewReader(f)

// 先读走第 1 行表头
if _, err := reader.Read(); err != nil {
    return
}

for {
    row, err := reader.Read()
    if err == io.EOF {
        break
    }
    // 后续循环只处理正式数据行
}

提示:

  • 自定义分隔符:csv.NewReader() 默认按英文逗号(,)分隔单元格。如果遇到用分号或制表符分隔的表格文件,我们在读取前设置 reader.Comma = ';' 或 reader.Comma = '\t' 就可以了。
  • 允许每行列数不齐:encoding/csv 默认要求每一行的列数与第 1 行一致,否则会报 wrong number of fields 错误。如果表格中确实存在缺列或长短不一的行,可以在读取前设置 reader.FieldsPerRecord = -1 放宽校验。
  • 处理 Excel 导出的隐藏 BOM 头:读取 Windows 版 Excel 保存的 UTF-8 CSV 时,首行首列开头可能暗藏看不见的 BOM 字符 "\ufeff",导致 records[0][0] == "姓名" 判断为 false。我们用 strings.TrimPrefix() 把它去掉即可,如 strings.TrimPrefix(records[0][0], "\ufeff")。

上一篇:

下一篇:

给站长反馈

绿叶网正在不断完善中,小伙伴们如果发现任何问题,还望多多给站长反馈,谢谢!

邮箱:lvyenet@vip.qq.com

「绿叶网」服务号
绿叶网服务号放大
关注服务号,微信也能看教程。
绿叶网服务号