Java POI实现300w条数据导出Excel

Apache POI是一个开源的Java库，用于处理Microsoft Office格式的文件，包括Excel、Word和PowerPoint等。它提供了对这些文件的读取和写入操作，使得我们可以通过Java代码对这些文件进行创建、修改和解析等操作。

POI库的核心类主要包括以下几个：

1. Workbook：表示整个工作簿，即一个Excel文件。可以通过WorkbookFactory工厂类创建工作簿。

• createSheet()：创建一个新的工作表。

• getSheetAt()：根据索引值获取一个工作表。

• getSheet()：根据名称获取一个工作表。

• write()：将工作簿写入到输出流中，如文件流。

2. Sheet：表示一个工作表。一个工作簿可以由多个工作表组成。

• createRow()：创建一个新的行。

• getRow()：根据索引值获取一行。

• getPhysicalNumberOfRows()：获取实际存在的行数。

• flushRows()：将最近写入的行刷新到磁盘以释放内存。

3. Row：表示一个行。一个工作表可以由多行组成。

• createCell()：创建一个新的单元格。

• getCell()：根据索引值获取一个单元格。

• getLastCellNum()：获取行中最后一个单元格的索引值。

4. Cell：表示一个单元格。位于工作表中的交叉点上，存储着数据。

• setCellValue()：设置单元格的值。

• getCellType()：获取单元格的类型。

• getStringCellValue()：获取单元格的字符串值。

除了以上核心类之外，POI还提供了一些其他辅助类，用于处理格式、样式、公式等，如CellStyle、DataFormat和FormulaEvaluator等。

需要注意的是，在处理大量数据时，POI提供了两个实现类：XSSFWorkbook和SXSSFWorkbook。XSSFWorkbook类适用于小型数据文件，而SXSSFWorkbook类适用于大型数据文件，它通过使用磁盘进行临时存储来避免内存溢出。

为了避免内存溢出，我们可以采用分批、分页或多线程处理的方式。下面是一个使用Java代码和文字说明的示例：

import org.apache.poi.ss.usermodel.*;import java.io.FileOutputStream;import java.io.IOException;import java.util.List;public class ExcelExportExample {
    private static final int BATCH_SIZE = 100000; // 每批数据的大小

    public static void exportToExcel(List<String[]> data, String filePath) throws IOException {
        Workbook workbook = WorkbookFactory.create(true); // 创建一个新的Excel文件
        Sheet sheet = workbook.createSheet(); // 创建一个工作表

        int rowCount = 0;
        int batchCount = 0;
        for (String[] rowData : data) {
            Row row = sheet.createRow(rowCount);

            for (int i = 0; i < rowData.length; i++) {
                Cell cell = row.createCell(i);
                cell.setCellValue(rowData[i]);
            }

            rowCount++;
            batchCount++;

            // 当积累到一定数量时，写入Excel并清空临时数据，避免内存溢出
            if (batchCount >= BATCH_SIZE) {
                batchCount = 0;
                ((SXSSFSheet) sheet).flushRows();
            }
        }

        try (FileOutputStream outputStream = new FileOutputStream(filePath)) {
            workbook.write(outputStream); // 将Excel写入文件
        }

        workbook.close(); // 关闭工作簿
    }

    public static void main(String[] args) throws IOException {
        // 假设我们有300万条数据，每条数据是一个字符串数组
        List<String[]> data = generateData(3000000);

        String filePath = "data.xlsx";

        exportToExcel(data, filePath);

        System.out.println("数据导出完成！");
    }

    private static List<String[]> generateData(int count) {
        // TODO: 生成数据的逻辑，请根据实际业务需求进行编写
        return null;
    }}

这个示例中，我们首先创建一个新的Excel文件，并在其中创建一个工作表。然后，我们遍历数据列表，并根据每条数据创建一行，并将数据插入到适当的单元格中。同时，我们使用SXSSFSheet来代表工作表，以支持大量数据的处理。

在每次遍历到设定的批量大小时，我们将写入的数据刷新到Excel文件，并清空临时数据，以避免内存溢出。最后，在完成所有数据的写入后，我们将Excel文件写入到磁盘，并关闭工作簿。

请注意，示例中的generateData()方法是一个伪代码方法，你需要根据你的实际业务需求来实现数据生成的逻辑。你可以从数据库、文件或其他数据源中获取数据，并将其转换为字符串数组的形式。

通过这种方式，我们可以安全、高效地导出大量数据到Excel文件，而不会出现内存溢出的问题。