Java读取TXT JSON数据并解析存入数据库或Excel
本文详细讲解Java读取包含JSON格式字符串的TXT文件,通过JSONObject解析数据结构,并将其应用于数据库存储(insert)或生成Excel报表(Apache POI)的实际操作示例。
读取TXT文件中的JSON内容
在开发过程中,经常需要解析非标准JSON格式的文本文件。这类文件通常以行首尾带有大括号或花括号的字符串形式存在。以下是基于 BufferedReader 实现的文件内容读取方法:
第一步:安全读取TXT文件
目的:获取指定路径下的TXT文件字符串,确保编码正确且文件存在。
动作:创建 FileInputStream 并用 InputStreamReader 包装,设置UTF-8编码;使用 BufferedReader 逐行读取。
public static String reader(String filePath) {
try {
File file = new File(filePath);
if (file.isFile() && file.exists()) {
InputStreamReader read = new InputStreamReader(new FileInputStream(file), "UTF-8");
BufferedReader bufferedReader = new BufferedReader(read);
String lineTxt = bufferedReader.readLine();
while (lineTxt != null) {
//注意:原始代码此处仅返回第一行,若需全量数据应拼接或使用StringBuilder
return lineTxt;
}
}
} catch (UnsupportedEncodingException | FileNotFoundException e) {
System.out.println("Cannot find the file specified!");
e.printStackTrace();
} catch (IOException e) {
System.out.println("Error reading file content!");
e.printStackTrace();
}
return null;
}
重要提示:上述代码片段中循环内直接 return 意味着只读取了文件的第一行。如果TXT文件中包含多行JSON数据,建议改为将每行追加到 StringBuilder 中返回。
第二步:测试读取入口
参数:文件路径(如 E:\\wugang\\data\\weiboyi\\wechat.txt)。
动作:调用 reader() 函数获取文本内容,判空后传入解析逻辑。
public static void main(String[] args) {
String filePath = "E:\\wugang\\data\\weiboyi\\wechat.txt";
String txtStr = reader(filePath);
if (txtStr != null) {
process(txtStr);
} else {
System.out.println("Read the content is empty!");
}
System.out.println("--- end ---");
}
解析JSON数据并转换为对象列表
当TXT内容为标准单行JSON时,可以使用 json-lib (net.sf.json.JSONObject) 进行解析。此步骤主要用于提取嵌套对象中的数据字段。
第三步:构建数据结构与提取字段
入口:已读取的 String 类型JSON数据。
动作:
1. 将字符串转为 JSONObject。
2. 深入解析嵌套层级:先取 "data",再获取 "rows" 数组。
3. 遍历数组,提取单元格(cells)内的微博名称和ID等关键信息。
4. 封装为 Map<String, Object> 并加入列表。
private static void process(String txtStr) {
JSONObject json = JSONObject.fromObject(txtStr);
// 假设JSON结构包含 data.rows 层级
JSONArray datas = json.getJSONObject("data").getJSONArray("rows");
List<Map<String, Object>> list = new ArrayList<>();
for (int i = 0; i < datas.length(); i++) {
Map<String, Object> map = new HashMap<>();
JSONObject obj = datas.getJSONObject(i).getJSONObject("cells");
// 提取具体业务字段
String name = obj.getString("weibo_name");
String code = obj.getString("weibo_id");
String url = BASE_URL + obj.getString("url");
map.put("name", name);
map.put("code", code);
map.put("url", url);
list.add(map);
}
// 检查是否有有效数据后进行入库或导出
if (!list.isEmpty()) {
insert(list); // 此处可扩展为导出Excel的方法调用
}
}
结果数据处理:存入数据库或导出Excel
根据业务需求,解析后的数据可分别采用不同的持久化方式。以下为两种常见场景的操作逻辑:
方案一:存入数据库
适用场景:结构化数据存储。
动作:遍历数据列表,开启事务,利用PreparedStatement批量执行 INSERT 语句。
private static void insert(List<Map<String, Object>> list) {
Connection conn = null;
PreparedStatement pstmt = null;
try {
conn = getDataSource().getConnection();
conn.setAutoCommit(false);
String sql = "INSERT INTO table_name (name, code, url) VALUES (?, ?, ?)";
pstmt = conn.prepareStatement(sql);
for (Map<String, Object> map : list) {
pstmt.setString(1, map.get("name").toString());
pstmt.setString(2, map.get("code").toString());
pstmt.setString(3, map.get("url").toString());
pstmt.addBatch();
}
pstmt.executeBatch();
conn.commit();
} catch (SQLException e) {
e.printStackTrace();
} finally {
// 释放资源连接...略
}
}
方案二:导出为Excel (.xls)
适用场景:数据分析、报表展示。
依赖库:Apache POI (org.apache.poi.hssf.usermodel.*)。
准备条件:针对非标准换行的TXT,需额外做预处理(见下方独立脚本说明)。
如果TXT文件内容是类似 {...,},{...,}... 的长串,需按 ; 号拆分重新组装成合法的JSON块,再进行逐个解析生成Excel表。
以下是一个可直接运行的整合Demo,展示了从TXT特殊格式清洗数据到生成 .xls 文件的完整代码逻辑:
package com.hwt.count.test;
import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.InputStreamReader;
import java.util.ArrayList;
import java.util.List;
import org.apache.poi.hssf.usermodel.HSSFCell;
import org.apache.poi.hssf.usermodel.HSSFCellStyle;
import org.apache.poi.hssf.usermodel.HSSFFont;
import org.apache.poi.hssf.usermodel.HSSFRow;
import org.apache.poi.hssf.usermodel.HSSFSheet;
import org.apache.poi.hssf.usermodel.HSSFWorkbook;
import org.apache.poi.hssf.util.CellRangeAddress;
import org.apache.poi.hssf.util.HSSFColor;
import net.sf.json.JSONObject;
public class Testaa {
public static void main(String[] args) {
try {
// TXT文件路径
String path = "C:/Users/dell/Desktop/test.txt";
File file = new File(path);
// 注意编码问题,如果是中文GBK可能乱码,请根据实际文件调整
InputStreamReader isr = new InputStreamReader(new FileInputStream(file),"GBK");
BufferedReader br = new BufferedReader(isr);
String content = br.readLine() ;
br.close();
isr.close();
// 数据预处理:去除首尾大括号,替换分隔符以便拆分
// 假设输入格式为 {a:1,b:2},{c:3,d:4}
content = content.substring(2, content.length()-2);
content = content.replace("},{", ";");
String[] arrContent = content.split(";");
// 定义列头
String[] rowsName = new String[]{"code_type","code","name"};
List<Object[]> dataList = new ArrayList<Object[]>();
for(String arrc : arrContent){
// 拼装回完整的JSON格式字符串
JSONObject jsonObj = JSONObject.fromObject("{"+arrc+"}");
String code = jsonObj.getString("code");
String name = jsonObj.getString("name");
Object[] obj = new Object[rowsName.length];
obj[0] = "TYPE"; // 固定值或动态获取
obj[1] = code;
obj[2] = name;
dataList.add(obj);
}
// 创建工作簿并导出
HSSFWorkbook workbook = setWorkBookDate(dataList,rowsName);
FileOutputStream fos = new FileOutputStream("C:/Users/dell/Desktop/test.xls");
workbook.write(fos);
fos.flush();
fos.close();
System.out.println("Export Successful!");
} catch (Exception e) {
e.printStackTrace();
}
}
private static HSSFWorkbook setWorkBookDate(List<Object[]> dataList,String[] rowsName){
HSSFWorkbook workbook = new HSSFWorkbook();
HSSFSheet sheet = workbook.createSheet("测试结果");
sheet.setDefaultRowHeight((short)350);
HSSFCellStyle style = getCommonStyle(workbook);
int columnNum = rowsName.length;
// 写入表头
HSSFRow rowHead = sheet.createRow(0);
for(int n = 0;n < columnNum;n++){
HSSFCell cellRow = rowHead.createCell(n,HSSFCell.CELL_TYPE_STRING);
cellRow.setCellValue(rowsName[n]);
cellRow.setCellStyle(style);
}
// 写入表体数据
for(int i=0;i<dataList.size();i++){
HSSFRow row = sheet.createRow(i+1);
Object[] obj = dataList.get(i);
for(int j = 0; j < obj.length; j++){
HSSFCell cell = row.createCell(j,HSSFCell.CELL_TYPE_STRING);
if(obj[j] != null){
cell.setCellValue(obj[j].toString());
}else{
cell.setCellValue("");
}
cell.setCellStyle(style);
}
}
// 自动调整列宽
for (int colNum = 0; colNum < columnNum; colNum++) {
int columnWidth = sheet.getColumnWidth(colNum) / 256;
for (int rowNum = 0; rowNum < sheet.getLastRowNum(); rowNum++) {
HSSFRow currentRow = sheet.getRow(rowNum);
if(currentRow != null && currentRow.getCell(colNum) != null){
if(currentRow.getCell(colNum).getCellType() == HSSFCell.CELL_TYPE_STRING){
int length = currentRow.getCell(colNum).getStringCellValue().getBytes().length;
if (columnWidth < length) {
columnWidth = length;
}
}
}
}
// 防止宽度异常,这里做了简单乘法放大适配
sheet.setColumnWidth(colNum, (columnWidth+4) * 256);
}
return workbook;
}
public static HSSFCellStyle getCommonStyle(HSSFWorkbook workbook) {
HSSFFont font = workbook.createFont();
font.setFontHeightInPoints((short)11);
font.setFontName("Courier New");
HSSFCellStyle style = workbook.createCellStyle();
style.setBorderBottom(HSSFCellStyle.BORDER_THIN);
style.setBottomBorderColor(HSSFColor.BLACK.index);
style.setBorderLeft(HSSFCellStyle.BORDER_THIN);
style.setLeftBorderColor(HSSFColor.BLACK.index);
style.setBorderRight(HSSFCellStyle.BORDER_THIN);
style.setRightBorderColor(HSSFColor.BLACK.index);
style.setBorderTop(HSSFCellStyle.BORDER_THIN);
style.setTopBorderColor(HSSFColor.BLACK.index);
style.setFont(font);
style.setAlignment(HSSFCellStyle.ALIGN_CENTER);
style.setVerticalAlignment(HSSFCellStyle.VERTICAL_CENTER);
return style;
}
}
注意事项
- 编码问题:读取TXT时必须确认源文件的字符编码(GBK或UTF-8),否则会导致乱码解析失败。
- 依赖引入:代码使用了 json-lib 和 Apache POI,请确保Maven配置中引入了对应的JAR包。
- XLS vs XLSX:上述代码使用的是较老的 HSSF 接口,适用于 .xls 格式。如果目标文件需要是 .xlsx,需改用 SXSSFWorkbook。
本站声明
本文内容仅供参考,不代表本站观点。转载或引用请注明出处。如发现内容问题,请通过联系我们页面反馈。













