R语言批量读取TCGA数据并整合表达矩阵的方法

# 创建目标文件夹
dir.create("data_in_one") 

# 查看原路径内容
print(dir("rawdata/")) 

# 遍历原始子文件夹
for (dirname in dir("rawdata/")){  
  # 1. 构建单个源文件夹的绝对路径
  mydir <- paste0(getwd(), "/rawdata/", dirname)
  
  # 2. 查找符合模式的文件（例如 *.counts 文件）
  file <- list.files(mydir, pattern = "*.counts")
  
  # 3. 构建完整文件路径
  myfile <- paste0(mydir, "/", file)
  
  # 4. 复制到统一的目标文件夹
  file.copy(myfile, "data_in_one")  
}

library(jsonlite)

# 读取metadata
metadata <- jsonlite::fromJSON("data/metadata.cart.2021-05-28.json")

# 提取关键列
metadata_id <- metadata[, c("file_name", "associated_entities")]

# 初始化新列用于存储TCGA ID
# 注意：这里假设metadata_id已经准备好，仅展示填充逻辑
for (i in 1:nrow(metadata_id)){
  print(i)
  # 从复杂的嵌套列表中提取 submitter_id
  metadata_id[i, 3] <- metadata_id$associated_entities[i][[1]]$entity_submitter_id
}

# 重命名新列为 TCGA_id
colnames(metadata_id)[3] <- "TCGA_id"

# 将文件名设为行名
rownames(metadata_id) <- metadata_id[, 1]

# 按照实际我们要读取的文件顺序(files)重新排列数据框
metadata_id <- metadata_id[files, ]

# 如果需要可以使用 data.table 包的 fread
# install.packages("data.table")
library(data.table)

myfread <- function(filename){
  # paste0 拼接完整路径，$V2 选取第二列
  data.table::fread(paste0("data_in_one/", filename))$V2
}

# 测试第一个文件
test <- myfread(files[1])
print(head(test))

# 1. 提取所有文件的 Gene ID (第一列)
gene_id <- data.table::fread(paste0("data_in_one/", files[1]))$V1

# 2. 创建初始数据框
gene_id <- data.table::fread(paste0("data_in_one/", files[1]))$V1
expr_df <- data.frame(gene_id = gene_id)

# 3. 循环填入每一列
for (i in 1:length(files)){
  print(paste("Reading file:", i))
  expr_df[, i+1] <- myfread(files[i])
}

# 4. 设置列名：第一列为 gene_id，其余为 TCGA ID
colnames(expr_df) <- c("gene_id", metadata_id$TCGA_id)

# 清理：有时尾部存在注释行或空行，可根据实际情况删除
# tail(expr_df$gene_id, 10) # 查看末尾情况
# 示例：去掉最后5行非编码区或注释
expr_df <- expr_df[1:(nrow(expr_df)-5), ]

# 保存结果
save(expr_df, file = "output/BRCA_RNASEQ_exprdf.Rdata")

# 1. 对每个文件应用读取函数
dd <- lapply(files, myfread)

# 2. 按列合并
dd_matrix <- do.call(cbind, dd)

# 3. 转为数据框
expr_df <- as.data.frame(dd_matrix)

# 4. 设置列名（TCGA ID）和行名（Gene ID）
colnames(expr_df) <- metadata_id$TCGA_id
rownames(expr_df) <- data.table::fread(paste0("data_in_one/", files[1]))$V1