Scientific exploratory data analysis

科学数据探索性分析（200+ 格式）

何时使用

适用于：拿到一个科学领域专用格式的数据文件，在正式分析前先识别它是什么、能不能读、结构与质量如何、下游该怎么分析。覆盖六大类 200+ 扩展名：

• 化学/分子（60+）：.pdb .cif .mol .mol2 .sdf .xyz .smi .gro .fchk .cube .dcd .xtc .trr .prmtop .psf（结构、计算化学输出、MD 轨迹）。
• 生信/基因组（50+）：.fasta .fastq .sam .bam .vcf .bed .gff .gtf .bigwig .h5ad .loom .mtx（序列、比对、注释、变异、表达）。
• 显微/成像（45+）：.tif .ome.tiff .nd2 .lif .czi .ims .dcm .nii .mrc .dm3 .svs（光镜、医学影像、全片扫描、电镜）。
• 光谱/分析化学（35+）：.fid .mzML .mzXML .raw .mgf .spc .jdx .xy .wdf（NMR、质谱、IR/拉曼、UV-Vis、X 射线、色谱）。
• 蛋白/代谢组（30+）：.mzML .pepXML .protXML .mzid .mzTab .sky .msp（质谱蛋白组、代谢/脂质组、多组学）。
• 通用科学（30+）：.npy .npz .hdf5 .zarr .parquet .mat .fits .nc（数组、层级数据、表）。

典型请求："分析/探索/总结一下 reads.fastq / cells.nd2 / sample.mzML"、"这个科学文件是什么、用什么库读、适合做什么分析"、"出一份数据集 EDA 报告再决定下游"。

不该用（负边界）：

• 只是通用表/CSV/Excel/Parquet 的逐列画像（空值率、基数、维度指标推荐）→ 用 dataset-profiler，更轻量贴合通用表。
• 要深度质量打分与清洗修复方案（DQS、缺失机制）→ 用 dataset-quality-auditor。
• 要做统计建模/推断 → 用 statsmodels-statistical-modeling；只画图 → 用 matplotlib-visualization / seaborn-statistical-charts。

定位：本技能是"科学格式专属的先看一眼"，价值在识别冷门格式 + 调对专用库 + 给领域化 EDA 与下游建议，不替代后续的清洗、建模、可视化。

步骤

1. 识别文件类型

• 取扩展名（注意复合后缀如 .ome.tiff），映射到上面六大类之一。
• 确定格式描述、典型内容、读取库、适配的 EDA 手段。冷门或厂商变体看不准时，先按文本/二进制做通用探查，并向用户确认。

2. 调对专用库做格式专属 EDA（核心，按类分流）

• 表格（CSV/TSV/Excel/Parquet）：pd.read_csv → 维度、dtypes、空值、describe()、离群、重复。（若纯通用表建议转 dataset-profiler。）
• 序列（FASTA/FASTQ）：序列数、长度分布、GC 含量；FASTQ 另看质量值（Phred）分布。
• 图像（TIFF/ND2/CZI/DICOM）：维度（X/Y/Z/C/T）、位深与值域、通道/时间戳/空间标定等元数据、强度统计。
• 数组（NPY/HDF5/Zarr）：shape、dtype、统计摘要、NaN/Inf 检查；大文件用内存映射。
• 质谱/光谱（mzML/mgf/fid）：谱图数、m/z 与保留时间范围、强度分布、扫描级别（MS1/MS2）。
• 结构（PDB/CIF/mol）：原子/残基数、链、B 因子分布、缺失残基。

3. 评估质量：格式合规性、元数据自洽（声明维度 vs 实际数据）、完整性、离群与异常、与预期范围/分布对比。

4. 生成 Markdown 报告，含固定小节：① 标题与元数据（文件名/时间/大小/位置）② 基本信息与格式识别 ③ 格式详情（描述/典型内容/读取库）④ 数据分析（结构/统计/质量）⑤ 关键发现（模式/隐患/质量指标）⑥ 建议（预处理/适配分析/工具/可视化）。

5. 保存报告：命名 {原文件名}_eda_report.md（如 reads.fastq → reads_eda_report.md）。

指令

高效查阅格式信息：参考资料按扩展名小节组织（如 ### .pdb），按需正则抽取对应段落，不要整文件灌入上下文；同类多文件复用一次查到的格式信息。

按类装库（缺库时给清晰安装指引，统一用 uv pip install <pkg>）：

类别	常用库
生信	biopython pysam pyBigWig
化学	rdkit mdanalysis cclib
显微/影像	tifffile nd2reader aicsimageio pydicom
光谱/质谱	nmrglue pymzml pyteomics
通用	pandas numpy h5py scipy

导入要容错并给出安装命令：

try:
    from Bio import SeqIO
except ImportError:
    print("Install Biopython: uv pip install biopython")

大文件策略：抽样（前 N 条）、内存映射（HDF5/NPY）、分块处理（CSV/FASTQ），并基于样本给出估计；声明这是抽样结果。

多文件/QC/预处理：多个相关文件先各自 EDA 再做对比汇总与整合建议；QC 关注合规、元数据一致、完整性、离群；按数据特征推荐归一化、缺失插补、离群处理、批次校正、格式转换。

示例

FASTQ 序列文件：

from Bio import SeqIO
seqs = list(SeqIO.parse('reads.fastq', 'fastq'))
# 计算：read 数、长度分布、Phred 质量值分布、GC 含量 → 出 QC 建议
# 保存：reads_eda_report.md

ND2 显微图像（Nikon，多维 XYZCT）：

from nd2reader import ND2Reader
with ND2Reader('cells.nd2') as images:
    # 提取：维度(XY/Z 栈/时间/通道)、通道波长、像素尺寸标定、强度统计
    # 报告含：图像维度、通道波长、空间标定、图像分析建议

CSV 数据集（属通用表，若仅做画像优先转 dataset-profiler）：

import pandas as pd
df = pd.read_csv('experiment_results.csv')
# 维度、dtypes、空值模式、统计摘要、相关矩阵、离群检测

注意事项

• 科学格式高度依赖专用库：import 失败先给安装命令，别硬读二进制。
• 校验元数据自洽：交叉核对声明维度与实际数据（如 ND2 标称通道数 vs 实读）。
• 大文件务必抽样/分块/内存映射，并显式声明结果基于样本。
• 复合扩展名与厂商变体（.ome.tiff、各家 .raw）易误判；不确定就问用户或按文本/二进制兜底通用探查。
• 关注数据来源：记录仪器、软件版本、处理步骤，利于下游复现。
• 本技能侧重"识别 + 格式专属探查 + 出报告"，发现脏数据/需建模/需作图请转交对应技能，不在此阶段越界处理。
• 报告要可执行：给出具体下游分析、工具与代码示例，而非泛泛而谈。

互见

• related：dataset-profiler —— 通用表/CSV 的轻量逐列画像与维度指标推荐；本技能则专攻科学专用格式。
• related：dataset-quality-auditor —— EDA 发现质量隐患后转它做五维审计、DQS 评分与修复方案。
• related：statsmodels-statistical-modeling —— 探查后需要严谨统计推断/建模时转它。
• combines_with：matplotlib-visualization / seaborn-statistical-charts —— 把分布、强度、质量值等画成图。
• combines_with：csv-data-cleaner —— 报告暴露脏数据后用它清洗整形。

---

采编自 K-Dense-AI/scientific-agent-skills（MIT 许可）。