duxingchen/WQ_GUI
2
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
292 Commits 4 Branches 0 Tags
6aaaea5abd0263520419c3a425f1adb5731693e0
Commit Graph

292 Commits

This Branch
This Branch
All Branches
Author SHA1 Message Date
duxin
6aaaea5abd fix: inf→NaN 清洗兼容 ndarray（spxy/ks 返回 ndarray 无 .replace） 2026-07-29 10:22:47 +08:00
duxin
80189a9f44 fix: 补充 BaseEstimator/TransformerMixin 导入 2026-07-29 10:20:57 +08:00
duxin
12866f12b0 fix: Pipeline 安全网 — preproc 与 model 间插入 _SafeFiniteTransformer 
- 新增 _SafeFiniteTransformer: np.nan_to_num + clip(±1e15)
- 放在 Pipeline preproc→model 之间，无论 MNF 数值溢出还是
  PhysicalFeatureExtractor 除零，SVR 收不到 inf/NaN
- X_train/X_test 入口先 replace(inf→NaN)，SimpleImputer 接力填充
 2026-07-29 10:20:00 +08:00
duxin
f3af45ccff fix: MNFTransformer 数值稳定性 — 防 inf/NaN 导致 SVR 拒绝输入 
- fit: 正则化按协方差总迹的1%自适应 + 截断噪声主导特征值
- fit: 输入先做 nan_to_num 清洗
- transform: 输出 clip 到 float32 安全范围，防止极端值
- 噪声协方差正则化从固定 1e-9 改为 trace*0.01，对 113 维特征更稳健
 2026-07-29 10:16:56 +08:00
duxin
09f8d89b56 fix: PhysicalFeatureExtractor 修复 ndarray 输入时波长丢失问题 
- SimpleImputer 把 DataFrame → ndarray，PhysicalFeatureExtractor.fit()
  收不到列名导致 ValueError: 必须在 __init__ 中提供 wavelengths
- get_preprocessing_transformer 新增 wavelengths 可选参数
- train_single_model 在 DualStream_MNF 时提取 X_raw 波长列表传入工厂
- PhysicalFeatureExtractor 已有 ndarray + wavelengths 参数的处理分支
 2026-07-29 10:11:01 +08:00
duxin
ef9187fc7b fix: GUI 训练面板补全 WVAE + DualStream_MNF 预处理选项 
- 旧 GUI 硬编码列表缺少 WVAE 和 DualStream_MNF，与 modeling_batch 不同步
- 两个 GUI 面板同步补全，中文名分别为「小波去噪」和「双流MNF」
 2026-07-29 10:06:46 +08:00
duxin
4347988ab2 feat: 训练框架适配 DualStream_MNF + 部署矩阵 .npz 导出 
modeling_batch.py:
- preprocessing_methods 新增 DualStream_MNF
- save_model 新增 C++/Rust 部署导出逻辑:
  自动检测 Pipeline 中的 MNFTransformer + SVR，
  提取 mean_/W_mnf_/dual_coef_/support_vectors_/
  intercept_/gamma/kernel 等纯量矩阵，
  保存为 *_deploy.npz 文件
- 新增 _find_mnf_in_pipeline / _find_svr_in_pipeline /
  _find_physical_extractor_in_pipeline 辅助方法，
  支持 FeatureUnion 嵌套递归查找
 2026-07-29 10:02:37 +08:00
duxin
7d8d848e58 feat: 新增 MNFTransformer + PhysicalFeatureExtractor + DualStream_MNF 
spectral_Preprocessing.py:
- MNFTransformer: 纯 numpy/scipy 实现的 MNF 降维
  fit: 噪声协方差→白化→PCA 旋转，导出 self.mean_/self.W_mnf_
  transform: (X - mean) @ W_mnf_[:, :n_components]
- PhysicalFeatureExtractor: 从原始波段提取 NDVI/NDWI/蓝藻比值
  支持 DataFrame(列名波长) 和 ndarray(wavelengths参数) 输入
- get_preprocessing_transformer: DualStream_MNF 返回 FeatureUnion
  并行连接 PhysicalFeatureExtractor(3维) + MNFTransformer(10维)
 2026-07-29 10:02:31 +08:00
duxin
c4c70b2ff6 fix: 耀斑检测默认关闭大面积连通域过滤 
- max_area 默认值 50 → 0（不过滤），大范围耀斑区域不再被误删
- 原逻辑: Otsu → 移除 >50px 连通域 → 扔掉浅水/岸边大亮斑
- 现逻辑: Otsu → 跳过面积过滤 → 保留所有亮斑区域
- 用户可手动调大 max_area 重新启用过滤
 2026-07-28 17:42:12 +08:00
duxin
80e46c8476 fix: 单步模式下自动发现耀斑掩膜文件 
- 单步运行时 PipelineContext 不保留 step2 的 glint_mask_path，
  导致采样时无法剔除耀斑区域
- 新增自动发现：兜底扫描 2_Glint_Detection/severe_glint_area.dat
- 补充缺失的 import os
 2026-07-28 17:25:41 +08:00
duxin
241b138bb5 fix: 异常值裁剪 P1/P99 → P2/P98，避免边界垃圾值污染 
- P1-P99 对 pH/DO 等参数不够保守：边界像素模型预测 pH=-22
  导致 P1=-2.38，裁剪后仍保留物理上不可能的值
- 改为 P2-P98（4% 裁剪），IQR 8.3-8.5 的主体数据完全不受影响
- 两处同步：预测端 _clip_outliers + 插值端 _perform_interpolation
 2026-07-28 17:09:42 +08:00
duxin
3f2eef4536 fix: 克里金采样点上限解除 — 修正可用内存检测 + 提高硬上限 
- psutil 在 Windows 下 available 因进程占用而偏低（4GB vs 实际 11-12GB），
  改为 max(available, free) 获取更真实的内存余量
- 安全余量系数 0.5→0.6，兜底值 4GB→8GB
- 硬上限 20000→50000，32GB 实测可安全容纳更多采样点
- 之前 45958 点 → 强制抽稀到 16384，损失了大量空间细节
 2026-07-28 16:55:03 +08:00
duxin
1efe10adb6 revert: 回退克里金多线程并发，恢复串行处理 
并发实测无提速（32GB 内存下单个克里金已用 5-6GB，两个并发
竞争内存带宽导致实际耗时相同），回退为简单串行循环。
 2026-07-28 16:53:15 +08:00
duxin
aa5d9d9392 feat: GUI 面板专题图生成支持多线程并发克里金 
- step11_map_panel.run() 串行 for 循环改为 ThreadPoolExecutor 并发
- 默认 2 线程并行，通过过滤已存在文件跳过重复生成
- 支持取消信号：_done Event 通知 worker 线程提前退出
- 线程安全：_lock 保护共享计数器，Qt 信号从 QThread 安全 emit
- 修复 Tuple 类型导入缺失
 2026-07-28 16:45:46 +08:00
duxin
e8a81008fa feat: 专题图克里金插值支持多线程并发 
- ThreadPoolExecutor 替代串行 for 循环，默认 2 线程并发
- 克里金内部 numpy/scipy 运算释放 GIL，线程并行有效
- 通过 kriging_workers 配置项控制并发数（默认 2，设为 1 回退串行）
- 主线程预先设置 matplotlib Agg 后端，避免多线程竞争
- 保留串行路径作为 fallback（单 CSV 或 workers=1 时）
 2026-07-28 16:41:41 +08:00
duxin
3c7e735342 feat: 预测结果百分位裁剪 — 消除极端异常值拉爆专题图色阶 
- 新增 _clip_outliers(P1-P99) 方法，预测完成后自动裁剪
- 水体边界零值区域导致模型外推极端值(-86~7026)，
  裁剪后克里金插值色阶不再被拉爆，正常空间细节可见
- 无异常值时不触发裁剪（零开销）
 2026-07-28 16:38:07 +08:00
duxin
b6fa07925a fix: 新模型路径推理时缺失 WQI 特征导致 Pipeline 维度不匹配 
- 新模型路径（有 train_wavelengths）重采样后仅产出 50 列光谱，
  未计算模型训练时包含的 WQI 指数特征（期望 113 列）
- 旧模型路径（else 分支）有此逻辑但被隔离，新路径无法受益
- 将 WQI 特征补全逻辑提至 if/else 之后统一执行，
  通过 n_features_in_ 属性自动检测特征缺口并补齐
 2026-07-28 15:31:49 +08:00
duxin
b59371f441 fix: 专题图 CRS 探测增强 + 地理坐标系 UTM 临时投影 
map.py:
- CRS 探测从 Proj4 字符串兜底解析 EPSG（+init=epsg:XXXX / +zone=）
- rasterio 支持 .dat/.bsq/.bil/.bip/.img 等 ENVI 格式
- 新增 _is_geographic_crs() / _get_utm_epsg() 方法
- 地理坐标系自动临时投影到 UTM 米制空间进行插值，避免经纬度数值
  过小导致 Kriging/IDW 矩阵崩溃、std 退化为 0（纯色图）
- 防御：CRS 标记为地理系但坐标值超出经纬度范围时判定为探测错误，
  跳过投影直接使用米制坐标

water_quality_gui_v2.py: 格式清理
 2026-07-28 14:59:16 +08:00
duxin
89b67fbd34 fix: ML Pipeline 缺失值填充 + 推理端外部模型 dict 兼容 
- modeling_batch: Pipeline 首步新增 SimpleImputer(median) 填充 NaN
- inference_batch: 外部模型支持完整 dict（含 metadata/train_wavelengths），
  兼容旧版裸 Pipeline 对象
- step9_ml_predict_panel: 模型加载保留完整 dict 而非仅 model 对象，
  确保推理端可从 train_wavelengths 做光谱重采样
 2026-07-28 14:59:11 +08:00
duxin
02592cc181 fix: 光谱提取 NaN/Inf 防护 + 边界掩膜支持 
- 逐波段读取路径：防止 GDAL ReadAsArray 返回 NaN/Inf 污染光谱
- 批量读取路径：astype(float64) 后统一过滤非法值
- 两路径均支持 boundary_mask：水体之外光谱置零
 2026-07-28 14:59:07 +08:00
duxin
46c5e51772 fix: BIP→BSQ 转换数据丢失修复 + 只读文件处理 
- 延迟删除原始文件：先验证临时 BSQ 文件存在且非空，再删原始数据
- 异常处理不再删除临时 BSQ：保留完好副本供手动恢复
- 新增 _make_writable() 移除只读属性，避免 Windows PermissionError
- 清理孤儿 .aux.xml 临时文件
- 路径变量提前声明，保证异常处理块可访问
 2026-07-28 14:59:03 +08:00
duxin
c16cddf384 feat: 推理端自动波长回填+linspace子采样(旧模型兼容) 2026-07-27 18:08:37 +08:00
duxin
de9d6f0835 fix: Kriging 整体拟合+变异函数容错+自适应分层抽样+高斯平滑+掩膜修复 2026-07-27 18:08:37 +08:00
duxin
c8ab4e029e fix: 采样+水掩膜+专题图十项修复 
采样 (sampling.py):
- min_interval 50→10, base_interval 改用 min_interval
- np.all(sample_area)→water_ratio_threshold=0.35, 窄水体采样率大幅提升
- 自适应采样参数改用 P5-最近邻距离, 免疫外扩点污染

水掩膜 (extract_water_area.py):
- 移除 imgdata_in==0 误杀逻辑, 380nm水体反射率为0不再被跳过

专题图 (map.py):
- 坐标列检测修复: 删除 ('longitude','longitude') 短路bug
- 栅格掩膜重采样改用 GDAL ReprojectImage + 掩膜内 NaN 全量填充
- binary_closing iterations 2→1, 窄河道不丢
- visualize_raster 检测 nodata_value 避免矢量掩膜二次擦除
- IDW 自适应参数: 基于最近邻距离的连续映射
- Kriging 重构为整体拟合+变异函数多模型容错+高斯平滑
- 克里金无500K一刀切, 局部克里金失败自动回退IDW
 2026-07-27 14:52:40 +08:00
duxin
92e8c90370 feat: ML模型波长记忆 + 跨传感器光谱重采样 + 数据加载规范化 
训练端 (modeling_batch.py):
- _extract_train_wavelengths() 从列名提取训练波长写入 metadata
- load_data_batch/load_data_single 改为基于列名语义智能提取特征
- 废除 feature_start_column 硬编码位置索引

推理端 (inference_batch.py):
- preprocess_spectra() 分支A: train_wavelengths存在→np.interp精确重采样
- preprocess_spectra() 分支B: 无波长元数据→解析列名→np.interp到400-800nm标准网格
- 废除暴力截断和零值填充
 2026-07-27 14:52:30 +08:00
duxin
99aeab3076 refactor: 中间层消除硬编码波段号+CRS动态探测 
- GlintRemovalStep/handler/service 全部改为传递波长参数而非波段索引
- ContentMapper 移除 EPSG:32651 硬编码, 新增 _ensure_crs() + _probe_crs_from_file()
- _prepare_shared_context 在 read_csv_data 前先探测边界文件 CRS
- GUI QSpinBox→QDoubleSpinBox，默认值改为波长(nm)，placeholder 提示自动探测
- 消除 38/36/49/47/25/37/65/91 等所有魔法数字
 2026-07-27 14:52:23 +08:00
duxin
f6d61693e3 refactor: 耀斑去除算法从波段索引驱动改造为波长驱动 
- Kutser/Hedley/Goodman 的 __init__ 参数从硬编码波段号改为目标波长(nm)
- 内部通过 find_band_number() 从 HDR 元数据动态解析波段索引
- Goodman 消除 P0 不一致: 25/37 vs 65/91 统一为 641.93/751.49nm
- 彻底解除传感器耦合，任何传感器均可自动适配
 2026-07-27 14:52:15 +08:00
duxin
b609a64811 fix: 多项稳定性修复与打包优化 
- PyInstaller: runtime hook 预加载 osgeo DLL 避免 Qt5 符号冲突；
  spec 纳入 osgeo .py 文件 + 运行时 DLL 依赖 (ffi/lzma/bz2/expat/sqlite3)；
  移除 DLL 双副本防止 segfault
- GDAL 环境: 新增 _MEIPASS/osgeo/data/gdal 路径搜索，改善打包后 GDAL_DATA 检测
- 预览生成器: 掩膜与底图同分辨率时跳过 Warp 加速读取
- 专题图: ConvexHull 坐标中心化修复 UTM 大坐标精度退化；
  边界采样兜底防止外扩点为空；
  TIFF 已含 NaN 掩膜时跳过矢量擦除；
  形态学闭运算填充掩膜小孔洞
- NDWI: int16→float32 防止减法溢出
- 面板注册表: 步骤模块分组重构 (模块一/二/三/四重划分)
 2026-07-26 20:35:50 +08:00
duxin
0bd54d5fdd feat(step3): auto BIP→BSQ conversion with metadata preservation 
- _ensure_bsq(): 检测 BIP 格式并自动调用 gdal.Translate 转换为 BSQ
- 临时文件原地替换原名，所有下游步骤零感知
- 保留原始波长/波段名称等元数据到新 HDR
- 空间不足时跳过转换，回退 BIP-chunked 模式运行
 2026-07-24 14:37:00 +08:00
duxin
2c637596eb perf(step3): Kutser BIP-chunked mode + auto interleave detection 
- 新增 run_fast(): 自动检测 BIP/BSQ 格式，BIP 按行块读立方体（文件只读一遍）
- BSQ 模式逐波段顺序读取，均比原版块外波段内随机 IO 快 10-100 倍
- get_corrected_bands() 默认走 run_fast()，原版 run() 保留为低内存兼容
- 每 10 波段打印进度 + 预计剩余时间
 2026-07-24 14:36:56 +08:00
duxin
beed27b1f0 perf(step11): IDW auto-switch for large grids + GDAL fast rasterize 
- 网格 >500K 点自动跳过 Kriging 切 IDW（千万级点从数小时降至数秒）
- n_closest_points 50→20，Block 每块打印进度
- GDAL ReprojectImage 直接重采样栅格掩膜，避免 58K 多边形 rasterize 卡死
- 自动扫描工作目录 .dat 栅格，不依赖 handler 传参
- 特殊 Unicode 字符替换为 ASCII 兼容
 2026-07-24 14:36:51 +08:00
duxin
d0344b8fa0 fix: add missing self._pipeline_mode assignment + getattr guard + init stats_data before try 2026-07-14 15:22:24 +08:00
duxin
5b04a120e3 chore: replace app icon uitubiao.ico -> app.ico (converted from app.png) 2026-07-14 15:15:03 +08:00
duxin
d4de09caa2 fix: total_steps now uses actual map count, not capped at 20 2026-07-10 13:21:31 +08:00
duxin
6f4717662a fix: remove 20-map limit in formula report - all distribution maps now included, AI limit still controlled by ai_maps_limit 2026-07-10 12:49:14 +08:00
duxin
8f01624171 fix: step7 filter bar split into 2 rows - row1: combo+selectAll+clear, row2: ratio+conc+reload+count 2026-07-10 11:58:58 +08:00
duxin
600400a4d9 fix: step13 auto-detect report mode on panel load (in _auto_pull_work_dir), not just on generate click 2026-07-09 15:38:47 +08:00
duxin
208e067334 feat: step13 auto-detect mode + user confirmation combo (with fallback to manual override) 2026-07-09 15:33:45 +08:00
duxin
66a181cbe2 feat: step13 auto-detect ML vs formula mode like step11, remove manual selector 2026-07-09 15:21:45 +08:00
duxin
3f4cb94929 fix: clean up step13 mode selector labels - remove misleading step numbers 2026-07-09 15:18:55 +08:00
duxin
a13b4be6d4 feat: formula report AI analysis per distribution map with configurable limit in UI panel 2026-07-09 15:03:39 +08:00
duxin
683cf77da5 fix: restore generic sections and AI analysis in formula report 2026-07-09 15:00:25 +08:00
duxin
a3e83e846a fix: remove leftover glint_analysis reference causing NameError 2026-07-09 14:52:50 +08:00
duxin
a572b52239 fix: formula report reads distribution maps from 12_visualization/distribution_maps/ instead of 11_Thematic_Map 2026-07-09 14:49:36 +08:00
duxin
5fe71917a6 fix: hyperspectral images section - skip missing instead of showing placeholder text, fix flight path rglob scope 2026-07-09 14:47:44 +08:00
duxin
f99fa63f0e fix: remove duplicate hyperspectral images and conflicting generic sections from formula report 2026-07-09 14:45:53 +08:00
duxin
8a7273dd57 fix: 公式报告进度步数用实际脉冲数而非原始数据量 (87→30) 
旧: total_steps = 4 + 63 + 20 = 87 (但大部分步骤不发脉冲)
新: total_steps = 4 + 63//10 + 20 = 30 (与 _next 调用次数一致)
 2026-07-09 13:27:47 +08:00
duxin
dd04ee323c fix: ML 报告进度增加 on_progress 回调 + 两条报告逻辑审查确认 
ML 报告: 参数循环中加入 on_progress 回调,
  终端显示 ML报告 参数 3/13: Chlorophyll

审查结论:
  公式报告 (_generate_formula_report):
    数据源: 10_WaterIndex_CSV + 11_Thematic_Map + 1_water_mask
    不含 ML 内容 (无 scatter/boxplot/heatmap/R²/RMSE)
    进度: 数据驱动 (N_csv + N_maps + 4 固定)

  ML 报告 (_generate_ml_report):
    数据源: 12_visualization + 5_Data_Cleaning + 9_Concentration
    完整 ML 流程 (统计表→热力图→浓度→逐参数图表→总结)
    进度: 图片数 + 参数数 + 2
 2026-07-09 13:26:09 +08:00
duxin
836c322b10 fix: 公式报告进度数据驱动 — 按实际 CSV/专题图数量计算总步数 
旧: total_steps=7 硬编码, 看不到实际数据处理进度
新: 启动时扫描 10_WaterIndex_CSV 和 11_Thematic_Map,
  总步数 = 4(固定章节) + N_csv + N_maps,
  每处理 10% CSV 和每张专题图均更新进度,
  终端显示 统计 7/63 / 专题图 3/20 等实时信息
 2026-07-09 13:21:32 +08:00
duxin
b88bab57ee fix: 公式报告 4 项修复 — 通用章节+AI接口+图片路径+标题数字 
修复一: _generate_formula_report 封面后恢复
  _add_company_description_page/doc
  _add_data_acquisition_section/doc
  _add_data_processing_section/doc

修复二: _call_minimax_text / _call_minimax_vision
  URL 自动补齐 /chat/completions 后缀

修复三: _call_minimax_vision
  MIME 类型动态检测 (.png→image/png, 其他→image/jpeg)

修复四: _add_hyperspectral_images_section
  航线图搜索: 多路径 + rglob 递归查找
  去掉所有硬编码编号 (3.1/图3-2/3-3/3-4/3-5/3-6)
 2026-07-09 13:12:14 +08:00