duxingchen/WQ_GUI
2
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
270 Commits 4 Branches 0 Tags
de9d6f0835d4e40cd50b6b9178aab39422c1a25e
Commit Graph

270 Commits

This Branch
This Branch
All Branches
Author SHA1 Message Date
duxin
de9d6f0835 fix: Kriging 整体拟合+变异函数容错+自适应分层抽样+高斯平滑+掩膜修复 2026-07-27 18:08:37 +08:00
duxin
c8ab4e029e fix: 采样+水掩膜+专题图十项修复 
采样 (sampling.py):
- min_interval 50→10, base_interval 改用 min_interval
- np.all(sample_area)→water_ratio_threshold=0.35, 窄水体采样率大幅提升
- 自适应采样参数改用 P5-最近邻距离, 免疫外扩点污染

水掩膜 (extract_water_area.py):
- 移除 imgdata_in==0 误杀逻辑, 380nm水体反射率为0不再被跳过

专题图 (map.py):
- 坐标列检测修复: 删除 ('longitude','longitude') 短路bug
- 栅格掩膜重采样改用 GDAL ReprojectImage + 掩膜内 NaN 全量填充
- binary_closing iterations 2→1, 窄河道不丢
- visualize_raster 检测 nodata_value 避免矢量掩膜二次擦除
- IDW 自适应参数: 基于最近邻距离的连续映射
- Kriging 重构为整体拟合+变异函数多模型容错+高斯平滑
- 克里金无500K一刀切, 局部克里金失败自动回退IDW
 2026-07-27 14:52:40 +08:00
duxin
92e8c90370 feat: ML模型波长记忆 + 跨传感器光谱重采样 + 数据加载规范化 
训练端 (modeling_batch.py):
- _extract_train_wavelengths() 从列名提取训练波长写入 metadata
- load_data_batch/load_data_single 改为基于列名语义智能提取特征
- 废除 feature_start_column 硬编码位置索引

推理端 (inference_batch.py):
- preprocess_spectra() 分支A: train_wavelengths存在→np.interp精确重采样
- preprocess_spectra() 分支B: 无波长元数据→解析列名→np.interp到400-800nm标准网格
- 废除暴力截断和零值填充
 2026-07-27 14:52:30 +08:00
duxin
99aeab3076 refactor: 中间层消除硬编码波段号+CRS动态探测 
- GlintRemovalStep/handler/service 全部改为传递波长参数而非波段索引
- ContentMapper 移除 EPSG:32651 硬编码, 新增 _ensure_crs() + _probe_crs_from_file()
- _prepare_shared_context 在 read_csv_data 前先探测边界文件 CRS
- GUI QSpinBox→QDoubleSpinBox，默认值改为波长(nm)，placeholder 提示自动探测
- 消除 38/36/49/47/25/37/65/91 等所有魔法数字
 2026-07-27 14:52:23 +08:00
duxin
f6d61693e3 refactor: 耀斑去除算法从波段索引驱动改造为波长驱动 
- Kutser/Hedley/Goodman 的 __init__ 参数从硬编码波段号改为目标波长(nm)
- 内部通过 find_band_number() 从 HDR 元数据动态解析波段索引
- Goodman 消除 P0 不一致: 25/37 vs 65/91 统一为 641.93/751.49nm
- 彻底解除传感器耦合，任何传感器均可自动适配
 2026-07-27 14:52:15 +08:00
duxin
b609a64811 fix: 多项稳定性修复与打包优化 
- PyInstaller: runtime hook 预加载 osgeo DLL 避免 Qt5 符号冲突；
  spec 纳入 osgeo .py 文件 + 运行时 DLL 依赖 (ffi/lzma/bz2/expat/sqlite3)；
  移除 DLL 双副本防止 segfault
- GDAL 环境: 新增 _MEIPASS/osgeo/data/gdal 路径搜索，改善打包后 GDAL_DATA 检测
- 预览生成器: 掩膜与底图同分辨率时跳过 Warp 加速读取
- 专题图: ConvexHull 坐标中心化修复 UTM 大坐标精度退化；
  边界采样兜底防止外扩点为空；
  TIFF 已含 NaN 掩膜时跳过矢量擦除；
  形态学闭运算填充掩膜小孔洞
- NDWI: int16→float32 防止减法溢出
- 面板注册表: 步骤模块分组重构 (模块一/二/三/四重划分)
 2026-07-26 20:35:50 +08:00
duxin
0bd54d5fdd feat(step3): auto BIP→BSQ conversion with metadata preservation 
- _ensure_bsq(): 检测 BIP 格式并自动调用 gdal.Translate 转换为 BSQ
- 临时文件原地替换原名，所有下游步骤零感知
- 保留原始波长/波段名称等元数据到新 HDR
- 空间不足时跳过转换，回退 BIP-chunked 模式运行
 2026-07-24 14:37:00 +08:00
duxin
2c637596eb perf(step3): Kutser BIP-chunked mode + auto interleave detection 
- 新增 run_fast(): 自动检测 BIP/BSQ 格式，BIP 按行块读立方体（文件只读一遍）
- BSQ 模式逐波段顺序读取，均比原版块外波段内随机 IO 快 10-100 倍
- get_corrected_bands() 默认走 run_fast()，原版 run() 保留为低内存兼容
- 每 10 波段打印进度 + 预计剩余时间
 2026-07-24 14:36:56 +08:00
duxin
beed27b1f0 perf(step11): IDW auto-switch for large grids + GDAL fast rasterize 
- 网格 >500K 点自动跳过 Kriging 切 IDW（千万级点从数小时降至数秒）
- n_closest_points 50→20，Block 每块打印进度
- GDAL ReprojectImage 直接重采样栅格掩膜，避免 58K 多边形 rasterize 卡死
- 自动扫描工作目录 .dat 栅格，不依赖 handler 传参
- 特殊 Unicode 字符替换为 ASCII 兼容
 2026-07-24 14:36:51 +08:00
duxin
d0344b8fa0 fix: add missing self._pipeline_mode assignment + getattr guard + init stats_data before try 2026-07-14 15:22:24 +08:00
duxin
5b04a120e3 chore: replace app icon uitubiao.ico -> app.ico (converted from app.png) 2026-07-14 15:15:03 +08:00
duxin
d4de09caa2 fix: total_steps now uses actual map count, not capped at 20 2026-07-10 13:21:31 +08:00
duxin
6f4717662a fix: remove 20-map limit in formula report - all distribution maps now included, AI limit still controlled by ai_maps_limit 2026-07-10 12:49:14 +08:00
duxin
8f01624171 fix: step7 filter bar split into 2 rows - row1: combo+selectAll+clear, row2: ratio+conc+reload+count 2026-07-10 11:58:58 +08:00
duxin
600400a4d9 fix: step13 auto-detect report mode on panel load (in _auto_pull_work_dir), not just on generate click 2026-07-09 15:38:47 +08:00
duxin
208e067334 feat: step13 auto-detect mode + user confirmation combo (with fallback to manual override) 2026-07-09 15:33:45 +08:00
duxin
66a181cbe2 feat: step13 auto-detect ML vs formula mode like step11, remove manual selector 2026-07-09 15:21:45 +08:00
duxin
3f4cb94929 fix: clean up step13 mode selector labels - remove misleading step numbers 2026-07-09 15:18:55 +08:00
duxin
a13b4be6d4 feat: formula report AI analysis per distribution map with configurable limit in UI panel 2026-07-09 15:03:39 +08:00
duxin
683cf77da5 fix: restore generic sections and AI analysis in formula report 2026-07-09 15:00:25 +08:00
duxin
a3e83e846a fix: remove leftover glint_analysis reference causing NameError 2026-07-09 14:52:50 +08:00
duxin
a572b52239 fix: formula report reads distribution maps from 12_visualization/distribution_maps/ instead of 11_Thematic_Map 2026-07-09 14:49:36 +08:00
duxin
5fe71917a6 fix: hyperspectral images section - skip missing instead of showing placeholder text, fix flight path rglob scope 2026-07-09 14:47:44 +08:00
duxin
f99fa63f0e fix: remove duplicate hyperspectral images and conflicting generic sections from formula report 2026-07-09 14:45:53 +08:00
duxin
8a7273dd57 fix: 公式报告进度步数用实际脉冲数而非原始数据量 (87→30) 
旧: total_steps = 4 + 63 + 20 = 87 (但大部分步骤不发脉冲)
新: total_steps = 4 + 63//10 + 20 = 30 (与 _next 调用次数一致)
 2026-07-09 13:27:47 +08:00
duxin
dd04ee323c fix: ML 报告进度增加 on_progress 回调 + 两条报告逻辑审查确认 
ML 报告: 参数循环中加入 on_progress 回调,
  终端显示 ML报告 参数 3/13: Chlorophyll

审查结论:
  公式报告 (_generate_formula_report):
    数据源: 10_WaterIndex_CSV + 11_Thematic_Map + 1_water_mask
    不含 ML 内容 (无 scatter/boxplot/heatmap/R²/RMSE)
    进度: 数据驱动 (N_csv + N_maps + 4 固定)

  ML 报告 (_generate_ml_report):
    数据源: 12_visualization + 5_Data_Cleaning + 9_Concentration
    完整 ML 流程 (统计表→热力图→浓度→逐参数图表→总结)
    进度: 图片数 + 参数数 + 2
 2026-07-09 13:26:09 +08:00
duxin
836c322b10 fix: 公式报告进度数据驱动 — 按实际 CSV/专题图数量计算总步数 
旧: total_steps=7 硬编码, 看不到实际数据处理进度
新: 启动时扫描 10_WaterIndex_CSV 和 11_Thematic_Map,
  总步数 = 4(固定章节) + N_csv + N_maps,
  每处理 10% CSV 和每张专题图均更新进度,
  终端显示 统计 7/63 / 专题图 3/20 等实时信息
 2026-07-09 13:21:32 +08:00
duxin
b88bab57ee fix: 公式报告 4 项修复 — 通用章节+AI接口+图片路径+标题数字 
修复一: _generate_formula_report 封面后恢复
  _add_company_description_page/doc
  _add_data_acquisition_section/doc
  _add_data_processing_section/doc

修复二: _call_minimax_text / _call_minimax_vision
  URL 自动补齐 /chat/completions 后缀

修复三: _call_minimax_vision
  MIME 类型动态检测 (.png→image/png, 其他→image/jpeg)

修复四: _add_hyperspectral_images_section
  航线图搜索: 多路径 + rglob 递归查找
  去掉所有硬编码编号 (3.1/图3-2/3-3/3-4/3-5/3-6)
 2026-07-09 13:12:14 +08:00
duxin
fc6036efb7 fix: _add_hyperspectral_images_section 去掉多余的 start_figure_num 参数 2026-07-09 11:53:23 +08:00
duxin
43d56e74d9 fix: _add_cover_page 参数对齐 + 确认 _generate_formula_report 无 ML 混入 2026-07-09 11:42:32 +08:00
duxin
650e505ac4 feat: 报告生成模块双轨制重构 — 公式模式 + ML 模式独立分流 
**UI (step13_report_panel.py):**
  - 新增 QComboBox 报告模式选择:
    机器学习(ml) / 水色指数公式(formula)
  - WorkerThread 传递 report_mode 到 generate_report

**后端 (report_word.py):**
  - generate_report(report_mode='ml'/'formula') 参数路由
  - _generate_formula_report(): 水色指数专属结构
    1.项目背景 → 2.影像预处理 → 3.公式列表 →
    4.指数统计(10_WaterIndex_CSV) → 5.分布专题图(11_Thematic_Map)
    绝不包含模型训练/R²/RMSE 等 ML 内容
  - _generate_ml_report(): 原有 ML 逻辑完整保留
  - _analyze_statistics(): 全部改用 .get() 防御式读取
    兼容 参数/Parameter/name, 点位数/数量/count,
    最小值/min, 最大值/max, 平均值/mean, 标准差/std
 2026-07-09 11:33:50 +08:00
duxin
692a88c7bb fix: heatmap_path 提前声明避免水色指数模式下 UnboundLocalError 2026-07-09 11:22:50 +08:00
duxin
1740425152 fix: 报告水色指数模式 stats_data 补全缺失的统计字段 
水色指数模式 stats_data 只复制了 参数/点位数,
  缺少 最小值/最大值/平均值/标准差 →
  _analyze_statistics 访问时 KeyError: '最小值'
 2026-07-09 11:17:54 +08:00
duxin
303f202547 fix: read_csv_data 含量列动态识别 — 排除所有坐标列名 
问题: CSV 格式 [proj_x, proj_y, longitude, latitude, BGA_Am09KBBI],
  旧逻辑 coord_cols={proj_x,proj_y} 只排除识别的坐标列,
  longitude 被错误提取为含量列 → Kriging 用坐标值插值

修复: 扩展排除集合包含全部已知坐标列名:
  proj_x/proj_y, longitude/latitude, x/y, lon/lat,
  x_coord/y_coord, pixel_x/pixel_y, geometry, uncertainty
  兜底取最后一列
 2026-07-09 09:56:03 +08:00
duxin
9fa60e2995 fix: CRS 比较改用 GDAL osr.IsSame() 语义比对, 消除 WKT 格式差异误报 
问题: 两组不同数据的 .hdr 文件由不同软件生成,
  同一 UTM 投影的 WKT 字符串格式不同 (PROJCS 命名/参数精度),
  原 validate_projections 用字符串比较会误报 CRS 不一致。

修复: 改用 gdal.osr.SpatialReference.IsSame() 语义比对:
  - 同一定义 → 通过 (即使 WKT 格式不同)
  - 真正不同 → 报错
  - osr 解析失败 → 回退字符串比较
 2026-07-09 09:37:50 +08:00
duxin
1d051c9fec feat: 报告生成器自动检测水色指数模式 — 支持非 ML 管线 
问题: 报告模板仅适配 ML 管线 (steps 5-9+13),
  用户跑 1,2,3,4,10,11,12 (水色指数公式管线) 时大量显示
  [图片未找到]。

修复: 自动模式检测 + 分支逻辑

  1. _detect_pipeline_mode(): 检测 scatter_with_confidence 文件
     不存在 → 水色指数模式

  2. _get_available_image_types(): 扫描实际存在的图片类型,
     只报告确实生成的内容

  3. 统计表格: ML→5_Data_Cleaning, 水色指数→10_WaterIndex_CSV
     水色指数模式遍历所有公式 CSV 生成统计汇总表

  4. 相关性热力图: 水色指数模式跳过并注明原因

  5. 分布图: 利用已有 fallback 从 11_Thematic_Map 读取
 2026-07-09 09:31:58 +08:00
duxin
d18da41505 fix: step13 统一使用 12_visualization 目录名 
问题: step13_service.py 检查 14_visualization 但 report_word.py
  内部写死使用 12_visualization, 目录名不一致导致新服务报
  '可视化目录不存在'。

修复: step13_service.py 全部 14_visualization → 12_visualization
 2026-07-09 09:25:14 +08:00
duxin
f496b28c8c fix: 回退 setWidgetResizable(False) 恢复图像显示 + 保留滚动条策略修复 
setWidgetResizable(False)+QSizePolicy.Ignored 导致 QLabel
  无有效 sizeHint, 图像不显示。

回退为 setWidgetResizable(True), 保留显式 ScrollBarAsNeeded
  策略 (原默认可能为 AlwaysOff 导致滚动条异常)。
 2026-07-08 17:55:34 +08:00
duxin
830589c108 fix: 智能坐标列检测 — proj_x/proj_y 优先 + 双列名输出 
问题: CSV 中 UTM 米坐标被命名为 longitude/latitude,
  列名与实际内容不符, 容易引发 CRS 配置错误。

修复:

1. map.py read_csv_data: 优先级智能列检测
   proj_x/proj_y → longitude/latitude → lon/lat → x_coord/y_coord
   → 终极回退按位置[0][1]。新旧文件全部兼容。

2. csv_processor.py: 输出双列名
   proj_x + proj_y (新标准, 优先)
   longitude + latitude (旧标准, 兼容)
   值完全相同, 新旧代码都能正确读取
 2026-07-08 16:50:20 +08:00
duxin
f996353b37 fix: 克里金矩阵鲁棒性 — 去重重叠点 + nugget 防奇异化 
问题: 4326 点仍崩溃回退 IDW，原因两个:
  1. 采样点中存在空间完全重叠点 → 协方差矩阵行列式为 0
  2. 坐标范围出现负数 (X=-793275) → 经/纬度传反，空间距离扭曲

修复:
  1. read_csv_data: drop_duplicates(subset=['proj_x','proj_y'])
     坐标 <0.01m 的重叠点只保留首个，防止矩阵奇异化
  2. OrdinaryKriging (2处): nugget=1e-6
     微小固有方差强制打破矩阵奇异性，病态矩阵仍可求逆
 2026-07-08 16:29:33 +08:00
duxin
7921e21750 fix: step4 采样点过密 — 提高自适应下限 + 默认关闭自适应模式 
问题: min_interval=10 导致每个水面产生数千个密集采样点 (8242点)

修复:
  1. sampling.py: min_interval 默认值 10→50 (提高 5×)
     两个入口函数同步修改 (chunked + full)
  2. step4_sampling_panel.py: 自适应采样复选框默认 False
     用户设置的固定间隔 (interval=100px) 真正生效
 2026-07-08 16:03:42 +08:00
duxin
197f58c187 fix: step12 图像预览横向滚动条被挤出视口底部 
根因: QScrollArea.setWidgetResizable(True) 强制 QLabel 填充视口，
  与缩放后 QLabel 的 pixmap 固有尺寸冲突，滚动条布局异常。

修复:
  1. setWidgetResizable(False) — QLabel 保持 pixmap 自然尺寸
  2. QScrollArea SizePolicy → Expanding×Expanding (受父布局约束)
  3. ScrollBarPolicy → AsNeeded (显式设置)
  4. QLabel SizePolicy → Ignored (按内容自适应大小)

缩放行为:
  - 放大超出视口 → 自动出现滚动条
  - 缩小/适应窗口 → QLabel 自动缩至 pixmap 尺寸, 无滚动条
 2026-07-08 15:24:44 +08:00
duxin
757741c6a9 fix: 掩膜改用 rasterio.features.rasterize 全分辨率 C 级光栅化 
问题: 降采样+np.kron 暴力放大的旧逻辑导致出图边缘出现
  14×14 像素马赛克锯齿。

修复: 彻底删除 _MASK_TARGET_POINTS/_mask_step/shapely.prepared/
  np.kron 升采样链，替换为 rasterio C 底层光栅化:
  - from_bounds 精确计算仿射矩阵
  - rasterize(shapes, out_shape, transform) C 级瞬间盖章
  - flipud 处理 Y 轴对齐
  - 输出 uint8 bool 掩膜, 无降采样无锯齿
 2026-07-08 15:02:30 +08:00
duxin
e0c6b63446 perf: shapely.prepared.prep 加速掩膜空间查询 — 22亿次测试秒级完成 
问题: mask_gdf.within(boundary_gdf.unary_union) 对 5.3万点 × 4.1万
  复杂多边形的暴力相交测试，计算量高达 22 亿次，单核假死。

修复: 使用 shapely.prepared.prep 预编译几何体:
  - union_poly = boundary_gdf.unary_union (执行一次)
  - prepared_poly = prep(union_poly) (预编译为 C 级空间索引)
  - [prepared_poly.contains(Point(x,y)) for ...] (加速 100×+)

  同时省去 GeoDataFrame 构造开销，直接用 numpy mask_pts
  迭代生成 Point 对象并查询。
 2026-07-08 14:35:11 +08:00
duxin
b8f0625bd9 fix: 掩膜降采样计算 — 杜绝 1m 分辨率下 10.5M Point 对象 OOM/假死 
真凶定位: prepare_shared_context 第 2982-2988 行
  grid_xx.ravel() → 10.5M 坐标点
  [Point(x,y) for ...] → 创建 10.5M 个 shapely Point (~2 GB)
  within(boundary.unary_union) → 10.5M 次几何测试 O(N×M)
  → 此处假死/卡死/内存爆炸，Kriging 从未开始执行

修复: 掩膜降采样到 ~50K 点 (约 100m 等效分辨率) 计算,
  结果通过 np.kron 升采样回原始分辨率。
  掩膜是布尔值，精度损失可忽略；
  np.kron 的 C 向量化升采样 <1 秒。
 2026-07-08 14:22:34 +08:00
duxin
3f023cffd4 fix: step11 移除 ProcessPoolExecutor 改用顺序生成避免 Windows spawn 死锁 
问题: ProcessPoolExecutor 在 Windows spawn 模式下，每个 worker
  需重新导入 __main__ (water_quality_gui_v2.py) 及全部依赖
  (PyQt5, GDAL, rasterio...)，启动极慢且极易因环境差异死锁。

修复: 改为顺序 for 循环，每个 CSV 直接在当前 WorkerThread 调用
  _process_one_map。每张图生成前发进度通知，完全透明。

时间预估: 16 块 × ~25s/块 ≈ 6-8 分钟/张，63 张 ≈ 6-8 小时。
  用户可随时看到进度，心跳线程持续保活防止超时误杀。
 2026-07-08 14:18:40 +08:00
duxin
9512cab807 fix: 移除 _local_kriging 内部 multiprocessing.Pool 避免 Windows 嵌套 spawn 死锁 
根因: step11 用 ProcessPoolExecutor 派发 CSV 到子进程，
  子进程内 ContentMapper.process_data → _local_kriging 又创建
  multiprocessing.Pool。Windows spawn 模式下嵌套 Pool 死锁。

修复: _local_kriging 内部改为顺序执行 16 个块。
  每块 ~12s (650K 网格点 × 50 近邻), 总计 ~3 分钟, 完全可接受。
  step11 层的 ProcessPoolExecutor 仍提供 CSV 级并行。
 2026-07-08 14:09:54 +08:00
duxin
4469d6462d fix: 修复 _local_krige_block 单块调用时参数未 unpack 的 bug 2026-07-08 14:01:29 +08:00
duxin
237fcba647 perf: 自适应分块 + 40% 重叠缓冲 + n_closest=50 优化局部克里金 
用户需求: 500m 固定分块(50块)容易碎片化, 稀疏区域易受异常值污染

修复 (3项):

1. 自适应块大小: 根据 extent 自动切分为 ~4×4 块(16块),
   纵横比极端时自动在长边增加 1 块。
   每块面积足够大, 囊括更多采样点特征。

2. 40% 重叠缓冲区: 采样点搜索范围为块长宽的 1.4×,
   相邻块交界处使用极度重叠的采样点 → 消除拼缝断层。
   网格点(grid_x/y)仍使用严格不重叠块范围 → 无冗余计算。

3. n_closest_points=50: 50 个近邻稀释极端异常值影响,
   比之前 15 个更稳健, 且协方差矩阵 50×50 仍远小于全局 8242×8242。
 2026-07-08 14:00:59 +08:00
duxin
7fbc613ded fix: 局部 Kriging 网格范围使用缓冲区导致 10x 冗余计算卡死 
问题: sub_grid_x/y 使用了缓冲区范围 (block+500m) 而非块范围,
  导致每个 500m 块的网格点从 ~457x460 膨胀到 ~1500x1500 (9x),
  50 个块合计需计算 1.12 亿次 kriging, 任务构建阶段就卡死。

修复: sub_grid_x/y 改为仅使用块自身范围,
  缓冲区仅用于筛选局部采样点。
  每个网格点只计算一次, 总计算量 = 实际网格点数 (10.5M)。
 2026-07-08 13:14:40 +08:00