1412b0ed0bd302d7e5793b594621a6695fb1154e
crawler_106: - find_closest_item 原来用 abs(now - item) 取“离现在最近”,服务端只要存在 未来日期的目录就会被选中。改为只保留不晚于当前时间的项,再取最新那个。 - 目录名只有日期,按当天 00:00 参与比较。不能用 23:59:59,否则“今天”的目录 会大于当前时刻而被当成未来剔除,永远只取到昨天的数据。 - 文件 modified 带 Z 表示 UTC,不带时区的按东八区补上。原来 .replace(tzinfo=None) 会让 naive/aware 比较抛异常,被 except 静默吞掉,导致所有文件被丢弃。 - target_time 不再用「目录日期 + datetime.now()」拼接(那写进库的是爬虫跑批 时刻,而 calculate_offset 只取日期部分,等于在骗前端)。改为从最终文件路径 正则提取真实记录时间,正则没命中时退化到文件修改时间。 - 正则放宽:兼容 /Data 与 /data、前导斜杠、扩展名大小写。 crawler_82: - 基础数据包的 target_time 默认值不再用 datetime.now()。 - d_list 为空时原为字符串 "N/A",它是真值,会通过入库层的 if target_date 判断,把设备主表已冻结的有效时间覆盖掉。改为 None。 爬虫层只负责解析真实记录时间,解析不出来就留 None;如何入库交给 services/db_ingest 决定(离线时冻结上一个有效时间)。
Description
站点信息爬取
Languages
Python
100%