fix: 爬虫不再用运行时刻伪造数据时间
crawler_106: - find_closest_item 原来用 abs(now - item) 取“离现在最近”,服务端只要存在 未来日期的目录就会被选中。改为只保留不晚于当前时间的项,再取最新那个。 - 目录名只有日期,按当天 00:00 参与比较。不能用 23:59:59,否则“今天”的目录 会大于当前时刻而被当成未来剔除,永远只取到昨天的数据。 - 文件 modified 带 Z 表示 UTC,不带时区的按东八区补上。原来 .replace(tzinfo=None) 会让 naive/aware 比较抛异常,被 except 静默吞掉,导致所有文件被丢弃。 - target_time 不再用「目录日期 + datetime.now()」拼接(那写进库的是爬虫跑批 时刻,而 calculate_offset 只取日期部分,等于在骗前端)。改为从最终文件路径 正则提取真实记录时间,正则没命中时退化到文件修改时间。 - 正则放宽:兼容 /Data 与 /data、前导斜杠、扩展名大小写。 crawler_82: - 基础数据包的 target_time 默认值不再用 datetime.now()。 - d_list 为空时原为字符串 "N/A",它是真值,会通过入库层的 if target_date 判断,把设备主表已冻结的有效时间覆盖掉。改为 None。 爬虫层只负责解析真实记录时间,解析不出来就留 None;如何入库交给 services/db_ingest 决定(离线时冻结上一个有效时间)。
This commit is contained in:
@ -28,7 +28,9 @@ def run_82_logic():
|
||||
'name': str(sid),
|
||||
'status': '正常',
|
||||
'value': '',
|
||||
'target_time': datetime.now().strftime("%Y-%m-%d %H:%M:%S"),
|
||||
# 同 106:默认留空,只有真正拿到数据时间才覆盖,
|
||||
# 不用 datetime.now() 冒充数据时间
|
||||
'target_time': None,
|
||||
'raw_json': {},
|
||||
'temp_file': None
|
||||
}
|
||||
@ -42,7 +44,9 @@ def run_82_logic():
|
||||
|
||||
if data:
|
||||
d_list = data.get('date', [])
|
||||
latest = str(d_list[-1]) if d_list else "N/A"
|
||||
# 拿不到时间时必须是 None,不能是 "N/A" —— 字符串在入库层是真值,
|
||||
# 会把设备主表已经冻结的有效 latest_time 覆盖掉,令 offset 倒退成"从未同步"
|
||||
latest = str(d_list[-1]) if d_list else None
|
||||
data_packet['target_time'] = latest
|
||||
data_packet['value'] = f"Data Points: {len(d_list)}"
|
||||
data_packet['raw_json'] = data # 🔥 存完整JSON
|
||||
|
||||
Reference in New Issue
Block a user