Commit Graph

38 Commits

Author SHA1 Message Date
DXC
1412b0ed0b fix: 爬虫不再用运行时刻伪造数据时间
crawler_106:
- find_closest_item 原来用 abs(now - item) 取“离现在最近”,服务端只要存在
  未来日期的目录就会被选中。改为只保留不晚于当前时间的项,再取最新那个。
- 目录名只有日期,按当天 00:00 参与比较。不能用 23:59:59,否则“今天”的目录
  会大于当前时刻而被当成未来剔除,永远只取到昨天的数据。
- 文件 modified 带 Z 表示 UTC,不带时区的按东八区补上。原来 .replace(tzinfo=None)
  会让 naive/aware 比较抛异常,被 except 静默吞掉,导致所有文件被丢弃。
- target_time 不再用「目录日期 + datetime.now()」拼接(那写进库的是爬虫跑批
  时刻,而 calculate_offset 只取日期部分,等于在骗前端)。改为从最终文件路径
  正则提取真实记录时间,正则没命中时退化到文件修改时间。
- 正则放宽:兼容 /Data 与 /data、前导斜杠、扩展名大小写。

crawler_82:
- 基础数据包的 target_time 默认值不再用 datetime.now()。
- d_list 为空时原为字符串 "N/A",它是真值,会通过入库层的 if target_date
  判断,把设备主表已冻结的有效时间覆盖掉。改为 None。

爬虫层只负责解析真实记录时间,解析不出来就留 None;如何入库交给
services/db_ingest 决定(离线时冻结上一个有效时间)。
2026-09-15 17:05:31 +08:00
DXC
c745f0c070 chore: 添加 .gitignore,排除数据库与构建产物
instance/ 里是 SQLite 生产库及其备份(已 36MB+),此前处于未跟踪状态,
一次 git add -A 就会把 70MB+ 的数据库提交进仓库。
同时排除 build/dist/web_dist/__pycache__ 等可由源码重新生成的产物。
2026-09-15 17:04:34 +08:00
51deee1493 自动写入修改,除了文件个数外,其他信息不展示问题 2026-02-08 10:53:00 +08:00
DXC
f167bbc2f2 修改自动爬取时间为17点,修改自己动爬取未写入的问题,写入存在线程阻碍导致无法写入进去,以进行修改,测试成功 2026-02-06 10:08:49 +08:00
DXC
4cb503089e 修改自动爬取时间为17点,修改自己动爬取未写入的问题 2026-02-05 09:25:00 +08:00
DXC
fb52536898 修改自动爬取时间为17点 2026-02-03 17:40:36 +08:00
DXC
e093ae9633 修改新增加文件数量的查询功能 2026-02-03 17:15:42 +08:00
DXC
195c3f8fa4 增加流量卡状态信息,对流量信息上提进行调整,取消超过500MB进行的警告整行标黄和上提功能,仅保留流量数字标黄 2026-01-22 10:55:41 +08:00
cb567b2c7d 当自动爬取的时候前端没有传输设备绑定和iccid的关系,导致后端没有接收到,现在修改逻辑 2026-01-16 13:14:56 +08:00
9b7799b827 当自动爬取的时候前端没有传输设备绑定和iccid的关系,导致后端没有接收到,现在修改逻辑 2026-01-15 14:06:38 +08:00
f043983d24 时间显示异常 2026-01-14 14:42:33 +08:00
9ebfd79414 成功添加哈士奇业务以及白名单功能创建 2026-01-13 16:43:34 +08:00
fe21532741 添加哈士奇sim卡业务 2026-01-13 14:50:23 +08:00
e2333ea9b8 数据异常处理 2026-01-12 15:57:34 +08:00
43f049112f 适配手机端修改 2026-01-09 12:55:43 +08:00
ffbd494b7b 打包上传的2.0版本 2026-01-09 12:48:50 +08:00
ca895af384 登录系统以及超级管理员权限 2026-01-09 09:47:27 +08:00
e67edec876 添加登录系统以及超级管理员内容 2026-01-09 09:44:40 +08:00
4f970967e9 2代版本基本全部实现 2026-01-08 17:41:56 +08:00
f527faa06e 首页部分 2026-01-08 15:16:36 +08:00
29b48f6ba4 首页页面基本实现 2026-01-08 15:15:05 +08:00
a8984a156c 修改数据获取,确保json文件完整获取 2026-01-08 14:26:34 +08:00
a5b0b71d26 分步式页面布局,首页页面设计实现初稿 2026-01-08 13:53:19 +08:00
af4b4a28c3 打包上传云端版本 2026-01-07 17:36:33 +08:00
3099427eb6 云端上传版本 2026-01-07 17:35:07 +08:00
ef440177b3 test 2026-01-07 15:57:34 +08:00
15d66d6694 修复屏蔽设备恢复效果,设定后端计时器每天10点刷新,同时设定前端刷新页面时间 2026-01-07 13:14:41 +08:00
cbe6e884b5 两个网站图像展示,调试成功版 2026-01-07 11:28:09 +08:00
fa66da3ff5 106网站图像展示,未完成版 2026-01-07 11:27:20 +08:00
2c2f9e43e3 106网站图像展示,未完成版 2026-01-06 17:35:18 +08:00
45c3d602c0 修复两个网站json展示问题 2026-01-06 16:15:08 +08:00
e36b68da2e 82网页数据存储以及屏蔽设备 2026-01-06 15:37:36 +08:00
19e34ec065 82网页数据存储以及屏蔽设备 2026-01-06 15:37:21 +08:00
e9c9c60b27 页面部分实现 2026-01-06 15:36:42 +08:00
db2c040e5b 添加屏蔽设备以及82网站数据展示 2026-01-06 15:33:55 +08:00
776559b6eb 页面部分实现 2026-01-06 15:27:10 +08:00
1f85bbbc2e 修改tower逻辑新增区分tower和towe_ 2026-01-06 13:52:59 +08:00
0699c6a323 上传文件至 1.1
获取站点信息
2026-01-06 11:06:20 +08:00