duxingchen
39697ca3ad
【问题】 上线/下线时间此前取自审计记录（写操作）时间，当天只翻看、没做写操作的人 会被整条漏掉；而取登录时间更错（Refresh Token 有效期 7 天，用户不必每天登录， 会出现「登录次数 0 却操作 35 次」的自相矛盾报表）。 【方案 C+：一天一人一行的小状态表】 - 新增 user_daily_seen(user_id, day, first_seen_at, last_seen_at)， 迁移 k1l2m3n4o5p6（紧接 j1k2l3m4n5o6） - 打点挂在 RequestContextMiddleware —— 它是最外层，能覆盖【所有】请求， 含不被审计的普通 GET。挂审计中间件没用：那里只记写操作，正是漏人的原因 - 节流：进程内缓存，同一用户 2 分钟内只落盘一次，把"每请求一次写库" 压到"每人每 2 分钟一次"；代价是末次活动时间最多落后 2 分钟 - UPSERT on_conflict_do_update 只刷 last_seen_at，first_seen_at 保持当天首次值 - 打点失败全部吞掉并记日志，绝不影响业务请求 【为什么不复用 audit_logs】 「末次活动」是需要不断 UPDATE 的状态，而审计流水必须只增不改 —— 能改的审计记录等于没有审计价值。写进审计表还会让表随访问量线性膨胀。 【查询合并】 get_daily_usage 改为「活动表 ∪ 审计表」并集：只有活动记录的（只看不操作） 和只有审计记录的（本表上线前的历史数据）都会出现。 上线/下线时间取两者的【最早 / 最晚】而非"活动表优先"——打点有 2 分钟节流、 跨零点或写库失败时可能晚于当天第一次写操作，取 min/max 后结果永不劣于任一来源。 零前端改动、零移动端发版：打点在服务端，PC 与移动端同一套口径、同一张表。
104 lines
4.2 KiB
Python
104 lines
4.2 KiB
Python
"""请求上下文中间件 — request_id 生成/透传 + 结构化访问日志"""
|
||
from __future__ import annotations
|
||
|
||
import logging
|
||
import time
|
||
import uuid
|
||
|
||
from starlette.middleware.base import BaseHTTPMiddleware
|
||
from starlette.requests import Request
|
||
|
||
from app.core.logging import request_id_var, user_var
|
||
from app.services.audit_service import touch_daily_seen
|
||
|
||
access_log = logging.getLogger("track.access")
|
||
|
||
# 探针被高频轮询，降级为 DEBUG 避免把有价值的信息淹掉
|
||
_QUIET_PATHS = frozenset({"/health", "/health/live", "/health/ready"})
|
||
|
||
|
||
class RequestContextMiddleware(BaseHTTPMiddleware):
|
||
"""为每个请求建立可追踪上下文。
|
||
|
||
- request_id：优先沿用上游网关传来的 X-Request-ID，实现全链路追踪；
|
||
没有就生成一个。响应头回写该 ID，前端报错时可直接带上，
|
||
运维拿 ID 就能在日志里精确定位到这一次请求。
|
||
- 访问日志：method / path / status / duration_ms / client / user。
|
||
"""
|
||
|
||
async def dispatch(self, request: Request, call_next):
|
||
request_id = request.headers.get("X-Request-ID") or uuid.uuid4().hex
|
||
# 同时写入 request.state：它由 ASGI scope 承载，作用域比 contextvar 更长。
|
||
# FastAPI 把 Exception 处理器交给 ServerErrorMiddleware（位于本中间件外层），
|
||
# 异常传播到那里时 contextvar 已在 finally 中被重置，只有 state 还留着 ID。
|
||
request.state.request_id = request_id
|
||
rid_token = request_id_var.set(request_id)
|
||
user_token = user_var.set(None)
|
||
started = time.perf_counter()
|
||
logged = False
|
||
status_code = 500
|
||
try:
|
||
response = await call_next(request)
|
||
status_code = response.status_code
|
||
response.headers["X-Request-ID"] = request_id
|
||
self._log_access(request, status_code, started)
|
||
logged = True
|
||
await self._touch_activity(request)
|
||
return response
|
||
finally:
|
||
# 异常路径也要留下访问记录，否则接口 500 时日志里反而没有痕迹
|
||
if not logged:
|
||
self._log_access(request, status_code, started)
|
||
await self._touch_activity(request)
|
||
request_id_var.reset(rid_token)
|
||
user_var.reset(user_token)
|
||
|
||
async def _touch_activity(self, request: Request) -> None:
|
||
"""记录「该用户今天活动过」，供日活报表算上线/下线时间。
|
||
|
||
为什么挂在这一层：本中间件是最外层，能覆盖**所有**请求 ——
|
||
包括不被审计的普通 GET。而审计中间件只记写操作，当天只翻看、
|
||
没做写操作的人会被日活完全漏掉。
|
||
|
||
user 同样只能从 request.state 取：本中间件在独立 task 中执行，
|
||
路由内写的 contextvar 不会回流（详见 _log_access 的说明）。
|
||
未认证请求取不到 user，自然跳过。
|
||
"""
|
||
await touch_daily_seen(getattr(request.state, "audit_user", None))
|
||
|
||
def _log_access(self, request: Request, status_code: int, started: float) -> None:
|
||
path = request.url.path
|
||
duration_ms = round((time.perf_counter() - started) * 1000, 1)
|
||
|
||
# user 必须从 request.state 取：本中间件在独立 task 中执行，路由内
|
||
# 写入的 contextvar 不会回流到这里（详见 get_current_user 的说明）。
|
||
user = getattr(request.state, "audit_user", None) or user_var.get()
|
||
|
||
if status_code >= 500:
|
||
level = logging.ERROR
|
||
elif status_code >= 400:
|
||
level = logging.WARNING
|
||
elif path in _QUIET_PATHS:
|
||
level = logging.DEBUG
|
||
else:
|
||
level = logging.INFO
|
||
|
||
access_log.log(
|
||
level,
|
||
"%s %s -> %s (%.1fms)",
|
||
request.method,
|
||
path,
|
||
status_code,
|
||
duration_ms,
|
||
extra={
|
||
"extra_fields": {
|
||
"method": request.method,
|
||
"path": path,
|
||
"status": status_code,
|
||
"duration_ms": duration_ms,
|
||
"client": request.client.host if request.client else None,
|
||
"user": user,
|
||
}
|
||
},
|
||
)
|