Bug #1436
已結束[Branch Bug] CT1 CP003 重連後 watchdog 以舊 Heartbeat 覆寫四槍狀態
概述
問題摘要¶
2026-08-13,CT1(寶台 A17)CP003 的四個 connectors 在 Branch/使用者畫面全部顯示無法使用;但 Charge Point edge 端四槍皆為 AVAILABLE,Modbus meter read 持續更新,設備並無實體故障。
調查確認:CP003 在 OCPP 斷線後已重新建立 WebSocket、完成 BootNotification 並重送初始 StatusNotification(Available);Branch heartbeat watchdog 隨後仍依重連前的舊 last_heartbeat,再次把四槍覆寫為 UNAVAILABLE / OCPP heartbeat stale。下一筆 Heartbeat 只恢復 charge point connection,不會偽造 connector operational status,因此 Branch 與 edge 狀態長期分裂,使用者無法啟動充電。
本單是 #1382 offline watchdog 的 production regression,與 #1421 Fortune command capability/real-load E2E 無關。
與既有 Issue 的關係¶
- 原始功能:#1382。
- #1393 曾記錄相同 reconnect/watchdog 缺口,但於 2026-08-12 被標為 Rejected,未留下拒絕理由。
- CT1/CP003 於 2026-08-13 再次在 production 發生,證明缺口仍存在;因此建立本單追蹤本次復發與正式修補。
- 不合併進 #1421,避免混入 Fortune vendor certification 範圍。
環境與影響¶
- 案場:CT1(寶台 A17)
- Charge Point:
CP003 - Connectors:
CP003-001、CP003-004、CP003-005、CP003-008 - 發生日期:2026-08-13(Asia/Taipei)
- 使用者影響:四支槍全部顯示無法使用,無法開始充電
- Branch watchdog:Heartbeat interval 300 秒、offline timeout 330 秒、scan fixed delay 60 秒
現場證據¶
Branch¶
-
e_charge_points.CP003:status = AVAILABLE、ocpp_connection_status = ONLINE,Heartbeat 後續持續更新。 - 四筆
e_connectors:UNAVAILABLE / NOERROR / OCPP heartbeat stale,last_status_change = 2026-08-13 05:16:26。
Charge Point edge¶
- 四筆
cp_connectors均為AVAILABLE。 - Meter read 與 Modbus 輪詢持續成功。
- Branch 與 edge 皆無進行中 transaction。
上述證據排除 connector 硬體、Modbus gateway 與 meter 故障。
事件時序¶
- 05:06:57:最後一筆舊 Heartbeat 成功。
- 05:13:26:watchdog 依 stale Heartbeat 將 CP003 判離線。
- 05:14:43:CP client 因 WebSocket pong timeout 關閉連線。
- 05:14:46:Branch 收到 broken pipe 並套用 WebSocket-close offline sync。
- 05:15:13:CP003 reconnect,BootNotification Accepted。
- 05:15:26:watchdog 仍使用舊 Heartbeat,再次判離線。
- 05:15:26~05:15:30:CP 初始 StatusNotification 將四槍短暫恢復
AVAILABLE。 - 05:16:26:第一個 post-reconnect Heartbeat 尚未到達,watchdog 再次把四槍覆寫成
UNAVAILABLE。 - 05:19:56:Heartbeat 恢復 charge point 為
ONLINE,但 connector 狀態仍卡在UNAVAILABLE。
程式碼根因¶
-
ChargePointRepository.findEnabledStaleHeartbeat()只判斷lastHeartbeat,不考慮剛成功的lastBootNotification。 -
ChargePointOfflineService.markOfflineIfHeartbeatStale()的 locked recheck 同樣只重讀lastHeartbeat。 - BootNotification 把 connection 設為 ONLINE,但依設計不應偽造
lastHeartbeat。 - Connector recovery 依實際 StatusNotification;Heartbeat 不會批次恢復 connectors。
- 因此「舊 Heartbeat + 新 Boot + 初始 StatusNotification + 第一個新 Heartbeat 尚未到」期間,watchdog 可覆寫剛恢復的 connector,之後狀態永久分裂。
已執行的暫時復原¶
復原前確認 Branch 與 edge 未結束交易皆為 0,四槍 current_transaction_id 皆為 null。
只受控重啟 CP003 edge service,未重啟 Branch/HQ/其他 CP,也未以 SQL 直接改 connector 狀態。標準 OCPP reconnect 完成 WebSocket、BootNotification、Heartbeat 與四筆 StatusNotification;Branch/edge 四槍恢復 AVAILABLE,下一輪 Heartbeat 與 meter read 持續更新。
此操作只恢復現場資料,尚未部署永久修補。
建議修正方向¶
- Watchdog candidate query 同時檢查
lastHeartbeat與lastBootNotification。 - Locked recheck 同時重讀兩者;任一時間不早於 cutoff,就略過離線覆寫。
- BootNotification 更新與 watchdog 共用 charge point row lock。
- BootNotification 只提供第一筆 Heartbeat 前、等同 offline timeout 的 reconnect grace;不可刷新或偽裝
lastHeartbeat。 - 兩者都過期時仍須正常判離線,不能以 live session 永久略過,以保留 TCP half-open 偵測。
驗收條件¶
- 舊 Heartbeat 早於 cutoff,但 fresh BootNotification 位於 cutoff 內時,不得覆寫為 OFFLINE/UNAVAILABLE。
- reconnect 初始 StatusNotification 已回報 AVAILABLE,在 grace 內不得被舊 Heartbeat 再次覆寫。
- BootNotification 超過 timeout 且仍無 Heartbeat 時,watchdog 必須正常判離線。
- Heartbeat 與 BootNotification timestamp 等於 cutoff 時不算 stale。
- BootNotification 不更新
lastHeartbeat,也不覆寫 operational status。 - TCP half-open 與無 Boot/無 Heartbeat 的既有離線偵測正常。
-
currentTransactionId、Branch ACTIVE transaction、edge ACTIVE transaction 的保護不得退化。 - 補回歸測試並通過 Branch build。
- CT1 或等價 simulator 驗證 reconnect → Boot → StatusNotification → watchdog → first Heartbeat 全時序。
E2E Impact¶
- 分類:Update
- 案例:
OCP-007 - Priority:P1
- Trigger:offline watchdog、OCPP reconnect liveness 或相關 production incident 修正
- Release pack:Major / Charging / OCPP
- Gap:需補可控制時間的 simulator/整合時序;production recovery 可作現場證據,但不能取代修補版部署後驗證
目前程式碼狀態¶
已有本機未提交草稿用於驗證修補方向;尚未 commit、尚未 push、尚未部署。建立本單後,必須依 Redmine SOP 在本單專屬 branch 重新走需求確認、實作規劃、測試計畫與文件 gate。