9. 疑難排解

先執行 emfor status:它顯示 daemon 是否在執行、每個 backend 的狀態,以及最近一次失敗檢查的 reason。接著看 daemon 的 log(journalctl -u emfor,FreeBSD 上看 syslog)。

daemon 無法啟動

訊息或結束代碼原因處理
結束代碼 2,列出設定錯誤設定無效。emfor check-config 會列出每個錯誤與其 TOML 路徑。
結束代碼 2,印出用法沒有給指令(0.1.x 的用法)。使用 emfor server。
--check-config was replaced by "emfor check-config"0.1.x 的命令列。見升級。
結束代碼 1,指出某個位址[dns] 或 [metrics] 的 listen 位址已被使用,或需要權限(53 port)。釋放該 port,或改用其他 port。
結束代碼 1,指出 <store>.writer已有另一個 emfor 使用這個 store。停止它,或改用其他 [store] path。
結束代碼 1,無法開啟 store目錄不存在、daemon 的使用者無法寫入,或 lock 檔屬於其他使用者。以正確的擁有者建立目錄;見 lock 檔屬於其他使用者。
plugins."x".command: ...plugin 無法啟動或沒有完成 handshake。手動執行該指令;檢查路徑與權限。

每次查詢都失敗

錯誤原因處理
UNAVAILABLE,檔案不存在daemon 從未執行過,或 EMFOR_STORE 與 [store] path 不同。啟動 daemon;設定 EMFOR_STORE。
UNAVAILABLE,permission denied應用程式使用者無法讀取 store 或無法寫入 <store>-lock。見誰能使用 store。
UNAVAILABLE,提到 LMDB 格式或發行版libemfor 與 daemon 來自不同的 emfor 發行版。兩者從同一發行版安裝。
UNAVAILABLE,提到 EMFOR_MAX_STALENESS這個變數的值無效。使用整數加上 ms 或 s。
UNAVAILABLE,提到 truncatedstore 檔比 LMDB 記錄的長度短:被原地修改過,或斷電時少了結尾。重啟 daemon,它會把檔案移到 <store>.corrupt 並建立新的 store;不要原地修改 store(見磁碟上的 store)。
INCOMPATIBLEstore 的格式版本不同。安裝與 daemon 同一發行版的 client。
NOT_FOUND執行中的設定裡沒有這個名稱的服務。檢查拼字,並確認 reload 已套用(emfor status)。

某個服務 ALL DOWN

  1. 用 emfor status --service <name> 看 reason。
  2. 如果每個 backend 都是同樣看起來像本機問題的 reason(TLS、CA 檔、connect: Network is unreachable),問題多半在檢查端主機,而不是 backend。
  3. 如果 daemon 那一行顯示 stale 或 stopped,壞的不是 backend,而是 daemon。在它恢復執行之前,每個 closed 的服務都會失敗。重新啟動它並查看 log。
  4. 檢查 check 本身:從這台主機用 curl 或 nc,以相同的路徑、port 與選項連到 backend 試試。

backend 反覆變化(flapping)

emfor status 中的 FLAPPING 或 EmforBackendFlapping 告警,表示在 healthy 與 unhealthy 之間頻繁變化。常見原因:timeout 太接近 backend 平常的回應時間,或 backend 過載。調高 timeout(最多到 interval)、調高 fall 與 rise,或檢查 backend。emfor status --history --service <name> 會顯示何時、為何變化。

檢查結果是 error

error 不改變 backend 的狀態,但 backend 只收到 error 達 fall × interval 時會回到 unknown。常見的 reason:

reason 開頭原因
plugin <name> unavailable、plugin exitedplugin 當掉、不再回應,或正在重新啟動;從 log 看它的結束狀態或 stopped answering。
plugin <name> busy: it is not reading its requestsplugin 不再讀 stdin,已有 1024 個請求在等它。連續 3 個請求沒有回應時它會被重新啟動;若持續出現,表示 plugin 卡在讀取請求的迴圈之外。
plugin did not answer within timeoutplugin 太慢,或一次只處理一個檢查。
password_file: 、ca_file:daemon 的使用者無法讀取該檔案。
exit code N(exec,N 不是 1 或 2)script 以預期外的方式失敗。

emfor status --history 裡 reason 為 check task restarted、變成 unknown 的紀錄不是檢查結果:該 backend 的檢查 task 因為 bug 停止後被重新啟動,log 中會有一行 check task of backend ... stopped 的錯誤。請附上那一行回報。原本就是 unknown 的 backend 不會留下歷史紀錄,但在下一次檢查之前,emfor status 會顯示同樣的 reason。

DNS 無法解析

症狀原因處理
dig @127.0.0.1 -p 5300 沒有回應沒有 [dns] table,或 listen 位址不同。看 emfor status(daemon 那一行會顯示 dns ...)。
REFUSED名稱在 zone 之外,或查詢的 class 不是 IN(dig ... CH)。把服務命名在 zone 之下,或修改 zone;以 class IN 查詢。
NXDOMAIN沒有這個名稱的服務。檢查名稱。
SERVFAIL沒有健康的 backend 且 on_all_down = "closed";或會驗證的 unbound 沒有設定 domain-insecure。見某個服務 ALL DOWN;修正 unbound 設定。
直接查詢可以,getent hosts 不行主機的 resolver 沒有轉送這個 zone。照第 7 章設定。
故障的 backend 仍被回傳resolver 或應用程式的快取。見快取。

daemon 在執行,store 卻看起來過期

emfor status 顯示 stale,或 client 的行為像是所有 backend 都 down 了,但 daemon 行程還活著:

  • emfor_store_commit_failures_total 持續增加,log 中出現 MDB_MAP_FULL:store 滿了。調高 [store] map_size 並重新啟動。
  • commit 因其他原因失敗:log 會說明。
  • 系統時鐘往前跳:在下一次 commit(約一秒後)之前,heartbeat 看起來會是舊的。
  • 有本機使用者持有 store 的寫入鎖(lock 檔可被寫入);見誰能使用 store。

lock 檔屬於其他使用者

如果 lock 檔 <store>-lock 在應用程式執行期間被刪除,第一個開啟 store 的行程會以自己的身分重建它,而以另一個使用者執行的 daemon 可能就無法開啟 store。先停止應用程式,或修正該檔案的擁有者與權限(chown emfor、chmod 成 lock_file_mode),再啟動 daemon。絕不要單獨刪除 lock 檔。

reload 沒有生效

reload 是全有或全無。在 log 中找 reload rejected 與錯誤訊息,或執行 emfor check-config。[store]、[dns] listen、[metrics] listen 與 [peers] listen 的變更一定要重新啟動。

重新啟動後成員互相丟棄訊息

daemon 剛重新啟動後,emfor_peer_messages_rejected_total{reason="auth"} 上升,emfor_peer_up 有一段時間變成 0:表示當時正在更換密鑰,而重新啟動的 daemon 只知道新密鑰。等每個成員的 secret_file 都換成新密鑰後就會停止。設定 [peers] previous_secret_file 可以避免(見 [peers])。其他原因見聯防群組。

使用 Hugo 建立
主題 Stack 由 Jimmy 設計