8. 高可用叢集

情境: 認證不能停。三台 rradius 組成叢集,資料自動複寫到每一台;任一台停機(故障、升級、重開機)時,另外兩台照常服務,NAS 自動改問活著的節點。

範例目錄:rradius-server/examples/scenarios/ha-cluster/

檔案內容
node1.toml、node2.toml、node3.toml三個節點的設定,只差 node_id、listen 和 [metrics] bind
raft.secret、api.secret叢集內部的密碼,三台相同
nas.secretNAS 的共用密碼,三台相同
migrations/1_schema.sql資料表,和快速開始相同,沒有示範帳號

計費腳本沿用快速開始的 ../quick-start/accounting.lua,所以這一章只講叢集本身。帳號要自己加,見下面的步驟。

架構

             NAS(主:node1,備:node2、node3)
              │ RADIUS 1812/1813
   ┌──────────┼───────────────┐
 node1      node2           node3       每台都有完整的資料
 10.99.0.1  10.99.0.2       10.99.0.3   (WireGuard 位址)
   └──── raft 8100 / api 8200 ────┘     節點之間只走 WireGuard
  • 寫入(sql_execute、migration)經過 Raft, 要多數節點(3 台中的 2 台)同意才成功,所以每台寫入的結果都相同。
  • 讀取(sql_query、sql 處理器)讀本機副本, 很快,但可能比剛寫入的資料慢一點。
  • 三台是最小的高可用: 停一台還有多數;兩台時停一台就沒有多數。五台可以同時停兩台。
狀況認證計費
三台都在正常正常
停一台正常(NAS 改問其他台)。停的剛好是 leader 時,選出新 leader 前的幾秒,要寫入的登入不回應、計費寫入逾時正常;停的是 leader 時,那幾秒的計費進暫存(可能重複一次,見下方)
停兩台,剩一台只讀資料的認證(sql、ldap)讀本機副本,照常回應;要寫入的(驗證碼、IP 配發、SIM 卡)不回應,讓 NAS 重送或改問別台。設了 stop_without_leader_ms 時,超過那段時間連只讀的認證和 Status-Server 都不回應寫不進去,有計費暫存時先寫在本機並回覆,叢集恢復後重放
  • 資料庫不能用時不回應,而不是拒絕。 登入因為叢集資料庫逾時或找不到 leader 而無法決定時,RADIUS 不回覆、TACACS+ 回 ERROR,這樣 NAS 和設備會改問其他節點,使用者也不會看到「密碼錯」。計入 rradius_radius_discarded_total{reason="database"}。確定是帳號不存在、密碼錯,而且腳本的資料庫呼叫都成功,才回拒絕;腳本有一次資料庫呼叫失敗後才拒絕的,也算不能決定。腳本在資料庫失敗後回 ignore 時,照常交給下一個處理器。進行中的 EAP 對話會留著,NAS 重送時接著做。
  • stop_without_leader_ms([cluster],預設不設): 節點超過這段時間沒有 leader,就連只讀的登入和 Status-Server 都不回應(TACACS+ 回 ERROR),計入 reason="no_leader",讓 NAS 和負載平衡器把它當成故障、改問被隔開的另一側。代價是叢集只剩這一台時,它也不服務。計費照常。改了要重啟。
  • 斷線很久的節點回來後可能要重啟一次。 它不在的期間寫入超過 10 萬筆(snapshot_every)時,回來後 hiqlite 讀不到自己的日誌,rradius 會記錄 exiting so that a restart recovers it 並以狀態碼 1 結束;重新啟動後它會追上叢集。所以每個節點都要設自動重啟(systemd Restart=on-failure、Docker restart: unless-stopped)。
  • 剩一台時不要重啟它。 正在跑的那台會繼續服務只讀的登入,但重新啟動後要等到有 leader 才起得來(這是 hiqlite 的行為),有 migrations_dir 時等 migrations_wait_ms 後以狀態碼 1 結束。先救回其他節點。
  • 被隔開的節點讀的是舊資料。 它和多數節點斷開時,在另一側停用的帳號、刪掉的 NAS、撤掉的金鑰,在它這裡都還有效,SIGHUP 也沒用,直到網路恢復。不能接受的話設 stop_without_leader_ms。
  • 交給叢集的寫入會等結果。 資料庫很慢(例如 leader 在做快照)或換 leader 時,腳本已經交給叢集的寫入不會中途放棄,會等到叢集回覆(最多 30 秒),所以這筆寫入不會「回報失敗、其實寫進去了」。但計費仍可能記兩次:30 秒內都沒有結果時,計費不回覆、由 NAS 重送;等得比時限久時,同一個請求之後的資料庫呼叫會立刻逾時,這筆進暫存、重放時再跑一次;帶 RETURNING 的語句照舊以時限為準。所以計費腳本仍要能重複執行(例如用 INSERT OR IGNORE、以 Acct-Session-Id 為主鍵)。

步驟

1. 每台主機的準備

  1. 建 WireGuard 網路 10.99.0.0/24,三台互為 peer,並用防火牆讓 8100、8200 只收 wg0 的連線。完整步驟在 usage 2.2 節。

  2. 把 examples/scenarios/ 的 quick-start/ 和 ha-cluster/ 複製到每台(例如 /etc/rradius/),保持相對位置,node*.toml 才找得到 ../quick-start/accounting.lua。

  3. 加上自己的帳號: 設定 [accounts] 後用 rradius-server user add 新增,在任何一台節點上執行都會寫到整個叢集;或在 ha-cluster/migrations/ 新增 2_users.sql,格式見第 2 章和第 19 章。不要把快速開始的 2_demo_users.sql 複製過來,裡面的示範帳號用公開的密碼。

  4. 每台的 raft.secret、api.secret、nas.secret 和 migrations/ 要相同。 先產生新的密碼再複製過去:

    (umask 077; openssl rand -base64 32 > raft.secret; openssl rand -base64 32 > api.secret)
    

2. 啟動

三台各自啟動自己的設定,順序不拘:

rradius-server --config /etc/rradius/ha-cluster/node1.toml   # 在 node1
rradius-server --config /etc/rradius/ha-cluster/node2.toml   # 在 node2
rradius-server --config /etc/rradius/ha-cluster/node3.toml   # 在 node3
  • 第一次啟動時,每台都等叢集組成(多數節點上線),再套用 migration,最多等 migrations_wait_ms(範例 120 秒)。一台先起來、其他的還沒起來時,它會等待,不是故障。
  • 看到 RADIUS Server listening 就能服務。
  • NAS 的設定: 三台都設成 RADIUS 伺服器,主備或輪流都可以,共用密碼相同。EAP 的一次登入要在同一台完成(第 3 章),所以用 EAP 時選主備,或讓負載平衡器依來源固定節點。

3. 確認

RADIUS 走節點的實體位址,不是 WireGuard 位址;請求也要從 client 名單內的主機送出(範例是 10.80.0.0/16),否則不會有回應。從那個網段的一台主機,用上面第 3 項加的帳號:

# 每台都能登入(192.0.2.11 到 .13 換成三台的實體位址)
for ip in 192.0.2.11 192.0.2.12 192.0.2.13; do radtest <帳號> <密碼> $ip 0 "$(cat nas.secret)"; done

# 每台的指標,在節點上或從 WireGuard 網路內
curl -s http://10.99.0.1:9812/metrics | grep rradius_

管理用的主機不在 client 網段時,暫時加一個只有它位址的 [[radius.clients]](SIGHUP 套用),測完再移除。

在 node1 送 Start、在 node3 送 Stop,accounting 表裡是同一列:寫入經過叢集,哪一台收到都一樣。

設定說明

[cluster]
node_id = 1
listen = "10.99.0.1"
migrations_dir = "migrations"
migrations_wait_ms = 120000

[[cluster.nodes]]
id = 1
raft = "10.99.0.1:8100"
api = "10.99.0.1:8200"
# ...id 2、3 相同
  • 每台都列出全部三個節點(包含自己), node_id 指出自己是哪一個,一定要有編號 1。
  • listen 寫明 WireGuard 位址。 有 [[cluster.nodes]] 時預設是 0.0.0.0,會在所有介面上開 raft 和 api,而這兩個埠的連線沒有加密。
  • [lua] query_timeout_ms = 2000: 失去多數節點時,寫入要等這麼久才失敗、計費才寫進暫存。預設 5 秒比很多 NAS 的重送間隔長,重送會被當成處理中而丟棄。
  • [radius.accounting_spool]: 各節點只重放自己的暫存檔,所以放在持久的磁碟。rradius_acct_spool_bytes 大於 0 代表有還沒寫進資料庫的計費,可以用來告警。
  • [log] format = "json": 三台的記錄送到同一個收集系統時比較好處理。

哪些東西是每個節點自己的

資料表會自動複寫,但下面這些不會。規劃多節點時逐項確認:

東西每個節點要注意
設定檔、腳本、字典、migrations/各自一份內容要相同。改了之後每台都要更新,並各自送 SIGHUP 或重啟
raft.secret、api.secret、NAS 的共用密碼檔各自一份內容要相同
金鑰檔:aka.key(第 13 章)、dpsk.key(第 12 章)、ticket.seal(第 15 章)各自一份內容要相同,而且不在資料庫裡,要自己複製到每一台、另外備份
憑證、私鑰、撤銷清單各自一份更新時每台都要換並送 SIGHUP
計費暫存只重放自己的檔案放在持久的磁碟;節點壞掉時,它還沒重放的就遺失了
進行中的 EAP 對話只在收到它的節點同一次登入要留在同一個節點
恢復用的 TLS session預設只在發出它的節點設 shared_tickets = true 後 EAP-TLS 可以跨節點恢復(第 15 章)
記住的結果:動態 client(第 14 章)、每人一把密碼對上的金鑰(第 12 章)、DNS 找到的上游(第 11 章)各自記改了資料表要立刻生效時,每台都要送 SIGHUP。被隔開的節點讀的是舊副本,SIGHUP 也沒用
叢集狀態各自看/metrics 的 rradius_cluster_leader、rradius_cluster_is_leader、rradius_cluster_applied_index、rradius_cluster_seconds_without_leader
RadSec 連線連到哪台就在哪台在 NAS 自己的連線上送 CoA,只有握著連線的那台做得到(第 10 章)
EAP-AKA’ 的頻率限制(只在 next_sqn_query 時)預設各算各的設 shared_budget = true 後整個叢集共用;用 current_sqn_query、proven_sqn_query 時沒有這個上限(第 13 章)
上游的停擺狀態各自判定
指標、[log.trace] 的計時各自的叢集的總和由監控系統加總;追蹤要對有關的每一台都設

調整

  • read_connections: 讀本機資料庫的連線數,預設是 CPU 數的兩倍(最多 32)。登入大多是讀取,連線不夠時要排隊。記憶體很緊時可以調低,每條連線有自己的快取。
  • snapshot_every: 每累積這麼多筆寫入,節點就做一次快照,預設 100000。調低的話,異常結束(斷電、SIGKILL)後重新啟動比較快,但寫入多時快照太頻繁會拖慢服務。
  • 多節點不會提高寫入的上限。 每筆寫入都要經過同一個 leader、等多數節點確認。登入(讀取)則是每個節點各自處理,節點越多越快。分開的主機之間,每筆寫入還要多等節點之間的往返。

這三項的量測和說明見 usage 2.2 節。改了都要重新啟動。

日常操作

升級或重開機

一次一台:停掉一台 → 升級 → 啟動 → 確認它回到叢集 → 再做下一台。每次只停一台,叢集一直保有多數。

  • 確認回到叢集: 記錄有 cluster node N has caught up with the cluster,/metrics 的 rradius_cluster_leader 是 1。節點啟動時會等有 leader、再等本機副本追上叢集已經寫入的資料,才開始回應,所以停機期間新增的帳號在它第一次回應時就看得到。等待的上限是 migrations_wait_ms;沒設 migrations_dir 又等不到時,它記一行警告後照常服務(可能用到舊資料)。

  • 最後才停 leader。 rradius_cluster_is_leader 是 1 的那台最後做:停掉 leader 時要重新選舉,那幾秒的寫入會逾時。

  • 用 SIGTERM 或 Ctrl+C 停止, 會乾淨關閉資料庫,多節點時要約 10 秒(hiqlite 先等 9.5 秒),所以 docker stop 要用 -t 30 或設 stop_grace_period: 30s。SIGKILL(kill -9、容器被強制停止)不會,下次啟動時本機資料庫會從其他節點重建,比較慢。

加新的 migration

  1. 把新檔案(例如 3_add_column.sql)放到每一台。
  2. 逐台重啟。第一台重啟時套用到整個叢集,其他台重啟時看到已經套用。
  3. 不要讓目錄內容不同的節點同時啟動,見 usage 2.5 節。

換掉壞掉的節點

新主機用同一個 node_id、同樣的位址和設定,空的 data/ 啟動,從其他節點取得資料。這個流程沒有實測過, 請先在測試環境演練一次。目前不支援在執行中增減節點數量。

常見問題

現象原因
啟動後一直沒有 listening,最後以狀態碼 1 結束等不到多數節點:其他節點沒啟動、WireGuard 不通、防火牆擋住、raft.secret 不同
某台的登入結果和其他台不同那台的副本落後(看 rradius_cluster_applied_index 和其他台比),或被隔開了(rradius_cluster_leader 是 0),或 migrations/ 不同;看那台的記錄
停一台之後計費變慢停的不是 leader 時不應該。停的是 leader 時,選舉的幾秒內寫入會逾時並進暫存。停兩台時,沒有 leader 超過 5 秒後寫入立刻失敗並進暫存
有些登入沒有回應,reason="database" 在增加那台連不到叢集資料庫(沒有 leader、被隔開)或資料庫太慢。看 rradius_cluster_leader 和記錄
某一台完全不回應,reason="no_leader" 在增加設了 stop_without_leader_ms,那台沒有 leader 太久。恢復它和其他節點之間的網路
Wi-Fi 登入偶爾失敗,記錄提到 StateEAP 對話的後半段到了另一個節點。NAS 改成主備,或負載平衡器依來源固定節點
某一台的 SIM 卡或每人一把密碼的登入全部失敗那台的金鑰檔(aka.key、dpsk.key)和其他台不同
改了資料表,有的節點馬上生效、有的沒有各節點各自記住查過的結果。對每一台送 SIGHUP
使用 Hugo 建立
主題 Stack 由 Jimmy 設計