情境: 認證不能停。三台 rradius 組成叢集,資料自動複寫到每一台;任一台停機(故障、升級、重開機)時,另外兩台照常服務,NAS 自動改問活著的節點。
範例目錄:rradius-server/examples/scenarios/ha-cluster/
| 檔案 | 內容 |
|---|---|
node1.toml、node2.toml、node3.toml | 三個節點的設定,只差 node_id、listen 和 [metrics] bind |
raft.secret、api.secret | 叢集內部的密碼,三台相同 |
nas.secret | NAS 的共用密碼,三台相同 |
migrations/1_schema.sql | 資料表,和快速開始相同,沒有示範帳號 |
計費腳本沿用快速開始的 ../quick-start/accounting.lua,所以這一章只講叢集本身。帳號要自己加,見下面的步驟。
架構
NAS(主:node1,備:node2、node3)
│ RADIUS 1812/1813
┌──────────┼───────────────┐
node1 node2 node3 每台都有完整的資料
10.99.0.1 10.99.0.2 10.99.0.3 (WireGuard 位址)
└──── raft 8100 / api 8200 ────┘ 節點之間只走 WireGuard
- 寫入(
sql_execute、migration)經過 Raft, 要多數節點(3 台中的 2 台)同意才成功,所以每台寫入的結果都相同。 - 讀取(
sql_query、sql處理器)讀本機副本, 很快,但可能比剛寫入的資料慢一點。 - 三台是最小的高可用: 停一台還有多數;兩台時停一台就沒有多數。五台可以同時停兩台。
| 狀況 | 認證 | 計費 |
|---|---|---|
| 三台都在 | 正常 | 正常 |
| 停一台 | 正常(NAS 改問其他台)。停的剛好是 leader 時,選出新 leader 前的幾秒,要寫入的登入不回應、計費寫入逾時 | 正常;停的是 leader 時,那幾秒的計費進暫存(可能重複一次,見下方) |
| 停兩台,剩一台 | 只讀資料的認證(sql、ldap)讀本機副本,照常回應;要寫入的(驗證碼、IP 配發、SIM 卡)不回應,讓 NAS 重送或改問別台。設了 stop_without_leader_ms 時,超過那段時間連只讀的認證和 Status-Server 都不回應 | 寫不進去,有計費暫存時先寫在本機並回覆,叢集恢復後重放 |
- 資料庫不能用時不回應,而不是拒絕。 登入因為叢集資料庫逾時或找不到 leader 而無法決定時,RADIUS 不回覆、TACACS+ 回 ERROR,這樣 NAS 和設備會改問其他節點,使用者也不會看到「密碼錯」。計入
rradius_radius_discarded_total{reason="database"}。確定是帳號不存在、密碼錯,而且腳本的資料庫呼叫都成功,才回拒絕;腳本有一次資料庫呼叫失敗後才拒絕的,也算不能決定。腳本在資料庫失敗後回ignore時,照常交給下一個處理器。進行中的 EAP 對話會留著,NAS 重送時接著做。 stop_without_leader_ms([cluster],預設不設): 節點超過這段時間沒有 leader,就連只讀的登入和 Status-Server 都不回應(TACACS+ 回 ERROR),計入reason="no_leader",讓 NAS 和負載平衡器把它當成故障、改問被隔開的另一側。代價是叢集只剩這一台時,它也不服務。計費照常。改了要重啟。- 斷線很久的節點回來後可能要重啟一次。 它不在的期間寫入超過 10 萬筆(
snapshot_every)時,回來後 hiqlite 讀不到自己的日誌,rradius 會記錄exiting so that a restart recovers it並以狀態碼 1 結束;重新啟動後它會追上叢集。所以每個節點都要設自動重啟(systemdRestart=on-failure、Dockerrestart: unless-stopped)。 - 剩一台時不要重啟它。 正在跑的那台會繼續服務只讀的登入,但重新啟動後要等到有 leader 才起得來(這是 hiqlite 的行為),有
migrations_dir時等migrations_wait_ms後以狀態碼 1 結束。先救回其他節點。 - 被隔開的節點讀的是舊資料。 它和多數節點斷開時,在另一側停用的帳號、刪掉的 NAS、撤掉的金鑰,在它這裡都還有效,SIGHUP 也沒用,直到網路恢復。不能接受的話設
stop_without_leader_ms。 - 交給叢集的寫入會等結果。 資料庫很慢(例如 leader 在做快照)或換 leader 時,腳本已經交給叢集的寫入不會中途放棄,會等到叢集回覆(最多 30 秒),所以這筆寫入不會「回報失敗、其實寫進去了」。但計費仍可能記兩次:30 秒內都沒有結果時,計費不回覆、由 NAS 重送;等得比時限久時,同一個請求之後的資料庫呼叫會立刻逾時,這筆進暫存、重放時再跑一次;帶
RETURNING的語句照舊以時限為準。所以計費腳本仍要能重複執行(例如用INSERT OR IGNORE、以Acct-Session-Id為主鍵)。
步驟
1. 每台主機的準備
建 WireGuard 網路
10.99.0.0/24,三台互為 peer,並用防火牆讓 8100、8200 只收wg0的連線。完整步驟在 usage 2.2 節。把
examples/scenarios/的quick-start/和ha-cluster/複製到每台(例如/etc/rradius/),保持相對位置,node*.toml才找得到../quick-start/accounting.lua。加上自己的帳號: 設定
[accounts]後用rradius-server user add新增,在任何一台節點上執行都會寫到整個叢集;或在ha-cluster/migrations/新增2_users.sql,格式見第 2 章和第 19 章。不要把快速開始的2_demo_users.sql複製過來,裡面的示範帳號用公開的密碼。每台的
raft.secret、api.secret、nas.secret和migrations/要相同。 先產生新的密碼再複製過去:(umask 077; openssl rand -base64 32 > raft.secret; openssl rand -base64 32 > api.secret)
2. 啟動
三台各自啟動自己的設定,順序不拘:
rradius-server --config /etc/rradius/ha-cluster/node1.toml # 在 node1
rradius-server --config /etc/rradius/ha-cluster/node2.toml # 在 node2
rradius-server --config /etc/rradius/ha-cluster/node3.toml # 在 node3
- 第一次啟動時,每台都等叢集組成(多數節點上線),再套用 migration,最多等
migrations_wait_ms(範例 120 秒)。一台先起來、其他的還沒起來時,它會等待,不是故障。 - 看到
RADIUS Server listening就能服務。 - NAS 的設定: 三台都設成 RADIUS 伺服器,主備或輪流都可以,共用密碼相同。EAP 的一次登入要在同一台完成(第 3 章),所以用 EAP 時選主備,或讓負載平衡器依來源固定節點。
3. 確認
RADIUS 走節點的實體位址,不是 WireGuard 位址;請求也要從 client 名單內的主機送出(範例是 10.80.0.0/16),否則不會有回應。從那個網段的一台主機,用上面第 3 項加的帳號:
# 每台都能登入(192.0.2.11 到 .13 換成三台的實體位址)
for ip in 192.0.2.11 192.0.2.12 192.0.2.13; do radtest <帳號> <密碼> $ip 0 "$(cat nas.secret)"; done
# 每台的指標,在節點上或從 WireGuard 網路內
curl -s http://10.99.0.1:9812/metrics | grep rradius_
管理用的主機不在 client 網段時,暫時加一個只有它位址的 [[radius.clients]](SIGHUP 套用),測完再移除。
在 node1 送 Start、在 node3 送 Stop,accounting 表裡是同一列:寫入經過叢集,哪一台收到都一樣。
設定說明
[cluster]
node_id = 1
listen = "10.99.0.1"
migrations_dir = "migrations"
migrations_wait_ms = 120000
[[cluster.nodes]]
id = 1
raft = "10.99.0.1:8100"
api = "10.99.0.1:8200"
# ...id 2、3 相同
- 每台都列出全部三個節點(包含自己),
node_id指出自己是哪一個,一定要有編號 1。 listen寫明 WireGuard 位址。 有[[cluster.nodes]]時預設是0.0.0.0,會在所有介面上開 raft 和 api,而這兩個埠的連線沒有加密。[lua] query_timeout_ms = 2000: 失去多數節點時,寫入要等這麼久才失敗、計費才寫進暫存。預設 5 秒比很多 NAS 的重送間隔長,重送會被當成處理中而丟棄。[radius.accounting_spool]: 各節點只重放自己的暫存檔,所以放在持久的磁碟。rradius_acct_spool_bytes大於 0 代表有還沒寫進資料庫的計費,可以用來告警。[log] format = "json": 三台的記錄送到同一個收集系統時比較好處理。
哪些東西是每個節點自己的
資料表會自動複寫,但下面這些不會。規劃多節點時逐項確認:
| 東西 | 每個節點 | 要注意 |
|---|---|---|
設定檔、腳本、字典、migrations/ | 各自一份 | 內容要相同。改了之後每台都要更新,並各自送 SIGHUP 或重啟 |
raft.secret、api.secret、NAS 的共用密碼檔 | 各自一份 | 內容要相同 |
金鑰檔:aka.key(第 13 章)、dpsk.key(第 12 章)、ticket.seal(第 15 章) | 各自一份 | 內容要相同,而且不在資料庫裡,要自己複製到每一台、另外備份 |
| 憑證、私鑰、撤銷清單 | 各自一份 | 更新時每台都要換並送 SIGHUP |
| 計費暫存 | 只重放自己的檔案 | 放在持久的磁碟;節點壞掉時,它還沒重放的就遺失了 |
| 進行中的 EAP 對話 | 只在收到它的節點 | 同一次登入要留在同一個節點 |
| 恢復用的 TLS session | 預設只在發出它的節點 | 設 shared_tickets = true 後 EAP-TLS 可以跨節點恢復(第 15 章) |
| 記住的結果:動態 client(第 14 章)、每人一把密碼對上的金鑰(第 12 章)、DNS 找到的上游(第 11 章) | 各自記 | 改了資料表要立刻生效時,每台都要送 SIGHUP。被隔開的節點讀的是舊副本,SIGHUP 也沒用 |
| 叢集狀態 | 各自看 | /metrics 的 rradius_cluster_leader、rradius_cluster_is_leader、rradius_cluster_applied_index、rradius_cluster_seconds_without_leader |
| RadSec 連線 | 連到哪台就在哪台 | 在 NAS 自己的連線上送 CoA,只有握著連線的那台做得到(第 10 章) |
EAP-AKA’ 的頻率限制(只在 next_sqn_query 時) | 預設各算各的 | 設 shared_budget = true 後整個叢集共用;用 current_sqn_query、proven_sqn_query 時沒有這個上限(第 13 章) |
| 上游的停擺狀態 | 各自判定 | |
指標、[log.trace] 的計時 | 各自的 | 叢集的總和由監控系統加總;追蹤要對有關的每一台都設 |
調整
read_connections: 讀本機資料庫的連線數,預設是 CPU 數的兩倍(最多 32)。登入大多是讀取,連線不夠時要排隊。記憶體很緊時可以調低,每條連線有自己的快取。snapshot_every: 每累積這麼多筆寫入,節點就做一次快照,預設 100000。調低的話,異常結束(斷電、SIGKILL)後重新啟動比較快,但寫入多時快照太頻繁會拖慢服務。- 多節點不會提高寫入的上限。 每筆寫入都要經過同一個 leader、等多數節點確認。登入(讀取)則是每個節點各自處理,節點越多越快。分開的主機之間,每筆寫入還要多等節點之間的往返。
這三項的量測和說明見 usage 2.2 節。改了都要重新啟動。
日常操作
升級或重開機
一次一台:停掉一台 → 升級 → 啟動 → 確認它回到叢集 → 再做下一台。每次只停一台,叢集一直保有多數。
確認回到叢集: 記錄有
cluster node N has caught up with the cluster,/metrics的rradius_cluster_leader是 1。節點啟動時會等有 leader、再等本機副本追上叢集已經寫入的資料,才開始回應,所以停機期間新增的帳號在它第一次回應時就看得到。等待的上限是migrations_wait_ms;沒設migrations_dir又等不到時,它記一行警告後照常服務(可能用到舊資料)。最後才停 leader。
rradius_cluster_is_leader是 1 的那台最後做:停掉 leader 時要重新選舉,那幾秒的寫入會逾時。用 SIGTERM 或 Ctrl+C 停止, 會乾淨關閉資料庫,多節點時要約 10 秒(hiqlite 先等 9.5 秒),所以
docker stop要用-t 30或設stop_grace_period: 30s。SIGKILL(kill -9、容器被強制停止)不會,下次啟動時本機資料庫會從其他節點重建,比較慢。
加新的 migration
- 把新檔案(例如
3_add_column.sql)放到每一台。 - 逐台重啟。第一台重啟時套用到整個叢集,其他台重啟時看到已經套用。
- 不要讓目錄內容不同的節點同時啟動,見 usage 2.5 節。
換掉壞掉的節點
新主機用同一個 node_id、同樣的位址和設定,空的 data/ 啟動,從其他節點取得資料。這個流程沒有實測過, 請先在測試環境演練一次。目前不支援在執行中增減節點數量。
常見問題
| 現象 | 原因 |
|---|---|
啟動後一直沒有 listening,最後以狀態碼 1 結束 | 等不到多數節點:其他節點沒啟動、WireGuard 不通、防火牆擋住、raft.secret 不同 |
| 某台的登入結果和其他台不同 | 那台的副本落後(看 rradius_cluster_applied_index 和其他台比),或被隔開了(rradius_cluster_leader 是 0),或 migrations/ 不同;看那台的記錄 |
| 停一台之後計費變慢 | 停的不是 leader 時不應該。停的是 leader 時,選舉的幾秒內寫入會逾時並進暫存。停兩台時,沒有 leader 超過 5 秒後寫入立刻失敗並進暫存 |
有些登入沒有回應,reason="database" 在增加 | 那台連不到叢集資料庫(沒有 leader、被隔開)或資料庫太慢。看 rradius_cluster_leader 和記錄 |
某一台完全不回應,reason="no_leader" 在增加 | 設了 stop_without_leader_ms,那台沒有 leader 太久。恢復它和其他節點之間的網路 |
Wi-Fi 登入偶爾失敗,記錄提到 State | EAP 對話的後半段到了另一個節點。NAS 改成主備,或負載平衡器依來源固定節點 |
| 某一台的 SIM 卡或每人一把密碼的登入全部失敗 | 那台的金鑰檔(aka.key、dpsk.key)和其他台不同 |
| 改了資料表,有的節點馬上生效、有的沒有 | 各節點各自記住查過的結果。對每一台送 SIGHUP |