本章接續第 7 章:怎麼設定 nginx、HAProxy、Caddy、Prometheus 與 pf,讓它們從 emfor 的 DNS 回答取得 server,以及自己會查 SRV 記錄的 client 會怎麼做。每一節都說明試過什麼、沒試過什麼。
搭配 nginx 使用
開源版的 nginx 沒有主動健康檢查(只有 max_fails),upstream 清單在 reload 之前也是固定的。nginx 1.27.3 或更新的版本可以改從 emfor 的 SRV 回答取得清單(resolve 與 service= 在那個版本之前只有商業版有),所以檢查失敗的 backend、你 drain 的 backend、你改的權重,都會在幾秒內傳到 nginx(先是 emfor 自己的檢查間隔,再加上 valid 的一秒),不需要 reload:
resolver 127.0.0.1:5300 valid=1s ipv6=off; # emfor 的 DNS server,每秒問一次
resolver_timeout 1s; # 查詢失敗後多久再問一次
upstream api {
zone api 64k; # 用 `resolve` 就一定要有
server api.svc.emfor service=http resolve; # 查 _http._tcp.api.svc.emfor
}
server {
listen 80;
location / { proxy_pass http://api; }
}
resolver 直接指向 emfor([dns] listen,預設 5300 port),不是主機的 resolver:nginx 有自己的 resolver 快取,valid=1s 讓它每秒重新問一次。resolver_timeout 1s 在查詢失敗之後才有作用,例如 emfor 回答 SERVFAIL 時:nginx 要等這麼久才會再問,預設是 30 秒(見下)。service=http 只是名稱的前綴(_http._tcp);emfor 會回答 _<任意>._tcp.<服務名稱>(SRV 記錄),所以 port 來自每一筆記錄。
nginx 怎麼處理這個回答,以下用 nginx 1.30.6(stable)與 1.31.8(mainline)測過:
- 健康狀態:檢查失敗的 backend 不在回答裡,nginx 就不再送請求給它;它恢復後又回來。測試對每個變化最多等 10 秒;檢查間隔 200 毫秒時大約花 3 秒。
drain = true(第 5 章):改 emfor 的設定並 reload emfor;不用動 nginx,那台 backend 不再收到新的請求。正在 backend 上跑的請求會跑完,nginx 對它開著的連線也維持開著:見用 drain 做滾動部署(tests/deploy)與下面的 stream 測試。- 優先序:nginx 把 priority 數字最小的記錄當 server,其他的當
backup。balance = "failover"時,第一台健康的 backend 是唯一的 server,第二台是它的備援;locality與fastest也給 priority 0 與 1(見上面的 SRV 表),但只有failover對 nginx 跑過。 balance = "weighted"的權重會被遵守:權重 3 與 1 時,80 個請求中有 60 個送到第一台。(nginx 的文件沒有說它會用 SRV 的權重。)- emfor 無法回答時:服務沒有 backend 可以給(
on_all_down = "closed"且全部不健康,或每個 backend 都 drain),emfor 回SERVFAIL;nginx 會記錄could not be resolved,並沿用它最後一次拿到的清單,繼續送請求給那些 backend。停掉的 emfor 根本不會回任何答案,nginx 的查詢是逾時而不是收到SERVFAIL;這個情況沒有試過(測試只 drain 過所有 backend),nginx 對逾時的處理可能和對SERVFAIL的不同。對 nginx 的用戶端來說,要靠 nginx 自己的proxy_next_upstream與max_fails才會失敗。emfor 再度回答時,nginx 要等resolver_timeout之後才會跟上,預設是 30 秒:測試中用預設值,emfor 再度回答 5 秒後 nginx 仍是舊清單,大約 26 秒後才跟上;設成resolver_timeout 1s則大約一秒就跟上(設 5 秒約 2 秒,設 10 秒約 7 秒)。在這個狀態下你做的改動,例如 drain,也同樣要等那麼久才會到 nginx。所以食譜設resolver_timeout 1s。 - HTTPS upstream:記錄的目標是像
10-0-0-11.api.svc.emfor的名稱。要把proxy_ssl_name(並設proxy_ssl_server_name on)設成 backend 憑證上的名稱。這一項沒有試過。
TCP,用 stream 模組。 同樣的 upstream 在 stream 區塊裡也能用,適合資料庫或其他任何 TCP 服務:
stream {
resolver 127.0.0.1:5300 valid=1s ipv6=off;
resolver_timeout 1s;
upstream db {
zone db 64k;
server db.svc.emfor service=pgsql resolve;
}
server {
listen 5432;
proxy_pass db;
}
}
tests/nginx/stream.sh 用兩台回答 HTTP 的 backend(TCP proxy 會原樣轉送)檢查過(用的是 api.svc.emfor 與 service=http,不是上面的名稱),nginx 1.30.6 與 1.31.8。health、drain、failover(第二台是備援)與權重的行為和 http 相同,SERVFAIL 也相同,包含之後的 resolver_timeout。TCP 特有的是:
- 已經開著的連線不受影響。 backend 被 drain 時,一個 6 秒才傳完的回應,在連到它的連線上仍然完整收到(1200 個位元組收到 1200 個),新的連線則去了另一台。backend 如果是被停掉,同一條連線就被切斷(1200 個位元組只收到 160 個)。所以 drain 之後,連到那台 backend 的長連線要等用戶端或 backend 自己關閉,沒有東西會把它們移走。
- 連到 emfor 仍然列出、但已經停掉的 backend 的新連線,會改試下一台:
proxy_next_upstream在stream裡預設是開的,backend 停掉期間建立的 25 條連線,失敗了 0 條。
沒試過:UDP(listen ... udp)、ssl_preread、proxy_protocol、proxy_timeout(閒置的連線在預設的十分鐘後被關閉,這是 nginx 文件說的)、nginx Plus。
較舊的 nginx。 1.27.3 之前,service= 參數在 nginx -t 就被拒絕(invalid parameter "service=http",用 1.26.3 看到的)。沒有它時,在 proxy_pass 用變數,讓 nginx 在執行時解析名稱,並讓服務的每個 backend 用同一個 port:
resolver 127.0.0.1:5300 valid=1s ipv6=off;
server {
listen 80;
location / {
set $backend api.svc.emfor;
proxy_pass http://$backend:8080;
}
}
A 回答只有一個 backend,由 balance 選出,所以 nginx 一秒內的所有請求都送給那一台(它把回答保留 valid 的時間);輪替發生在秒與秒之間,不是請求與請求之間。測試中兩台 backend 都有被用到,平均程度沒有量。
tests/nginx/ 在指定的 nginx 映像上執行這些檢查(tests/nginx/run.sh nginx:stable),包含較舊的 nginx 的情況。Integrations workflow 每週執行一次,emfor 的 DNS 或候選的程式有改動時也會執行。
在 FreeBSD 15.1(arm64,套件裡的 nginx 1.30.6)上,同樣的檢查全部通過,包含較舊的 nginx 的情況,食譜不需要改。nginx 套件讀的是 /usr/local/etc/nginx/nginx.conf,不是 /etc/nginx。Docker 版的測試本身不在那裡執行;腳本(tests/nginx/inside.sh)是手動跑的,需要 Linux 容器本來就有的三樣東西:dig(用 drill 包一層就行)、loopback 上的位址 127.0.0.2(ifconfig lo0 alias 127.0.0.2/32;FreeBSD 的 loopback 只有 127.0.0.1,較舊 nginx 那項檢查會把一個 backend 綁在 127.0.0.2),以及讓 nginx 讀 /etc/nginx/nginx.conf。stream 的檢查(tests/nginx/stream.sh)也在那裡手動跑過、通過,只多一行:FreeBSD 的套件把 stream 建成動態模組,所以 nginx.conf 最前面要有 load_module /usr/local/libexec/nginx/ngx_stream_module.so;(沒有它,nginx -t 會說 unknown directive "stream")。SERVFAIL 之後的延遲在那裡也一樣:用預設 resolver_timeout 約 25 秒,設 resolver_timeout 1s 約一秒。
搭配 HAProxy 使用
HAProxy 可以用 SRV 回答來填一個 backend 的 server:server-template 寫上 SRV 查詢名稱與一個「槽」的數量,HAProxy 把記錄放進槽裡,回答改變時再重新查詢。把 emfor 的 DNS server 當作它的 resolver,檢查失敗的 backend、你 drain 的 backend、你新增的 backend,都會在幾秒內傳到 HAProxy,不需要 reload:
resolvers emfor
nameserver emfor 127.0.0.1:5300
accepted_payload_size 4096
hold valid 1s
resolve_retries 3
timeout resolve 1s
timeout retry 1s
backend api
balance roundrobin
server-template s 1-4 _http._tcp.api.svc.emfor resolvers emfor resolve-opts allow-dup-ip resolve-prefer ipv4 init-addr none
nameserver是 emfor 的 DNS server([dns] listen,預設 5300 port),不是主機的 resolver。accepted_payload_size 4096告訴 emfor,HAProxy 接受比預設 512 bytes 更大的 UDP 回答;emfor 把它限制在 1232 bytes(SRV 記錄:帶位址 19 個 backend、不帶位址 27 個)。HAProxy 搭配超過 27 個 backend 沒有試過,HAProxy 之後是否改用 TCP 重試也沒有試過。hold valid 1s讓 HAProxy 一秒後就採用新的回答;其他的hold維持預設,下面會說明為什麼重要。1-4是槽的數量,也就是 HAProxy 最多能用的 backend 數。backend 比槽多的服務會被截斷(測試:三個 backend 放進四個槽,用到三個)。請設得比服務的 backend 數大。_http._tcp.api.svc.emfor是 SRV 名稱;emfor 會回答_<任意>._tcp.<服務名稱>(SRV 記錄),port 來自每一筆記錄。數個 backend 用同一個位址、不同 port 時要有allow-dup-ip,init-addr none讓 HAProxy 在第一次回答之前就能啟動。- 不需要
check:沒通過 emfor 檢查的 backend 不在回答裡。你可以再加 HAProxy 自己的check當第二意見。
HAProxy 怎麼處理這個回答,用 HAProxy 3.4.7 與 2.8.31 測過:
- 健康狀態與
drain = true(第 5 章)會在幾秒內傳到 HAProxy,和 nginx 一樣:那台 backend 收不到請求,恢復或取消 drain 後又會收到。HAProxy 不用 reload。 - 不使用優先序。
balance = "failover"時,HAProxy 把請求送給兩台 backend(40 個中 20 對 20),不是只送第一台。locality與fastest也用 priority 0 和 1 排序,應該有同樣的表現;這沒有跑過。不要指望 SRV 回答裡的備援;備援請用 HAProxy 自己的backup,或用上面會遵守優先序的 nginx 做法(以failover試過)。 - 不使用權重。
balance = "weighted"、權重 3 與 1 時,80 個請求是 40 對 40;在 template 上加weight 1或ignore-weight也一樣。 - emfor 沒有回答時(停掉或重新啟動):HAProxy 依
hold的時間保留它的 server。用上面的設定,emfor 停掉 4 秒後,所有請求仍然成功。 - emfor 回
SERVFAIL時(沒有 backend 可給,或每個 backend 都 drain):HAProxy 先保留 server 一陣子,然後丟掉,之後每個請求都得到503;測試中在 10 到 30 秒之間就沒了,這是預設的hold other(30 秒)。同樣的情況 nginx 在測試觀察的那幾秒內沿用最後的清單;它會沿用多久沒有試過。
哪一種比較對,取決於 emfor 說沒有 backend 時你希望發生什麼。hold 的值是 HAProxy 的,這裡沒有調校過。
以下三種變化,是 tests/haproxy/more.sh 用 HAProxy 3.4.7 與 2.8.31 看到的:
mode tcp(寫在defaults,或寫在 frontend 與 backend)沒有任何差別:server 來自同樣的回答,檢查失敗或被 drain 的 backend 收不到連線,恢復後又會收到。- 到 backend 的 TLS:在 template 加上
ssl。ssl verify none可以用。要檢查憑證,用ssl verify required ca-file <ca> sni str(<名稱>),它會用<名稱>檢查憑證:名稱對的時候兩台 backend 都有服務,名稱不在憑證裡就什麼都不服務。一定要設sni:SRV 目標的名稱(10-0-0-11.api.svc.emfor)不會出現在憑證裡,而沒有sni時,3.4.7 會拒絕憑證,2.8.31 卻會接受任何由那個 CA 簽發的憑證,不管名稱是什麼。不要依賴verifyhost:錯的verifyhost搭配對的sni,兩個版本都照樣服務;對的verifyhost但沒有sni,2.8.31 服務,3.4.7 拒絕。 - 只設一個
nameserver:只寫一行nameserver,指向和 HAProxy 同一台主機上的 emfor。HAProxy 會把每個查詢送給每一個 nameserver,並採用最先到的那個有效回答,不會把它們合併(測試中,兩台 emfor 回答相同時,停掉其中任何一個 HAProxy 仍然繼續服務,故障的 backend 也照樣離開清單)。兩個回答不同時(只有一台 drain 某個 backend),清單會隨著每次查詢而變:HAProxy 把某個 backend 移除再加回來,常常放進另一個槽位,同樣的設定每次執行服務的結果都可能不同(Linux 上 3.4.7 與 2.8.31 跑了很多次,FreeBSD 上 3.4.4 跑了 6 次)。請求也可能失敗:這種變動之後,有個槽位是 ready 的,位址對、埠卻是 0,送到它的請求大約 3 秒後得到503(每 1.5 秒停掉再啟動一台 backend:兩個 nameserver 時,Linux 3.4.7 上 5 次執行中 5 次出現,只用一個 nameserver 時每次最多一個;但在 FreeBSD 上同樣的測試,只用一個 nameserver 也出現:3.4.4(套件)5 次執行每次 80 個請求中有 29 到 45 個,3.4.7(從 port 編的)有 21 到 28 個,所以不是這兩個版本之間的改變,第二個 nameserver 也不是唯一的原因;為什麼 FreeBSD 會出現而 Linux 容器不會,沒有找到原因)。這些都是手動看到的,不在測試裡,HAProxy 內部確切的原因也沒有找到。要高可用,請在每個 HAProxy 旁邊各跑一個 emfor,而不是給一個 HAProxy 多個 nameserver。硬要設兩個的話,它們的回答必須一致,drain也一樣;option redispatch能掩蓋失敗的請求,但不會修好那個槽位。hold obsolete 30s會保留兩邊回答的聯集來讓結果穩定,代價是 drain 或移除要等那麼久才生效:不建議。
tests/haproxy/ 在指定的 HAProxy 映像上執行這些檢查(tests/haproxy/run.sh haproxy:2.8),包含 HAProxy 不做的那兩件事,所以日後 HAProxy 開始遵守優先序或權重時,測試會失敗,提醒這一節要改。Integrations workflow 每週執行一次,emfor 的 DNS 或候選的程式有改動時也會執行。沒試過:emfor 自己的 TLS 檢查與 HAProxy 並用、到 backend 的 client 憑證、resolvers 有超過兩個 name server、上述兩個以外的版本。
在 FreeBSD 15.1(arm64,套件裡的 HAProxy 3.4.4)上,同樣的檢查全部通過,包含不遵守優先序與權重那兩項,所以這一節在那裡照樣成立。和 nginx 一樣,tests/haproxy/inside.sh 是手動跑的,除了 HAProxy 套件之外不需要別的東西。tests/haproxy/more.sh(mode tcp、到 backend 的 TLS、兩個 name server)也在那裡手動跑過,結果與 3.4.7 相同,包含 sni 的那幾項。FreeBSD 上沒試過:其他版本的 HAProxy。
搭配 Caddy 使用
Caddy 的 reverse_proxy 可以用 dynamic srv 從 SRV 回答取得上游,所以 health 與 drain 幾秒內就會傳到 Caddy,不需要 reload:
:80 {
reverse_proxy {
dynamic srv {
name _http._tcp.api.svc.emfor
refresh 1s
resolvers 127.0.0.1:5300
grace_period 30s
}
transport http {
resolvers 127.0.0.1:5300
}
lb_try_duration 2s
lb_try_interval 100ms
}
}
- 兩個
resolvers:dynamic srv裡的用來查 SRV;回答裡的目標是10-0-0-11.api.svc.emfor這樣的名稱,Caddy 要連線到它們,transport http裡的就是為了這個。少了它,Caddy 會問主機的 resolver,主機的 resolver 不認得這個 zone 時,每個請求都會失敗(測試中 10 個有 10 個失敗,log 是no such host);主機的 resolver 已經轉送這個 zone的話就不需要它。 refresh是 Caddy 多久再問一次;測試用 1 秒。預設值比較長(我讀 Caddy 文件的理解是一分鐘;沒有試過),refresh越長,drain 或故障傳到 Caddy 就越慢。grace_period在查詢失敗時保留上一份清單。service 的 backend 全部被 drain、或在on_all_down = "closed"下全部故障時 emfor 回答SERVFAIL(預設的open仍會回答):有grace_period,Caddy 繼續回答(10 個有 10 個);沒有的話 Caddy 沒有上游,每個請求都失敗(10 個有 10 個)。nginx 在它的測試中不需要這種設定,自己就保留了上一份清單。lb_try_duration與lb_try_interval讓 Caddy 重試,所以剛停掉、但在 emfor 與 Caddy 察覺前(約一秒)還在清單裡的 backend 不會丟請求(測試中 25 個請求丟 0 個)。沒有它們,Caddy 不會重試,25 個丟了 3 個。
Caddy 怎麼處理這個回答,以下是 tests/caddy/run.sh 用 Caddy 2.11.9 看到的:
- 檢查失敗的 backend 離開清單,恢復後回來;
drain = true的 backend 同樣離開,不需要 reload Caddy,也沒有請求遺失(需要上面的重試)。 - 不遵守權重:3 比 1 的 service,兩台各分到約一半(一次執行中 80 個請求分到 41 與 39)。
- 預設策略不遵守優先序:
failover的 service 也把請求送給備援。lb_policy first則依回答的順序取 backend,回答是依優先序排序的,所以balance = "failover"配lb_policy first,backend 健康時全部送給第一台,不健康時送給第二台,恢復後再回到第一台。
tests/caddy/ 在指定的 Caddy 映像上執行這些檢查(tests/caddy/run.sh caddy:2);Integrations workflow 每週執行一次,emfor 的 DNS 或候選的程式有改動時也會執行。沒試過:HTTPS 上游、Caddy 自己的主動健康檢查與 emfor 並用、first 與預設以外的負載平衡策略、多個 Caddy、2.11.9 以外的版本、FreeBSD。
搭配 Prometheus 使用
Prometheus 可以用 dns_sd_configs(型別 SRV)從 SRV 回答找到要抓取的目標:目標就是 emfor 某個 service 中健康的 backend,清單跟著檢查結果變動,不需要 reload Prometheus。
scrape_configs:
- job_name: api
dns_sd_configs:
- names: ["_http._tcp.api.svc.emfor"]
type: SRV
refresh_interval: 5s
dns_sd_configs 問的是主機的 resolver,沒有設定 name server 或埠的欄位(promtool check config 會拒絕 server 欄位),所以主機的 resolver 要把這個 zone 轉送給 emfor,做法見從主機的 resolver 轉送。要轉送的是整個 zone,不只是 SRV 查詢:回答裡的目標是 10-0-0-11.api.svc.emfor 這樣的名稱,Prometheus 每次抓取都會再解析一次,而 emfor 會回答它們。instance 標籤是這個名稱加埠,不是位址;__meta_dns_srv_record_target 與 __meta_dns_srv_record_port 可以用在 relabel_configs。SRV 記錄裡的埠就是 emfor 裡 backend 的埠,所以應用程式的 metrics 要在這個埠上;要用別的埠,就另外做一個 backend 是那個埠的 service。
目標是什麼,以下是 tests/prometheus/run.sh 用 Prometheus 3.16.0 看到的(refresh_interval 1 秒,emfor 是容器唯一的 resolver):
round-robinservice 的兩台 backend 都是目標,而且up。- 檢查失敗的 backend 不再是目標:它不是顯示成 down,而是它的
up序列結束。所以up == 0對它永遠不會觸發;請改用 emfor 自己的 metrics 發警報(emfor_backend_state,見 examples/prometheus/)。 - 被 drain 的 backend 也不是目標,雖然它還在跑、
/metrics也回得出來:在用 drain 做滾動部署期間,它的 metrics 不會被收集。 failoverservice 會列出它的備援(優先序 1),Prometheus 取每一筆記錄,所以兩台都抓。backup = true的 backend 只有在沒有任何主要 backend 健康時才是目標。- 目標出現與消失的時間,大約是
refresh_interval加上 emfor 看出變化所需的時間(interval、fall、rise)。
所以 emfor 的 service 很適合當作「現在正在服務的 backend」的來源。想不論健康狀況都抓每一台、並看到 up == 0,抓取請維持靜態清單或檔案式探索,用 emfor 發警報。
tests/prometheus/ 執行這些檢查(Integrations workflow 每週執行一次,emfor 的 DNS 或候選的程式有改動時也會執行)。在 FreeBSD 15.1 上,同一支腳本用套件的 Prometheus 2.55.1 手動執行也通過(nginx 1.30.6 也是套件;停掉 local_unbound,emfor 在 53 埠)。沒試過:emfor 前面放 dnsmasq 或 unbound(測試把 emfor 當作唯一的 resolver)、其他版本的 Prometheus、HTTPS 目標、很多個目標、預設 30 秒的 refresh_interval。
搭配 pf 使用(FreeBSD)
在 FreeBSD 上,pf 可以把連線分給一個位址表的成員,資料路徑上不需要任何 proxy:rdr 規則把連到某個位址的連線依序導向表裡的成員。emfor 沒有「回答改變時執行指令」的 hook,所以用一個小迴圈,每秒向 emfor 的 DNS server 問這個 service 的 SRV 記錄,讓表和 emfor 提供的一致:
table <api> persist
rdr pass on $ext_if inet proto tcp from any to $vip port 80 -> <api> port 8000 round-robin
examples/pf/emfor-pf-table.sh 就是那個迴圈(emfor-pf-table.sh loop api.svc.emfor api,以 root 執行;例如放在 daemon(8) 底下,這沒有試過)。它取優先序最低的 SRV 記錄,從目標名稱讀出位址(10-0-0-11.api.svc.emfor 是 10.0.0.11),集合改變時執行 pfctl -t api -T replace。它需要 drill,base system 就有。service 的所有 backend 必須是同一個埠,也就是 rdr 規則裡的那個。
以下是 tests/pf/run.sh 在 FreeBSD 15.1 上看到的(backend 與被導向的位址都在 loopback 上):
- Health:檢查失敗的 backend 離開表,恢復後回來;
drain = true同樣讓它離開(第 5 章)。 - 已經開著的連線在 backend 離開表時不會被切斷,因為 pf 保留了它的 state:連到被 drain 的 backend 的連線上,一個 6 秒才傳完的回應完整收到(1200 個位元組收到 1200 個),新連線則去了另一台。
- 優先序:表裡只有優先序最低的,所以
failover的 service 表裡是第一台,第一台故障時才是第二台。backup = true的 backend 在主要 backend 健康時不在表裡。 - 不使用權重:pf 的
round-robin平均分配(權重 3 與 1,80 個連線分到 40 與 40)。 - emfor 沒有東西可給時(
SERVFAIL:每個 backend 都被 drain,或在on_all_down = "closed"下全部故障)表會被清空,而 pf 會丟掉空的rdr表無法導向的連線:用戶端要等自己的逾時(loopback 與另一台主機上都看到)。把EMPTY設成主機上一個在rdr埠沒有東西在聽的位址,表就會放它而不是空的;另一台主機的用戶端,連到表裡一個沒有東西在聽的項目時被立刻拒絕(一秒內rc=7)。腳本的EMPTY本身只檢查了它放進表裡的內容。 - emfor 沒有回答時(停掉、連不到)表維持原樣,emfor 回來後再跟上。
- 在 backend 故障到迴圈的下一輪之間(emfor 自己的檢查之後再加一秒),pf 仍然會把新連線送給它:從另一台主機看,連到沒有東西在聽的 backend 會被拒絕,所以用戶端應該重試。
沒試過:IPv6(腳本讀得懂 IPv6 目標,但沒有跑過)、source-hash 與 sticky-address、真實介面上很多用戶端的 rdr(另一台主機的檢查是從一台機器手動做的:被拒絕與被丟掉的連線)、迴圈用的 daemon(8) 或 rc script、其他防火牆。tests/pf/run.sh 需要 root 與有 pf 模組的 FreeBSD;它載入自己的規則並啟用 pf,所以 pf 已經開著時它會拒絕執行。它不在 CI 裡。
自己會查 SRV 記錄的 client
有些 client 自己會用 SRV 記錄找伺服器,所以不需要 proxy:它們查 _<service>._tcp.<名稱>,emfor 用 _<任意>._tcp.<service> 回答健康的 backend、它們的埠,以及 SRV 記錄那一節的優先序與權重。檢查失敗或被 drain 的伺服器不在回答裡。它們問的是主機的 resolver,所以主機的 resolver 要把這個 zone 轉送給 emfor(從主機的 resolver 轉送);下面的測試是讓 emfor 當容器唯一的 resolver,聽 53 埠。只有 _tcp 的名稱會被回答:_udp 的名稱得到 NXDOMAIN。
- Kerberos(MIT):
krb5.conf設dns_lookup_kdc = true,realm 設成 service 名稱的大寫(servicekdc.svc.emfor對應KDC.SVC.EMFOR),kinit先問_kerberos._udp.KDC.SVC.EMFOR(如上所說沒有答案),再問_kerberos._tcp.KDC.SVC.EMFOR,然後用 TCP 連到兩台 KDC。檢查失敗的 KDC 沒有被提供,kinit只去另一台。用balance = "failover"時,回答裡有優先序 0 和 1,kinit先試主要那台。emfor 的tcp檢查只看 TCP 埠。 - OpenLDAP:
ldapsearch -H 'ldap:///dc=ldap%2Cdc=svc%2Cdc=emfor'(沒有主機,只有 DN)會讓 libldap 去問_ldap._tcp.ldap.svc.emfor,並使用回答裡的伺服器。DN 裡的逗號要寫成%2C:用一般的逗號時ldapsearch會說Could not parse LDAP URI(s)。檢查失敗的伺服器沒有被使用(3 次嘗試 3 次都去了另一台)。 - MongoDB:
mongodb+srv://db.svc.emfor/讓 PyMongo 拿到_mongodb._tcp.db.svc.emfor的兩台伺服器。emfor 沒有 TXT 記錄,對mongodb+srv也會發出的 TXT 查詢回答NOERROR而沒有任何記錄,PyMongo 接受了。mongodb+srv會把 TLS 打開:伺服器不講 TLS 時,在 URI 加tls=false。檢查失敗的伺服器與被 drain 的伺服器都不在清單裡。
tests/srv/ 用 Debian bookworm 的 krb5-user(MIT Kerberos)、ldap-utils(OpenLDAP 2.5.13)與 python3-pymongo(3.11.0)檢查這些;伺服器只是單純的 listener,所以檢查的是 client 被告知、並且去連的是哪些伺服器。沒試過:它們後面真正的 KDC、LDAP 或 MongoDB 伺服器(kinit 以 Cannot contact any KDC 結束)、LDAPS、sssd(ldap_uri = _srv_)、nslcd、Samba、Heimdal、Active Directory 的 _msdcs 之類名稱、svc.emfor 以外的 realm 或網域(那需要它自己的 [dns] zone)、PyMongo 以外的驅動程式、其他版本。Integrations workflow 每週執行一次,emfor 的 DNS 程式或這個測試有改動時也會執行。