<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom">
    <channel>
        <title>emfor 使用手冊 on Embark Systems</title>
        <link>https://embark.systems/emfor/</link>
        <description>Recent content in emfor 使用手冊 on Embark Systems</description>
        <generator>Hugo -- gohugo.io</generator>
        <language>zh-hant-tw</language><atom:link href="https://embark.systems/emfor/index.xml" rel="self" type="application/rss+xml" /><item>
            <title>0. 手冊導讀</title>
            <link>https://embark.systems/emfor/00-guide/</link>
            <pubDate>Mon, 01 Jan 0001 00:00:00 +0000</pubDate>
            <guid>https://embark.systems/emfor/00-guide/</guid>
            <description>&lt;p&gt;這份手冊寫給安裝、設定 emfor 的人，以及撰寫使用 emfor 之應用程式的人。它說明各個元件如何配合，並逐步帶過每項工作；&lt;a class=&#34;link&#34; href=&#34;https://github.com/embark-systems/emfor/tree/v0.6.0/docs/deploy/&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;&#xA;    &gt;docs/deploy/&lt;/a&gt; 底下的文件與各 client 的 README 有完整細節，會在相關之處附上連結（這些文件為英文）。&lt;/p&gt;&#xA;&lt;p&gt;本手冊描述 emfor 0.5。&lt;/p&gt;&#xA;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;章節&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;內容&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;a class=&#34;link&#34; href=&#34;../01-concepts/&#34; &gt;1. 基本概念&lt;/a&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;daemon、state store、client、DNS、健康狀態，以及出問題時會發生什麼事&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;a class=&#34;link&#34; href=&#34;../02-installation/&#34; &gt;2. 安裝&lt;/a&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;建置、安裝路徑前綴、systemd、FreeBSD，以及 client 函式庫&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;a class=&#34;link&#34; href=&#34;../03-configuration/&#34; &gt;3. 設定&lt;/a&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;emfor.toml&lt;/code&gt; 的每個 table 與 key、驗證規則，以及 reload 能改變什麼&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;a class=&#34;link&#34; href=&#34;../04-health-checks/&#34; &gt;4. 健康檢查&lt;/a&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;tcp&lt;/code&gt;、&lt;code&gt;http&lt;/code&gt;、&lt;code&gt;exec&lt;/code&gt;、plugin 與 &lt;code&gt;emfor-check&lt;/code&gt;；rise、fall、排程與 reason&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;a class=&#34;link&#34; href=&#34;../05-backend-selection/&#34; &gt;5. 選擇 backend&lt;/a&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;各種 &lt;code&gt;balance&lt;/code&gt; 方式、&lt;code&gt;on_all_down&lt;/code&gt;，以及過期的 store&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;a class=&#34;link&#34; href=&#34;../06-clients/&#34; &gt;6. Client 函式庫&lt;/a&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;從 Rust、C、Go、Python、Perl、PHP 查詢 backend&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;a class=&#34;link&#34; href=&#34;../07-dns/&#34; &gt;7. DNS&lt;/a&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;DNS server、它的回答、SRV 記錄、從主機 resolver 轉送，以及快取&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;a class=&#34;link&#34; href=&#34;../07-dns-recipes/&#34; &gt;7b. DNS 做法&lt;/a&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;用 emfor 的 DNS 回答設定 nginx、HAProxy、Caddy、Prometheus 與 pf，以及自己會查 SRV 記錄的 client&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;a class=&#34;link&#34; href=&#34;../08-operations/&#34; &gt;8. 維運&lt;/a&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;指令、signal 與 reload、&lt;code&gt;emfor status&lt;/code&gt;、&lt;code&gt;emfor lookup&lt;/code&gt;、metrics、log、結束代碼、磁碟上的 store、升級&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;a class=&#34;link&#34; href=&#34;../09-troubleshooting/&#34; &gt;9. 疑難排解&lt;/a&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;症狀、原因與處理方式&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;a class=&#34;link&#34; href=&#34;../10-migrating/&#34; &gt;10. 從 HAProxy 或 Consul 搬過來&lt;/a&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;同樣的設定在 emfor 裡長什麼樣子、哪些東西沒有對應，以及如何與現有方案並排試用 emfor&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;p&gt;第一次接觸 emfor？先讀第 1 章，接著照 &lt;a class=&#34;link&#34; href=&#34;https://github.com/embark-systems/emfor/blob/v0.6.0/README.zh-TW.md#%e5%bf%ab%e9%80%9f%e4%b8%8a%e6%89%8b&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;&#xA;    &gt;README&lt;/a&gt; 的快速上手操作一次，再讀第 3 章。&lt;/p&gt;&#xA;&lt;h2 id=&#34;慣例&#34;&gt;慣例&#xA;&lt;/h2&gt;&lt;ul&gt;&#xA;&lt;li&gt;範例中的服務名稱都以 &lt;code&gt;.svc.emfor&lt;/code&gt; 結尾，也就是預設的 DNS zone。任何類似主機名稱的名字都可以用；只有 zone 之下的名稱能透過 DNS 解析。&lt;/li&gt;&#xA;&lt;li&gt;路徑都是預設值：設定檔在 &lt;code&gt;/etc/emfor/emfor.toml&lt;/code&gt;，store 在 &lt;code&gt;/var/lib/emfor/state.mdb&lt;/code&gt;。&lt;/li&gt;&#xA;&lt;li&gt;&lt;code&gt;$&lt;/code&gt; 開頭的是你輸入的指令；沒有 &lt;code&gt;$&lt;/code&gt; 的是輸出。&lt;/li&gt;&#xA;&lt;li&gt;設定 key、指令、log 與錯誤訊息保留原文，方便對照實際畫面。&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;</description>
        </item><item>
            <title>1. 基本概念</title>
            <link>https://embark.systems/emfor/01-concepts/</link>
            <pubDate>Mon, 01 Jan 0001 00:00:00 +0000</pubDate>
            <guid>https://embark.systems/emfor/01-concepts/</guid>
            <description>&lt;h2 id=&#34;emfor-做什麼&#34;&gt;emfor 做什麼&#xA;&lt;/h2&gt;&lt;p&gt;emfor 是在每一台應用程式主機上執行的健康檢查 daemon。它檢查應用程式所用服務的 backend，並把哪些 backend 健康寫進同一台主機上的一個檔案。應用程式需要（例如）一台資料庫伺服器時，向 emfor client 函式庫要一個；函式庫讀取本機檔案，回傳像 &lt;code&gt;10.0.3.1:5432&lt;/code&gt; 這樣的位址。查詢不經過網路、大約一微秒完成，而且在其他主機或網路故障時仍然有效。&lt;/p&gt;&#xA;&lt;p&gt;&lt;img alt=&#34;emfor 在一台主機上的組成：daemon 透過網路檢查 backend，寫入本機的 LMDB state store，並在 127.0.0.1 提供 DNS；client 函式庫與 emfor status 讀取 store。&#34; loading=&#34;lazy&#34; sizes=&#34;(max-width: 767px) calc(100vw - 30px), (max-width: 1023px) 700px, (max-width: 1279px) 950px, 1232px&#34; src=&#34;https://embark.systems/images/emfor-architecture.zh.svg&#34;&gt;&lt;/p&gt;&#xA;&lt;p&gt;每台主機執行自己的 daemon、用自己的設定，從自己的位置看 backend。沒有中央伺服器。同一個機房的 daemon 可以選擇組成&lt;a class=&#34;link&#34; href=&#34;#%e8%81%af%e9%98%b2%e7%be%a4%e7%b5%84&#34; &gt;聯防群組&lt;/a&gt;，互相通知故障、對每個 backend 投票；查詢仍然只讀本機的 store。&lt;/p&gt;&#xA;&lt;h2 id=&#34;組成元件&#34;&gt;組成元件&#xA;&lt;/h2&gt;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;元件&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;說明&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;emfor server&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;daemon。讀取 &lt;code&gt;emfor.toml&lt;/code&gt;，反覆檢查每個 backend，並把結果寫入 state store。每台主機一個（每個 store 一個）。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;state store&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;一個 LMDB 檔案，預設為 &lt;code&gt;/var/lib/emfor/state.mdb&lt;/code&gt;，每個服務一筆記錄。daemon 是唯一的寫入者；可以有任意多個行程讀取。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;client 函式庫&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;emfor_client&lt;/code&gt;（Rust）與 &lt;code&gt;libemfor&lt;/code&gt;（C），以及 Go、Python、Perl、PHP 的包裝。一次查詢讀取 store 並選出一個 backend。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;DNS server&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;選用。為某個 zone 內的服務名稱回答 A、AAAA 與 SRV 查詢，資料來自 daemon 的記憶體，給無法使用 client 函式庫的程式用。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;emfor status&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;顯示 daemon 發布的內容，也可以當作監控檢查。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;/metrics&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;選用的 Prometheus endpoint。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;emfor-check&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;一個 plugin 程式，提供 redis、MySQL/MariaDB、PostgreSQL、LDAP、DNS、RADIUS、SIP、Diameter、SMTP、AMQP、MongoDB、gRPC、QUIC 與 HTTP/3 的檢查。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;h2 id=&#34;服務與-backend&#34;&gt;服務與 backend&#xA;&lt;/h2&gt;&lt;p&gt;&lt;strong&gt;服務&lt;/strong&gt;（service）是一個名稱，例如 &lt;code&gt;api.svc.emfor&lt;/code&gt;，加上一份 &lt;strong&gt;backend&lt;/strong&gt; 清單：提供該服務的 &lt;code&gt;ip:port&lt;/code&gt; 位址。每個服務有一個 &lt;strong&gt;check&lt;/strong&gt;（如何測試一個 backend）、時間設定、一個 &lt;strong&gt;balance&lt;/strong&gt; 方式（如何在健康的 backend 中挑選），以及一個 &lt;strong&gt;on_all_down&lt;/strong&gt; 政策（沒有任何 backend 健康時怎麼辦）。&lt;/p&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;&#34;&gt;&lt;code class=&#34;language-toml&#34; data-lang=&#34;toml&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;[&lt;span style=&#34;color:#a6e22e&#34;&gt;services&lt;/span&gt;.&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;api.svc.emfor&amp;#34;&lt;/span&gt;]&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;check&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;http&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;backends&lt;/span&gt; = [&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;10.0.0.11:8080&amp;#34;&lt;/span&gt;, &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;10.0.0.12:8080&amp;#34;&lt;/span&gt;]&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;backend 一律是 IP 位址，不是主機名稱：emfor 找 backend 不依賴 DNS。&lt;/p&gt;&#xA;&lt;h2 id=&#34;檢查結果與健康狀態&#34;&gt;檢查結果與健康狀態&#xA;&lt;/h2&gt;&lt;p&gt;每次檢查都以一個&lt;strong&gt;結果&lt;/strong&gt;結束：&lt;/p&gt;&#xA;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;結果&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;意義&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;是否算 backend 的失敗&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;up&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;backend 通過。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;否&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;down&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;backend 失敗（被拒絕、逾時、回答不對）。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;是&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;error&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;emfor 無法執行檢查（本機問題，例如讀不到密碼檔或 plugin 當掉）。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;否&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;p&gt;每個 backend 有一個&lt;strong&gt;健康狀態&lt;/strong&gt;：&lt;/p&gt;&#xA;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;狀態&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;何時&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;unknown&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;daemon 啟動後、backend 剛加入後、其 &lt;code&gt;check&lt;/code&gt; 變更後，以及連續很久都是 &lt;code&gt;error&lt;/code&gt; 之後。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;healthy&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;連續 &lt;code&gt;rise&lt;/code&gt; 次 &lt;code&gt;up&lt;/code&gt;（預設 2）之後。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;unhealthy&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;連續 &lt;code&gt;fall&lt;/code&gt; 次 &lt;code&gt;down&lt;/code&gt;（預設 3）之後。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;p&gt;計數器讓單一遺失的封包不造成影響：一次失敗不會移除 backend，一次成功也不會讓它回來。&lt;code&gt;error&lt;/code&gt; 不改變任何東西，所以檢查端主機的問題不會把好的 backend 標成 down；只有當一個 backend 只收到 error 的時間超過 &lt;code&gt;fall × interval&lt;/code&gt;，它才回到 &lt;code&gt;unknown&lt;/code&gt;。&lt;/p&gt;&#xA;&lt;h2 id=&#34;查詢回傳什麼&#34;&gt;查詢回傳什麼&#xA;&lt;/h2&gt;&lt;p&gt;client 以服務中&lt;strong&gt;健康&lt;/strong&gt;的 backend 作為候選，交給 &lt;code&gt;balance&lt;/code&gt; 挑一個。沒有任何 backend 健康時，由 &lt;code&gt;on_all_down&lt;/code&gt; 決定：&lt;/p&gt;&#xA;&lt;ul&gt;&#xA;&lt;li&gt;&lt;code&gt;open&lt;/code&gt;（預設）：應用程式照樣拿到一個 backend；當出錯的是檢查本身而不是 backend 時，這通常比直接失敗好。仍是 &lt;code&gt;unknown&lt;/code&gt;（還沒有定論，或檢查只回錯誤）的 backend 優先於已確定 &lt;code&gt;unhealthy&lt;/code&gt; 的；見&lt;a class=&#34;link&#34; href=&#34;../05-backend-selection/#%e6%b2%92%e6%9c%89%e4%bb%bb%e4%bd%95-backend-%e5%81%a5%e5%ba%b7%e6%99%82&#34; &gt;第 5 章&lt;/a&gt;。&lt;/li&gt;&#xA;&lt;li&gt;&lt;code&gt;closed&lt;/code&gt;：查詢以 &lt;code&gt;ALL_DOWN&lt;/code&gt; 失敗，DNS 回答 &lt;code&gt;SERVFAIL&lt;/code&gt;。&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;h2 id=&#34;heartbeat-與過期的-store&#34;&gt;Heartbeat 與過期的 store&#xA;&lt;/h2&gt;&lt;p&gt;daemon 至少每秒把一次 &lt;strong&gt;heartbeat&lt;/strong&gt;（目前時間）寫進 store。client 拿它與自己的時鐘比較：heartbeat 超過 3 秒（&lt;code&gt;EMFOR_MAX_STALENESS&lt;/code&gt;），或 daemon 已停止並把它設為 0 時，store 就是&lt;strong&gt;過期&lt;/strong&gt;（stale）的。在過期的 store 裡，client 把每個 backend 都當作不健康，由 &lt;code&gt;on_all_down&lt;/code&gt; 決定結果。因此應用程式絕不會相信已經卡住或消失的 daemon 所留下的健康資料，而 &lt;code&gt;open&lt;/code&gt; 的服務仍然能拿到位址。&lt;/p&gt;&#xA;&lt;p&gt;daemon 啟動時會把每筆服務記錄重寫一遍，所有 backend 都是 &lt;code&gt;unknown&lt;/code&gt;；它從不沿用上一次執行的健康狀態。backend 處於 &lt;code&gt;unknown&lt;/code&gt; 期間大約每 200 ms 檢查一次，所以用預設值時，啟動後約半秒內每個 backend 的狀態就已確定。&lt;/p&gt;&#xA;&lt;h2 id=&#34;聯防群組&#34;&gt;聯防群組&#xA;&lt;/h2&gt;&lt;p&gt;同一個機房的主機看到的是同一批 backend。沒有協助時，每個 daemon 都要靠自己的 &lt;code&gt;fall&lt;/code&gt; 次檢查失敗，才會發現某個 backend 掛了。在&lt;strong&gt;聯防群組&lt;/strong&gt;（peer group）裡，同一個 &lt;code&gt;site&lt;/code&gt;、在 &lt;code&gt;[peers]&lt;/code&gt;（&lt;a class=&#34;link&#34; href=&#34;../03-configuration/#peers&#34; &gt;第 3 章&lt;/a&gt;）中列出彼此的 daemon，會互相傳送經過驗證的 UDP 訊息：&lt;/p&gt;&#xA;&lt;ul&gt;&#xA;&lt;li&gt;每秒一次 heartbeat，讓每個成員知道其他成員是否存活；&lt;/li&gt;&#xA;&lt;li&gt;某個成員看到 backend 從 &lt;code&gt;healthy&lt;/code&gt; 變成 &lt;code&gt;unhealthy&lt;/code&gt; 時，通知其他所有成員；它們會立刻重新檢查那個 backend，之後每 200 ms 一次、最多 &lt;code&gt;fall&lt;/code&gt; 次，而不是等到下一個 &lt;code&gt;interval&lt;/code&gt;。&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;p&gt;通知本身從不改變 backend 的狀態，改變狀態的是&lt;strong&gt;多數決&lt;/strong&gt;：存活成員（含本機）至少三台時，每個 backend 有三台&lt;strong&gt;負責主機&lt;/strong&gt;（assigned checker），由服務、backend 與每個成員位址的雜湊從存活成員中挑出，所以看到同一批存活成員的成員，挑到的是同樣三台。某個成員啟動、停止或連不到之後的幾秒內，各成員對誰還存活可能看法不同，挑到的三台也可能不同。負責主機每次自己檢查後，把結果（&lt;code&gt;up&lt;/code&gt; 或 &lt;code&gt;down&lt;/code&gt;）送給其他成員。每個成員每次自己檢查後，計算該 backend 負責主機送來、夠新（在送出者最近三個 interval 之內）、而且檢查定義相同的結果：&lt;/p&gt;&#xA;&lt;ul&gt;&#xA;&lt;li&gt;兩票以上 &lt;code&gt;down&lt;/code&gt;：這台主機也把 backend 算成 down，即使本機的檢查通過；原因寫成 &lt;code&gt;peers 2/3: &amp;lt;原因&amp;gt;&lt;/code&gt;（down 票數／計入的票數）；&lt;/li&gt;&#xA;&lt;li&gt;否則以本機的結果為準，&lt;code&gt;down&lt;/code&gt; 的原因寫成 &lt;code&gt;local: &amp;lt;原因&amp;gt;&lt;/code&gt;：這台主機看到其他主機沒看到的問題；&lt;/li&gt;&#xA;&lt;li&gt;存活成員少於三台，或一票都沒有時，本機結果原樣使用，和沒有群組時一樣。&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;p&gt;算出的結果再照常經過 &lt;code&gt;rise&lt;/code&gt; 與 &lt;code&gt;fall&lt;/code&gt;。成員送來的每個結果只在一次檢查時間計入：&lt;code&gt;interval&lt;/code&gt; 短的成員不會把較慢成員的一次 &lt;code&gt;down&lt;/code&gt; 反覆計入；只是重複已計入的票、而本機檢查通過的那次檢查，不改變任何狀態。群組判為 down、而本機檢查通過的 backend，&lt;code&gt;emfor status&lt;/code&gt; 會標上 &lt;code&gt;local-up&lt;/code&gt;。查詢仍然只讀本機的 store。連不到的成員不會造成任何改變：投票退回各 daemon 自己的檢查。沒有 master，群組也不會跨兩個機房。某個服務可以用 &lt;code&gt;peers = false&lt;/code&gt; 不參加群組（&lt;a class=&#34;link&#34; href=&#34;../03-configuration/#peers&#34; &gt;第 3 章&lt;/a&gt;）；這台主機會告訴其他成員，它們再從其餘成員中挑這個服務的負責主機。&lt;/p&gt;&#xA;&lt;p&gt;檢查也會分工。不是某個 backend 負責主機的成員，在兩台負責主機意見一致時不檢查它：兩票 &lt;code&gt;up&lt;/code&gt; 算 &lt;code&gt;up&lt;/code&gt;，兩票 &lt;code&gt;down&lt;/code&gt; 算 &lt;code&gt;down&lt;/code&gt;（&lt;code&gt;peers 2/3:&lt;/code&gt;）。它仍然至少每三個 &lt;code&gt;interval&lt;/code&gt; 用服務原本的 &lt;code&gt;check&lt;/code&gt; 自己檢查一次，而一致的票少於兩張時每次都自己檢查。負責主機認為 backend 正常、本機檢查卻失敗時，它會立刻快速重查（每 200ms 一次，最多 &lt;code&gt;fall&lt;/code&gt; 次，和收到其他成員通知時一樣），之後每個 &lt;code&gt;interval&lt;/code&gt; 都檢查，直到通過為止，所以只有這台主機看到的故障仍然寫成 &lt;code&gt;local: &amp;lt;原因&amp;gt;&lt;/code&gt;；這種故障要大約三個 &lt;code&gt;interval&lt;/code&gt; 加上 &lt;code&gt;fall&lt;/code&gt; 次快速檢查才會發現，而不是 &lt;code&gt;fall&lt;/code&gt; 次檢查。有三台負責主機、N 個成員時，每個 backend 每個 &lt;code&gt;interval&lt;/code&gt; 大約被檢查 3 + (N − 3) / 3 次，而不是 N 次。&lt;/p&gt;&#xA;&lt;h2 id=&#34;故障行為一覽&#34;&gt;故障行為一覽&#xA;&lt;/h2&gt;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;什麼故障&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;應用程式看到什麼&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;一個 backend&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;經過 &lt;code&gt;fall&lt;/code&gt; 次失敗的檢查後（預設約 6 秒）變成 &lt;code&gt;unhealthy&lt;/code&gt;，不再被回傳。在聯防群組裡，只要一個成員發現，其他成員約一秒內跟上；三台負責主機中有兩台看到它 down 時，每個成員在 &lt;code&gt;fall&lt;/code&gt; 次檢查後都把它標成 down，即使它在那台主機上仍有回應。只有一台非負責主機看到的故障，在那台主機上最多會晚大約三個 &lt;code&gt;interval&lt;/code&gt; 才發現，但之後只要 &lt;code&gt;fall&lt;/code&gt; 次間隔 200ms 的檢查，而不是 &lt;code&gt;fall&lt;/code&gt; 個 &lt;code&gt;interval&lt;/code&gt;（預設值下最慢約 6.4 秒在那台主機上標成 down，沒有聯防群組時約 6 秒）。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;某服務的所有 backend&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;open&lt;/code&gt;：有 &lt;code&gt;unknown&lt;/code&gt; 的 backend 時用它，否則任一個 backend；&lt;code&gt;closed&lt;/code&gt;：&lt;code&gt;ALL_DOWN&lt;/code&gt; / &lt;code&gt;SERVFAIL&lt;/code&gt;。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;emfor daemon 停止或卡住&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;3 秒後 store 過期：&lt;code&gt;open&lt;/code&gt; 的服務回傳任一 backend，&lt;code&gt;closed&lt;/code&gt; 的服務失敗。查詢永遠不會卡住。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;store 檔案不存在或無法讀取&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;查詢以 &lt;code&gt;UNAVAILABLE&lt;/code&gt; 失敗。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;檢查端主機斷網&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;檢查失敗，backend 變成 &lt;code&gt;unhealthy&lt;/code&gt;；這台主機上的應用程式本來也連不到它們。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;plugin 當掉或不再回應&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;它的檢查都是 &lt;code&gt;error&lt;/code&gt;（狀態不變），直到 daemon 把它重新啟動。連續 3 個請求都沒回應的 plugin 會被砍掉並重新啟動。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;h2 id=&#34;daemon-使用的檔案&#34;&gt;daemon 使用的檔案&#xA;&lt;/h2&gt;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;檔案&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;用途&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;/etc/emfor/emfor.toml&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;設定檔。可用 &lt;code&gt;--config&lt;/code&gt; 指定其他路徑。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;&amp;lt;store&amp;gt;&lt;/code&gt;（&lt;code&gt;/var/lib/emfor/state.mdb&lt;/code&gt;）&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;state store。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;&amp;lt;store&amp;gt;-lock&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;LMDB 的 lock 檔。每個讀取者都要在裡面登記，所以應用程式需要它的寫入權限。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;&amp;lt;store&amp;gt;.writer&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;執行中的 daemon 鎖住它，確保一個 store 只有一個 daemon 寫入。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;&amp;lt;store&amp;gt;.corrupt&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;啟動時被移到一旁的損毀 store，留著供檢查。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;</description>
        </item><item>
            <title>2. 安裝</title>
            <link>https://embark.systems/emfor/02-installation/</link>
            <pubDate>Mon, 01 Jan 0001 00:00:00 +0000</pubDate>
            <guid>https://embark.systems/emfor/02-installation/</guid>
            <description>&lt;p&gt;emfor 用 Cargo 從原始碼建置。Linux 與 FreeBSD 是部署平台；macOS 可用於開發。&lt;/p&gt;&#xA;&lt;h2 id=&#34;什麼東西裝在哪裡&#34;&gt;什麼東西裝在哪裡&#xA;&lt;/h2&gt;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;主機&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;安裝&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;每一台應用程式主機&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;daemon &lt;code&gt;emfor&lt;/code&gt;、它的設定檔，以及服務定義（systemd 或 rc.d）。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;使用 &lt;code&gt;emfor-check&lt;/code&gt; 檢查（redis、MySQL/MariaDB、PostgreSQL、LDAP、DNS、RADIUS、SIP、Diameter、SMTP、AMQP、MongoDB、gRPC、QUIC 或 HTTP/3）的主機&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;另外安裝 &lt;code&gt;emfor-check&lt;/code&gt;。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;應用程式使用 client 函式庫的主機&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;libemfor&lt;/code&gt;，以及應用程式所用語言的包裝。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;程式只用 DNS 的主機&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;不需要其他東西；從主機的 resolver 轉送 zone 即可（&lt;a class=&#34;link&#34; href=&#34;../07-dns/&#34; &gt;第 7 章&lt;/a&gt;）。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;h2 id=&#34;建置-daemon&#34;&gt;建置 daemon&#xA;&lt;/h2&gt;&lt;p&gt;需要支援 2024 edition 的 Rust 工具鏈（Rust 1.85 或更新）。在 checkout 或解開的原始碼發行版中：&lt;/p&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;&#34;&gt;&lt;code class=&#34;language-sh&#34; data-lang=&#34;sh&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;cargo build --release --bin emfor --bin emfor-check&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;install -m &lt;span style=&#34;color:#ae81ff&#34;&gt;0755&lt;/span&gt; target/release/emfor /usr/local/bin/emfor&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;install -m &lt;span style=&#34;color:#ae81ff&#34;&gt;0755&lt;/span&gt; target/release/emfor-check /usr/local/libexec/emfor-check&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;&lt;code&gt;emfor-check&lt;/code&gt; 是選用的；只有使用它的 plugin 時才需要安裝（&lt;a class=&#34;link&#34; href=&#34;../04-health-checks/#plugin-%e8%88%87-emfor-check&#34; &gt;第 4 章&lt;/a&gt;）。資料庫驅動程式只連結進 &lt;code&gt;emfor-check&lt;/code&gt;，不在 daemon 或 client 函式庫裡。&lt;/p&gt;&#xA;&lt;h3 id=&#34;預設設定檔路徑&#34;&gt;預設設定檔路徑&#xA;&lt;/h3&gt;&lt;p&gt;&lt;code&gt;emfor&lt;/code&gt; 讀取 &lt;code&gt;/etc/emfor/emfor.toml&lt;/code&gt;，除非 &lt;code&gt;--config&lt;/code&gt; 指定其他檔案。預設值在建置時由環境變數 &lt;code&gt;EMFOR_PREFIX&lt;/code&gt; 決定：&lt;/p&gt;&#xA;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;&lt;code&gt;EMFOR_PREFIX&lt;/code&gt;&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;預設設定檔路徑&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;未設定、空字串或 &lt;code&gt;/usr&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;/etc/emfor/emfor.toml&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;/usr/local&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;/usr/local/etc/emfor/emfor.toml&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;/opt/emfor&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;/opt/emfor/etc/emfor/emfor.toml&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;&#34;&gt;&lt;code class=&#34;language-sh&#34; data-lang=&#34;sh&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;EMFOR_PREFIX&lt;span style=&#34;color:#f92672&#34;&gt;=&lt;/span&gt;/usr/local cargo build --release --bin emfor&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;prefix 必須是絕對路徑，否則建置失敗。&lt;code&gt;emfor --help&lt;/code&gt; 會顯示內建的路徑。只有設定檔路徑跟著 prefix 改變：store 仍在設定檔的 &lt;code&gt;[store] path&lt;/code&gt;（預設 &lt;code&gt;/var/lib/emfor/state.mdb&lt;/code&gt;），這也是 client 預設去找的位置。&lt;/p&gt;&#xA;&lt;h3 id=&#34;使用-cargo-install&#34;&gt;使用 cargo install&#xA;&lt;/h3&gt;&lt;p&gt;repository 根目錄是 workspace 而不是 package，所以要指定每個 crate：&lt;/p&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;&#34;&gt;&lt;code class=&#34;language-sh&#34; data-lang=&#34;sh&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;EMFOR_PREFIX&lt;span style=&#34;color:#f92672&#34;&gt;=&lt;/span&gt;/usr/local cargo install --locked --path crates/emfor-daemon --root /usr/local&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;cargo install --locked --path crates/emfor-check --root /usr/local&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;&lt;code&gt;--root&lt;/code&gt; 只決定執行檔放在哪裡；&lt;code&gt;EMFOR_PREFIX&lt;/code&gt; 也要另外設定。&lt;/p&gt;&#xA;&lt;h2 id=&#34;安裝套件&#34;&gt;安裝套件&#xA;&lt;/h2&gt;&lt;p&gt;repository 可以建出 deb 與 rpm（&lt;a class=&#34;link&#34; href=&#34;https://github.com/embark-systems/emfor/blob/v0.6.0/packages/README.md&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;&#xA;    &gt;packages/&lt;/a&gt;；&lt;code&gt;packages/build.sh&lt;/code&gt;）。兩者都會把 &lt;code&gt;emfor&lt;/code&gt; 與 &lt;code&gt;emfor-check&lt;/code&gt; 裝到 &lt;code&gt;/usr/bin&lt;/code&gt;、裝上 systemd unit、一份只讀 &lt;code&gt;/etc/emfor/conf.d&lt;/code&gt; 的設定檔、把附註解的範例設定放在 &lt;code&gt;/usr/share/doc/emfor/&lt;/code&gt;，並建立 &lt;code&gt;emfor&lt;/code&gt; 使用者。把服務寫在 &lt;code&gt;/etc/emfor/conf.d/&lt;/code&gt; 的檔案裡（&lt;a class=&#34;link&#34; href=&#34;../03-configuration/#%e6%8a%8a%e8%a8%ad%e5%ae%9a%e6%8b%86%e5%88%b0%e7%9b%ae%e9%8c%84&#34; &gt;第 3 章&lt;/a&gt;），然後：&lt;/p&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;&#34;&gt;&lt;code class=&#34;language-sh&#34; data-lang=&#34;sh&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;dpkg -i emfor_0.6.0-1_amd64.deb      &lt;span style=&#34;color:#75715e&#34;&gt;# Debian、Ubuntu：同時啟用並啟動&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;rpm -i emfor-0.6.0-1.x86_64.rpm      &lt;span style=&#34;color:#75715e&#34;&gt;# RHEL 與相近的發行版：之後 systemctl enable --now emfor&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;emfor check-config&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;systemctl reload emfor&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;這些套件沒有簽章，由這個 repository 建出，沒有發佈在任何地方；&lt;code&gt;packages/build.sh&lt;/code&gt; 會為你的架構建出它們。&lt;/p&gt;&#xA;&lt;h2 id=&#34;在-systemd-下執行&#34;&gt;在 systemd 下執行&#xA;&lt;/h2&gt;&lt;p&gt;repository 裡有一個加固過的 unit：&lt;a class=&#34;link&#34; href=&#34;https://github.com/embark-systems/emfor/blob/v0.6.0/examples/systemd/emfor.service&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;&#xA;    &gt;examples/systemd/emfor.service&lt;/a&gt;。它以使用者 &lt;code&gt;emfor&lt;/code&gt; 執行 &lt;code&gt;/usr/local/bin/emfor server --config /etc/emfor/emfor.toml&lt;/code&gt;：&lt;/p&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;&#34;&gt;&lt;code class=&#34;language-sh&#34; data-lang=&#34;sh&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;useradd --system --no-create-home --shell /usr/sbin/nologin emfor&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;install -m &lt;span style=&#34;color:#ae81ff&#34;&gt;0644&lt;/span&gt; examples/systemd/emfor.service /etc/systemd/system/emfor.service&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;install -d /etc/emfor /etc/emfor/conf.d&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;install -m &lt;span style=&#34;color:#ae81ff&#34;&gt;0644&lt;/span&gt; examples/emfor.toml /etc/emfor/emfor.toml   &lt;span style=&#34;color:#75715e&#34;&gt;# then edit it&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;emfor check-config&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;systemctl daemon-reload&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;systemctl enable --now emfor&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;emfor status&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;這個 unit 替你處理的事：&lt;/p&gt;&#xA;&lt;ul&gt;&#xA;&lt;li&gt;&lt;code&gt;StateDirectory=emfor&lt;/code&gt; 為 store 建立 &lt;code&gt;/var/lib/emfor&lt;/code&gt;，擁有者為 &lt;code&gt;emfor&lt;/code&gt;。不要改用 &lt;code&gt;DynamicUser=&lt;/code&gt;：它的目錄應用程式無法存取。&lt;/li&gt;&#xA;&lt;li&gt;&lt;code&gt;systemctl reload emfor&lt;/code&gt; 會先執行 &lt;code&gt;emfor check-config&lt;/code&gt;，設定有效時才送出 SIGHUP。&lt;/li&gt;&#xA;&lt;li&gt;daemon 當掉後會被重新啟動，包括結束代碼 70；但結束代碼 1 或 2 不會，因為重試也無法解決（&lt;a class=&#34;link&#34; href=&#34;../08-operations/#%e7%b5%90%e6%9d%9f%e4%bb%a3%e7%a2%bc&#34; &gt;結束代碼&lt;/a&gt;）。&lt;/li&gt;&#xA;&lt;li&gt;log 送進 journal：&lt;code&gt;journalctl -u emfor&lt;/code&gt;。&lt;/li&gt;&#xA;&lt;li&gt;&lt;code&gt;LimitNOFILE=65536&lt;/code&gt; 把開檔上限從 systemd 預設的 1024 調高；檢查、plugin、DNS 與 metrics 連線都會用到檔案。&lt;/li&gt;&#xA;&lt;li&gt;除了 &lt;code&gt;/var/lib/emfor&lt;/code&gt;，檔案系統都是唯讀。&lt;code&gt;[store] path&lt;/code&gt; 放在別處時需要 &lt;code&gt;ReadWritePaths=&lt;/code&gt;；DNS 用 53 port 時需要 &lt;code&gt;CAP_NET_BIND_SERVICE&lt;/code&gt;（見 &lt;a class=&#34;link&#34; href=&#34;https://github.com/embark-systems/emfor/blob/v0.6.0/docs/deploy/daemon.md#running-under-systemd&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;&#xA;    &gt;docs/deploy/daemon.md&lt;/a&gt;）。&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;p&gt;建置時不要設定 &lt;code&gt;EMFOR_PREFIX&lt;/code&gt;（或設為 &lt;code&gt;/usr&lt;/code&gt;），這樣 &lt;code&gt;emfor status&lt;/code&gt; 與 &lt;code&gt;emfor check-config&lt;/code&gt; 不用 &lt;code&gt;--config&lt;/code&gt; 也能找到 &lt;code&gt;/etc/emfor/emfor.toml&lt;/code&gt;。&lt;/p&gt;&#xA;&lt;p&gt;&lt;code&gt;/etc/emfor/conf.d&lt;/code&gt; 放 &lt;code&gt;include_dir&lt;/code&gt; 用的檔案（&lt;a class=&#34;link&#34; href=&#34;../03-configuration/#%e6%8a%8a%e8%a8%ad%e5%ae%9a%e6%8b%86%e5%88%b0%e7%9b%ae%e9%8c%84&#34; &gt;第 3 章&lt;/a&gt;）。範例設定檔把 &lt;code&gt;include_dir&lt;/code&gt; 註解掉；若你設定它，這個目錄必須存在，且不能讓 group 或其他人寫入。&lt;/p&gt;&#xA;&lt;h2 id=&#34;在-freebsd-上執行&#34;&gt;在 FreeBSD 上執行&#xA;&lt;/h2&gt;&lt;p&gt;&lt;a class=&#34;link&#34; href=&#34;https://github.com/embark-systems/emfor/tree/v0.6.0/packages/freebsd/&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;&#xA;    &gt;packages/freebsd/&lt;/a&gt; 是一個範例 port（&lt;code&gt;net-mgmt/emfor&lt;/code&gt;），它建置 &lt;code&gt;emfor&lt;/code&gt; 與 &lt;code&gt;emfor-check&lt;/code&gt;、安裝 rc.d script 與範例設定檔，並建立 &lt;code&gt;emfor&lt;/code&gt; 使用者、給 &lt;code&gt;include_dir&lt;/code&gt; 用的空目錄 &lt;code&gt;/usr/local/etc/emfor/conf.d&lt;/code&gt; 與 &lt;code&gt;/var/db/emfor&lt;/code&gt;，它的範例設定檔把 store 放在那裡（應用程式要設定 &lt;code&gt;EMFOR_STORE=/var/db/emfor/state.mdb&lt;/code&gt;）。rc.d script 在 &lt;code&gt;daemon(8)&lt;/code&gt; 底下執行 daemon；daemon 結束 2 秒後 &lt;code&gt;daemon(8)&lt;/code&gt; 會再把它啟動。安裝 port 並編輯 &lt;code&gt;/usr/local/etc/emfor/emfor.toml&lt;/code&gt; 之後：&lt;/p&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;&#34;&gt;&lt;code class=&#34;language-sh&#34; data-lang=&#34;sh&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;sysrc emfor_enable&lt;span style=&#34;color:#f92672&#34;&gt;=&lt;/span&gt;YES&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;service emfor start&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;emfor status&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;rc.conf 變數&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;預設值&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;意義&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;emfor_enable&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;NO&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;開機時啟動。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;emfor_config&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;/usr/local/etc/emfor/emfor.toml&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;設定檔。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;emfor_user&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;emfor&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;daemon 執行時的使用者。需要 store 所在目錄的寫入權限。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;p&gt;&lt;code&gt;service emfor configtest&lt;/code&gt; 檢查設定檔（以 &lt;code&gt;emfor_user&lt;/code&gt; 身分）；&lt;code&gt;service emfor reload&lt;/code&gt; 先檢查再送 SIGHUP；&lt;code&gt;start&lt;/code&gt; 拒絕無效的設定。daemon 的 log 以 tag &lt;code&gt;emfor&lt;/code&gt; 送進 syslog。&lt;/p&gt;&#xA;&lt;p&gt;不用 port 時，以 &lt;code&gt;EMFOR_PREFIX=/usr/local&lt;/code&gt; 建置 emfor，把 port 的 rc.d script 填好 prefix 後安裝，再建立 &lt;code&gt;emfor&lt;/code&gt; 使用者（或設定 &lt;code&gt;emfor_user&lt;/code&gt;），它需要 &lt;code&gt;[store] path&lt;/code&gt; 所在目錄的寫入權限：&lt;/p&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;&#34;&gt;&lt;code class=&#34;language-sh&#34; data-lang=&#34;sh&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;sed &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#39;s|%%PREFIX%%|/usr/local|g&amp;#39;&lt;/span&gt; packages/freebsd/files/emfor.in &amp;gt; /usr/local/etc/rc.d/emfor&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;chmod &lt;span style=&#34;color:#ae81ff&#34;&gt;0555&lt;/span&gt; /usr/local/etc/rc.d/emfor&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;pw useradd emfor -d /nonexistent -s /usr/sbin/nologin -c &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;emfor daemon&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;使用前請先讀 script 的註解與 port 的 README。兩者都已在 FreeBSD 15.1-RELEASE（arm64，VM）上跑過，port 用的是 &lt;code&gt;make stage check-plist install&lt;/code&gt;；尚未用 poudriere、14.x 或 amd64 測試。&lt;/p&gt;&#xA;&lt;h2 id=&#34;安裝-client-函式庫&#34;&gt;安裝 client 函式庫&#xA;&lt;/h2&gt;&lt;p&gt;每個 client 都透過 &lt;code&gt;libemfor&lt;/code&gt; 讀取 store，它由 &lt;a class=&#34;link&#34; href=&#34;https://github.com/embark-systems/emfor/blob/v0.6.0/clients/rust/README.md&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;&#xA;    &gt;clients/rust&lt;/a&gt; 建置而來，內含 daemon 自己的 LMDB build：系統的 liblmdb 無法讀取 store。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;client 函式庫必須與 daemon 來自同一個 emfor 發行版，並一起升級。&lt;/strong&gt; 版本不符時，查詢會以 &lt;code&gt;UNAVAILABLE&lt;/code&gt; 失敗，訊息會說明原因。&lt;/p&gt;&#xA;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;語言&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;方式&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;Rust&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;依賴同一發行版的 &lt;code&gt;emfor-client&lt;/code&gt; crate（&lt;code&gt;clients/rust&lt;/code&gt;）。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;C&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;cargo install cargo-c&lt;/code&gt;，然後在 &lt;code&gt;clients/rust&lt;/code&gt; 執行 &lt;code&gt;cargo cinstall --release --features capi --prefix /usr/local&lt;/code&gt;。這會安裝 &lt;code&gt;libemfor&lt;/code&gt;、&lt;code&gt;emfor.h&lt;/code&gt; 與 &lt;code&gt;emfor.pc&lt;/code&gt;。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;Go&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;安裝 &lt;code&gt;libemfor&lt;/code&gt;，然後 &lt;code&gt;go get github.com/embark-systems/emfor/clients/go@v0.6.0&lt;/code&gt;（需要 cgo 與 &lt;code&gt;pkg-config emfor&lt;/code&gt;）。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;Python&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;安裝 &lt;code&gt;libemfor&lt;/code&gt;，然後 &lt;code&gt;pip install clients/python&lt;/code&gt;。函式庫不在標準目錄時，設定 &lt;code&gt;EMFOR_LIBRARY&lt;/code&gt;。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;Perl&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;安裝 &lt;code&gt;libemfor&lt;/code&gt;，然後在 &lt;code&gt;clients/perl&lt;/code&gt; 執行 &lt;code&gt;perl Makefile.PL &amp;amp;&amp;amp; make -f Makefile.xs &amp;amp;&amp;amp; make -f Makefile.xs install&lt;/code&gt;。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;PHP&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;安裝 &lt;code&gt;libemfor&lt;/code&gt;，然後用 &lt;code&gt;phpize&lt;/code&gt; 建置 extension（見 &lt;a class=&#34;link&#34; href=&#34;https://github.com/embark-systems/emfor/blob/v0.6.0/clients/php/README.md&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;&#xA;    &gt;clients/php&lt;/a&gt;），並啟用 &lt;code&gt;extension=emfor&lt;/code&gt;。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;p&gt;優先使用 shared library：它只匯出 &lt;code&gt;emfor_*&lt;/code&gt; 符號，所以內含的 LMDB 不會與同一行程裡的其他 LMDB 衝突。&lt;a class=&#34;link&#34; href=&#34;../06-clients/&#34; &gt;第 6 章&lt;/a&gt;說明各 client 的用法。&lt;/p&gt;&#xA;</description>
        </item><item>
            <title>3. 設定</title>
            <link>https://embark.systems/emfor/03-configuration/</link>
            <pubDate>Mon, 01 Jan 0001 00:00:00 +0000</pubDate>
            <guid>https://embark.systems/emfor/03-configuration/</guid>
            <description>&lt;p&gt;daemon 讀取一個 TOML 檔，預設為 &lt;code&gt;/etc/emfor/emfor.toml&lt;/code&gt;（&lt;a class=&#34;link&#34; href=&#34;../02-installation/#%e9%a0%90%e8%a8%ad%e8%a8%ad%e5%ae%9a%e6%aa%94%e8%b7%af%e5%be%91&#34; &gt;第 2 章&lt;/a&gt;）。除了服務的 &lt;code&gt;check&lt;/code&gt; 與 &lt;code&gt;backends&lt;/code&gt;，每個 key 都是選用的。&lt;a class=&#34;link&#34; href=&#34;https://github.com/embark-systems/emfor/blob/v0.6.0/examples/emfor.toml&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;&#xA;    &gt;examples/emfor.toml&lt;/a&gt; 附有註解，列出所有選項。&lt;/p&gt;&#xA;&lt;h2 id=&#34;值的格式&#34;&gt;值的格式&#xA;&lt;/h2&gt;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;種類&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;格式&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;範例&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;時間長度&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;帶單位的字串&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;&amp;quot;500ms&amp;quot;&lt;/code&gt;、&lt;code&gt;&amp;quot;2s&amp;quot;&lt;/code&gt;、&lt;code&gt;&amp;quot;1m&amp;quot;&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;大小&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;帶單位的字串&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;&amp;quot;64MiB&amp;quot;&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;檔案權限&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;八進位字串&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;&amp;quot;0644&amp;quot;&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;百分比&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;以 &lt;code&gt;%&lt;/code&gt; 結尾的字串&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;&amp;quot;10%&amp;quot;&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;位址&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;IPv4:port&lt;/code&gt; 或 &lt;code&gt;[IPv6]:port&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;&amp;quot;10.0.0.11:8080&amp;quot;&lt;/code&gt;、&lt;code&gt;&amp;quot;[2001:db8::11]:8080&amp;quot;&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;p&gt;檔案中任何位置出現未知的 key 都是錯誤，所以拼錯的 key 一定會被發現。&lt;/p&gt;&#xA;&lt;h2 id=&#34;最上層&#34;&gt;最上層&#xA;&lt;/h2&gt;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;&#34;&gt;&lt;code class=&#34;language-toml&#34; data-lang=&#34;toml&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;site&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;dc1&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;Key&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;預設值&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;意義&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;site&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;無&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;這台主機所在的資料中心。&lt;code&gt;balance = &amp;quot;locality&amp;quot;&lt;/code&gt; 會用到，有 &lt;code&gt;[peers]&lt;/code&gt; 時必填。1–63 個 &lt;code&gt;a-z&lt;/code&gt;、&lt;code&gt;0-9&lt;/code&gt; 與 &lt;code&gt;-&lt;/code&gt; 字元（讀取時轉為小寫）。必須寫在第一個 table 之前。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;include_dir&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;無&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;一個目錄，裡面其他 &lt;code&gt;.toml&lt;/code&gt; 檔會併進這份設定（&lt;a class=&#34;link&#34; href=&#34;#%e6%8a%8a%e8%a8%ad%e5%ae%9a%e6%8b%86%e5%88%b0%e7%9b%ae%e9%8c%84&#34; &gt;見下&lt;/a&gt;）。只能寫在主設定檔。必須寫在第一個 table 之前。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;h2 id=&#34;store&#34;&gt;[store]&#xA;&lt;/h2&gt;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;&#34;&gt;&lt;code class=&#34;language-toml&#34; data-lang=&#34;toml&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;[&lt;span style=&#34;color:#a6e22e&#34;&gt;store&lt;/span&gt;]&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;path&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;/var/lib/emfor/state.mdb&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;map_size&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;64MiB&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;file_mode&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;0644&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;lock_file_mode&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;0666&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;sync&lt;/span&gt; = &lt;span style=&#34;color:#66d9ef&#34;&gt;false&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;Key&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;預設值&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;意義&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;path&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;/var/lib/emfor/state.mdb&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;store 檔案。client 也找這裡，除非 &lt;code&gt;EMFOR_STORE&lt;/code&gt; 另有指定。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;map_size&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;&amp;quot;64MiB&amp;quot;&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;store 能成長到的最大大小；至少 &lt;code&gt;1MiB&lt;/code&gt;，並無條件進位到 &lt;code&gt;64KiB&lt;/code&gt; 的倍數（LMDB 要求是 page size 的倍數）。達到上限時 commit 會以 &lt;code&gt;MDB_MAP_FULL&lt;/code&gt; 失敗。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;file_mode&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;&amp;quot;0644&amp;quot;&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;建立 store 檔案時的權限。應用程式需要能讀取。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;lock_file_mode&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;&amp;quot;0666&amp;quot;&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;&amp;lt;path&amp;gt;-lock&lt;/code&gt; 的權限。應用程式需要能寫入。保留預設值前請先看&lt;a class=&#34;link&#34; href=&#34;../08-operations/#%e8%aa%b0%e8%83%bd%e4%bd%bf%e7%94%a8-store&#34; &gt;誰能使用 store&lt;/a&gt;。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;sync&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;false&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;true&lt;/code&gt; 會在每次 commit 時寫入磁碟。見&lt;a class=&#34;link&#34; href=&#34;../08-operations/#%e7%a3%81%e7%a2%9f%e4%b8%8a%e7%9a%84-store&#34; &gt;磁碟上的 store&lt;/a&gt;。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;h2 id=&#34;log&#34;&gt;[log]&#xA;&lt;/h2&gt;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;Key&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;預設值&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;意義&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;level&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;&amp;quot;info&amp;quot;&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;trace&lt;/code&gt;、&lt;code&gt;debug&lt;/code&gt;、&lt;code&gt;info&lt;/code&gt;、&lt;code&gt;warn&lt;/code&gt; 或 &lt;code&gt;error&lt;/code&gt;。設定了環境變數 &lt;code&gt;RUST_LOG&lt;/code&gt; 時，整次執行都以它為準。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;h2 id=&#34;dns&#34;&gt;[dns]&#xA;&lt;/h2&gt;&lt;p&gt;只有存在這個 table 時才會啟動 DNS server；空的 &lt;code&gt;[dns]&lt;/code&gt; table 以預設值啟動。見&lt;a class=&#34;link&#34; href=&#34;../07-dns/&#34; &gt;第 7 章&lt;/a&gt;。&lt;/p&gt;&#xA;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;Key&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;預設值&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;意義&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;listen&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;[&amp;quot;127.0.0.1:5300&amp;quot;]&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;回答查詢的位址，UDP 與 TCP。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;zone&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;&amp;quot;svc.emfor&amp;quot;&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;只回答 zone 之下的名稱。最多 242 個字元。zone 之內的服務名稱要留出每個 backend 的 SRV 目標名稱空間：&lt;code&gt;&amp;lt;ip label&amp;gt;.&amp;lt;service&amp;gt;&lt;/code&gt; 最多 253 個字元（IPv6 的 label 是 39 個字元）。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;ttl&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;&amp;quot;1s&amp;quot;&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;回答與 zone SOA 的 TTL；&lt;code&gt;0s&lt;/code&gt; 到 &lt;code&gt;3600s&lt;/code&gt; 的整數秒。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;rate_limit&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;100&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;每個 client 網段（IPv4 /24、IPv6 /56）每秒的 UDP 回應數；&lt;code&gt;0&lt;/code&gt; 表示不限制。loopback 的 client 與 TCP 一律不受限。見&lt;a class=&#34;link&#34; href=&#34;../07-dns/#%e9%80%9f%e7%8e%87%e9%99%90%e5%88%b6&#34; &gt;速率限制&lt;/a&gt;。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;h2 id=&#34;metrics&#34;&gt;[metrics]&#xA;&lt;/h2&gt;&lt;p&gt;只有存在這個 table 時才會啟動 Prometheus endpoint。&lt;/p&gt;&#xA;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;Key&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;預設值&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;意義&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;listen&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;[&amp;quot;127.0.0.1:5301&amp;quot;]&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;提供 &lt;code&gt;/metrics&lt;/code&gt; 的位址。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;h2 id=&#34;peers&#34;&gt;[peers]&#xA;&lt;/h2&gt;&lt;p&gt;選用。讓這個 daemon 成為&lt;strong&gt;聯防群組&lt;/strong&gt;的成員：同一個 &lt;code&gt;site&lt;/code&gt;、在這裡列出彼此的 emfor daemon。成員每秒互送一次 heartbeat；其中一台看到 backend 從 &lt;code&gt;healthy&lt;/code&gt; 變成 &lt;code&gt;unhealthy&lt;/code&gt; 時通知其他成員，它們立刻重新檢查那個 backend，之後每 200ms 一次（最多 &lt;code&gt;fall&lt;/code&gt; 次），而不是等到下一個 &lt;code&gt;interval&lt;/code&gt;。存活成員有三台以上時，每個 backend 有三台負責主機：它們每個 &lt;code&gt;interval&lt;/code&gt; 檢查一次，並把結果送給其他成員；三台中有兩台回報 &lt;code&gt;down&lt;/code&gt;，每個成員都把該 backend 標成 down。其他成員讓兩個一致的結果決定，大約每三個 &lt;code&gt;interval&lt;/code&gt; 才自己檢查一次；其他成員認為正常、本機檢查卻失敗時，每 200ms 重新檢查一次。投票與分工沒有自己的設定，使用各服務的 &lt;code&gt;interval&lt;/code&gt;，而且只計入 &lt;code&gt;check&lt;/code&gt;、&lt;code&gt;check_options&lt;/code&gt; 與 &lt;code&gt;timeout&lt;/code&gt; 相同的成員。client 仍然只讀本機的 store。沒有 &lt;code&gt;[peers]&lt;/code&gt; 時以上都不會執行。見&lt;a class=&#34;link&#34; href=&#34;../01-concepts/#%e8%81%af%e9%98%b2%e7%be%a4%e7%b5%84&#34; &gt;第 1 章&lt;/a&gt;。&lt;/p&gt;&#xA;&lt;p&gt;設了 &lt;code&gt;peers = false&lt;/code&gt; 的服務（寫在服務的 table 或 &lt;code&gt;[defaults]&lt;/code&gt;）在這台主機上不參加群組：不送通知與結果、忽略收到的通知與結果，一律依自己的檢查判斷。其他服務仍在群組裡。這台主機會在 heartbeat 裡宣告它不參加的服務（服務名稱的短雜湊，最多 80 個），其他成員就不把它算成這些服務的負責主機；只要存活成員夠多，這些服務的 backend 仍有三台負責主機。因此每台主機可以各自決定哪些服務不參加。聯防群組與這項宣告都是 0.3.0 加入的，而 0.2.0 不接受有 &lt;code&gt;[peers]&lt;/code&gt; 的設定，所以每個成員都會讀這項宣告。不參加的服務超過 80 個時，這台主機會記一行警告，其他成員對沒宣告到的服務仍會把它算成候選。&lt;/p&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;&#34;&gt;&lt;code class=&#34;language-toml&#34; data-lang=&#34;toml&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;site&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;dc1&amp;#34;&lt;/span&gt;                               &lt;span style=&#34;color:#75715e&#34;&gt;# 有 [peers] 時必填&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;[&lt;span style=&#34;color:#a6e22e&#34;&gt;peers&lt;/span&gt;]&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;listen&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;10.0.0.5:5302&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;members&lt;/span&gt; = [&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;10.0.0.5:5302&amp;#34;&lt;/span&gt;, &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;10.0.0.6:5302&amp;#34;&lt;/span&gt;, &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;10.0.0.7:5302&amp;#34;&lt;/span&gt;]&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;secret_file&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;/etc/emfor/peers.key&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;Key&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;預設值&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;意義&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;listen&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;必填&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;這個 daemon 在群組中的 UDP 位址，必須是 &lt;code&gt;members&lt;/code&gt; 之一。要寫具體位址，不能是 &lt;code&gt;0.0.0.0&lt;/code&gt; 或 &lt;code&gt;::&lt;/code&gt;；其他成員會檢查訊息是否來自這個位址。慣用的 port 是 5302。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;members&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;必填&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;每個成員的 &lt;code&gt;listen&lt;/code&gt;，包含這個 daemon 自己：2 到 64 個位址，不可重複，和 &lt;code&gt;listen&lt;/code&gt; 一樣全是 IPv4 或全是 IPv6。同一個機房的每台主機可以用同一份清單。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;secret_file&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;必填&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;共用密鑰的絕對路徑，用來驗證並加密每則訊息：去掉一個結尾換行後至少 32 bytes，其他使用者不能讀取、group 與其他人不能寫入（&lt;code&gt;chmod 600&lt;/code&gt; 或 &lt;code&gt;640&lt;/code&gt;）。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;previous_secret_file&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;無&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;選用。&lt;code&gt;secret_file&lt;/code&gt; 上次改變前那把密鑰的絕對路徑，條件與 &lt;code&gt;secret_file&lt;/code&gt; 相同。只在啟動時讀取，讓更換密鑰期間重新啟動的 daemon 仍像沒有重新啟動一樣，用舊密鑰簽署並接受它（見下文）。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;encrypt&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;true&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;true&lt;/code&gt; 時每則訊息都加密送出，金鑰由密鑰導出：送給執行這個版本的成員用 &lt;code&gt;EMP3&lt;/code&gt;（XChaCha20-Poly1305，24 bytes 隨機 nonce），送給其他成員用 &lt;code&gt;EMP2&lt;/code&gt;（ChaCha20-Poly1305，12 bytes 隨機 nonce），依成員各自選擇，見下文。&lt;code&gt;false&lt;/code&gt; 時只簽署（&lt;code&gt;EMP1&lt;/code&gt;：HMAC-SHA256），網路上看得到 backend 名稱、位址與原因。三種格式都一律接受；&lt;code&gt;true&lt;/code&gt; 時，對仍送 &lt;code&gt;EMP1&lt;/code&gt; 的每個成員，daemon 每分鐘記一行警告。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;accept_plaintext&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;true&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;false&lt;/code&gt; 時丟棄所有 &lt;code&gt;EMP1&lt;/code&gt; 訊息（在 &lt;code&gt;emfor_peer_messages_rejected_total&lt;/code&gt; 算成 &lt;code&gt;plaintext&lt;/code&gt;），所以就算有人拿到密鑰，也無法讓這個 daemon 接受只簽署、未加密的訊息。必須搭配 &lt;code&gt;encrypt = true&lt;/code&gt;。等每個成員都送 &lt;code&gt;EMP2&lt;/code&gt; 或 &lt;code&gt;EMP3&lt;/code&gt; 之後再設。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;p&gt;只有當某個服務在兩邊的檢查定義相同時，成員之間才會分享該服務的回報：相同的 &lt;code&gt;check&lt;/code&gt;、&lt;code&gt;check_options&lt;/code&gt; 與 &lt;code&gt;timeout&lt;/code&gt;。其他設定（&lt;code&gt;interval&lt;/code&gt;、&lt;code&gt;rise&lt;/code&gt;、&lt;code&gt;fall&lt;/code&gt;、backend 清單）可以不同。&lt;/p&gt;&#xA;&lt;p&gt;密鑰檔每秒重新讀取一次。要更換密鑰時，在一分鐘內把新密鑰寫到每台主機：主機自己的檔案改變後，仍用舊密鑰簽署 60 秒、接受舊密鑰 120 秒，所以期間不會丟失訊息。如果檔案在這 60 秒內又改了一次（例如修正寫錯的密鑰），主機會繼續用先前簽署所用的那把密鑰，簽到最後一次改變後 60 秒。&lt;/p&gt;&#xA;&lt;p&gt;舊密鑰只保存在記憶體中。更換密鑰期間重新啟動的 daemon 只知道新密鑰：檔案還沒改的成員會丟棄它的訊息（&lt;code&gt;auth&lt;/code&gt;），它也會丟棄那些成員的訊息，直到那些成員的檔案改變為止。若要在更換期間安全地重新啟動，把舊密鑰留在另一個檔案，並用 &lt;code&gt;previous_secret_file&lt;/code&gt; 指向它，例如：&lt;/p&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;&#34;&gt;&lt;code class=&#34;language-sh&#34; data-lang=&#34;sh&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;cp -p /etc/emfor/peers.key /etc/emfor/peers.key.old  &lt;span style=&#34;color:#75715e&#34;&gt;# 保留權限&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;cat new.key &amp;gt; /etc/emfor/peers.key  &lt;span style=&#34;color:#75715e&#34;&gt;# 每台主機寫入同一把新密鑰；權限不變&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;這樣，在 &lt;code&gt;secret_file&lt;/code&gt; 改變後 120 秒內（依檔案的修改時間）啟動的 daemon，會用舊密鑰簽署到該次改變後 60 秒，並接受舊密鑰到該次改變後 120 秒。之後的啟動會忽略 &lt;code&gt;previous_secret_file&lt;/code&gt;，所以它可以一直留在設定裡。&lt;/p&gt;&#xA;&lt;p&gt;和接收端時鐘相差超過 5 秒的訊息會被丟棄，所以要讓主機時鐘保持同步（NTP）。&lt;/p&gt;&#xA;&lt;p&gt;&lt;code&gt;encrypt = true&lt;/code&gt; 時依成員選擇格式。這個版本送出的每則 &lt;code&gt;EMP2&lt;/code&gt; 訊息，加密的 payload 裡都帶 &lt;code&gt;&amp;quot;emp3&amp;quot;: true&lt;/code&gt;；某個成員最近一則被接受的加密訊息是 &lt;code&gt;EMP3&lt;/code&gt; 或這樣的 &lt;code&gt;EMP2&lt;/code&gt; 時，送它 &lt;code&gt;EMP3&lt;/code&gt;，否則送 &lt;code&gt;EMP2&lt;/code&gt;：包括還沒接受過它的訊息時（啟動後、或 reload 加入它之後），以及它送來不帶這個欄位的 &lt;code&gt;EMP2&lt;/code&gt;（0.4.0）或 &lt;code&gt;EMP1&lt;/code&gt; 時。每次改變記一行 &lt;code&gt;info&lt;/code&gt;（「sending EMP3 to peer &amp;hellip; from now on」）。加入 &lt;code&gt;EMP3&lt;/code&gt; 是因為 12 bytes 隨機 nonce 在同一個密鑰下大約只能安全送 2^32 則訊息，大型群組幾天內就可能送到；24 bytes 的 nonce 沒有這個限制。0.4.0 的群組升級不需要改設定：一台一台升級即可，這個版本的成員彼此在第一則訊息後改用 &lt;code&gt;EMP3&lt;/code&gt;，和 0.4.0 的成員之間用 &lt;code&gt;EMP2&lt;/code&gt;。降回 0.4.0 也不需要改設定，&lt;code&gt;encrypt&lt;/code&gt; 開或關都一樣：其他成員接受它的第一則訊息後就改回送 &lt;code&gt;EMP2&lt;/code&gt;。在那之前（它啟動後約 1 秒），它會丟掉其他成員送來的 &lt;code&gt;EMP3&lt;/code&gt;（算在 &lt;code&gt;malformed&lt;/code&gt;）。&lt;/p&gt;&#xA;&lt;p&gt;加密是 0.4.0 新增的。0.3.0 的成員只送、只收 &lt;code&gt;EMP1&lt;/code&gt;，會丟棄加密的訊息（算在 &lt;code&gt;malformed&lt;/code&gt;），所以從 0.3.0 升級群組時，每台主機升級時先設 &lt;code&gt;encrypt = false&lt;/code&gt;；所有成員都升級後，刪掉這一行（或設 &lt;code&gt;encrypt = true&lt;/code&gt;），再讓每個 daemon reload。沒有任何成員再記明文警告之後，就可以在每台主機設 &lt;code&gt;accept_plaintext = false&lt;/code&gt; 並 reload。加密沒有前向保密：日後取得密鑰的人可以讀出先前錄下的訊息。請照上面的方式定期更換密鑰，並讓密鑰檔只有 daemon 能讀。&lt;/p&gt;&#xA;&lt;h2 id=&#34;defaults&#34;&gt;[defaults]&#xA;&lt;/h2&gt;&lt;p&gt;每個服務沒有自行設定時使用的值。內建值如下：&lt;/p&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;&#34;&gt;&lt;code class=&#34;language-toml&#34; data-lang=&#34;toml&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;[&lt;span style=&#34;color:#a6e22e&#34;&gt;defaults&lt;/span&gt;]&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;interval&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;2s&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;timeout&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;1s&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;rise&lt;/span&gt; = &lt;span style=&#34;color:#ae81ff&#34;&gt;2&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;fall&lt;/span&gt; = &lt;span style=&#34;color:#ae81ff&#34;&gt;3&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;jitter&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;10%&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;on_all_down&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;open&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;balance&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;round-robin&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;peers&lt;/span&gt; = &lt;span style=&#34;color:#66d9ef&#34;&gt;true&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;slow_start&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;0s&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;Key&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;規則&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;意義&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;interval&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;100ms&lt;/code&gt; 到 &lt;code&gt;24h&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;一個 backend 的一次檢查結束到下一次開始的時間。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;timeout&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;至少 &lt;code&gt;10ms&lt;/code&gt;，不超過 &lt;code&gt;interval&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;一次檢查可以花多久。plugin 收到的是整數毫秒，並扣掉一小段餘裕。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;rise&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;至少 1&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;連續通過幾次後 backend 變成 healthy。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;fall&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;至少 1&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;連續失敗幾次後 backend 變成 unhealthy。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;jitter&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;0%&lt;/code&gt; 到 &lt;code&gt;50%&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;interval&lt;/code&gt; 的隨機浮動，讓檢查不會擠在同一時刻。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;on_all_down&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;open&lt;/code&gt; 或 &lt;code&gt;closed&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;沒有 backend 健康時查詢怎麼做（&lt;a class=&#34;link&#34; href=&#34;../05-backend-selection/#%e6%b2%92%e6%9c%89%e4%bb%bb%e4%bd%95-backend-%e5%81%a5%e5%ba%b7%e6%99%82&#34; &gt;第 5 章&lt;/a&gt;）。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;balance&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;見&lt;a class=&#34;link&#34; href=&#34;../05-backend-selection/&#34; &gt;第 5 章&lt;/a&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;如何選擇 backend。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;peers&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;true&lt;/code&gt; 或 &lt;code&gt;false&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;這個服務是否參加&lt;a class=&#34;link&#34; href=&#34;#peers&#34; &gt;聯防群組&lt;/a&gt;。沒有 &lt;code&gt;[peers]&lt;/code&gt; 時沒有作用。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;slow_start&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;0s&lt;/code&gt;（關閉），或 &lt;code&gt;1s&lt;/code&gt; 到 &lt;code&gt;1h&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;恢復的 backend 在這段時間內逐步增加分到的流量（&lt;a class=&#34;link&#34; href=&#34;../05-backend-selection/#%e6%85%a2%e5%95%9f%e5%8b%95slow-start&#34; &gt;第 5 章&lt;/a&gt;）。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;h2 id=&#34;servicesname&#34;&gt;[services.&amp;ldquo;name&amp;rdquo;]&#xA;&lt;/h2&gt;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;&#34;&gt;&lt;code class=&#34;language-toml&#34; data-lang=&#34;toml&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;[&lt;span style=&#34;color:#a6e22e&#34;&gt;services&lt;/span&gt;.&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;api.svc.emfor&amp;#34;&lt;/span&gt;]&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;check&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;http&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;backends&lt;/span&gt; = [&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;10.0.0.11:8080&amp;#34;&lt;/span&gt;, &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;10.0.0.12:8080&amp;#34;&lt;/span&gt;]&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;interval&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;1s&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;dns_ttl&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;5s&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;[&lt;span style=&#34;color:#a6e22e&#34;&gt;services&lt;/span&gt;.&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;api.svc.emfor&amp;#34;&lt;/span&gt;.&lt;span style=&#34;color:#a6e22e&#34;&gt;check_options&lt;/span&gt;]&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;path&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;/healthz&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;Key&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;必填&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;意義&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;check&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;是&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;tcp&lt;/code&gt;、&lt;code&gt;http&lt;/code&gt;、&lt;code&gt;exec&lt;/code&gt;，或已宣告的 plugin 名稱。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;backends&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;是&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;非空的 backend 清單（見下）。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;check_options&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;否&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;checker 的選項（&lt;a class=&#34;link&#34; href=&#34;../04-health-checks/&#34; &gt;第 4 章&lt;/a&gt;）。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;interval&lt;/code&gt;、&lt;code&gt;timeout&lt;/code&gt;、&lt;code&gt;rise&lt;/code&gt;、&lt;code&gt;fall&lt;/code&gt;、&lt;code&gt;jitter&lt;/code&gt;、&lt;code&gt;on_all_down&lt;/code&gt;、&lt;code&gt;balance&lt;/code&gt;、&lt;code&gt;peers&lt;/code&gt;、&lt;code&gt;slow_start&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;否&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;為這個服務覆寫 &lt;code&gt;[defaults]&lt;/code&gt;。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;dns_ttl&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;否&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;為這個服務覆寫 &lt;code&gt;[dns] ttl&lt;/code&gt;；整數秒，&lt;code&gt;0s&lt;/code&gt; 到 &lt;code&gt;3600s&lt;/code&gt;。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;p&gt;&lt;strong&gt;服務名稱&lt;/strong&gt;類似主機名稱：轉為小寫、去掉一個結尾的點，最多 253 個字元，由點分隔的 label 組成，每個 label 1–63 個 &lt;code&gt;a-z&lt;/code&gt;、&lt;code&gt;0-9&lt;/code&gt; 與 &lt;code&gt;-&lt;/code&gt; 字元，且不以 &lt;code&gt;-&lt;/code&gt; 開頭或結尾。只差在大小寫的兩個名稱視為重複。client 查詢時也用同樣方式正規化名稱。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;backend&lt;/strong&gt; 可以是字串；需要權重、site、&lt;code&gt;backup&lt;/code&gt; 或 &lt;code&gt;drain&lt;/code&gt; 時用 table：&lt;/p&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;&#34;&gt;&lt;code class=&#34;language-toml&#34; data-lang=&#34;toml&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;backends&lt;/span&gt; = [&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;  &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;10.0.4.11:9200&amp;#34;&lt;/span&gt;,&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;  { &lt;span style=&#34;color:#a6e22e&#34;&gt;addr&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;10.0.4.12:9200&amp;#34;&lt;/span&gt;, &lt;span style=&#34;color:#a6e22e&#34;&gt;weight&lt;/span&gt; = &lt;span style=&#34;color:#ae81ff&#34;&gt;3&lt;/span&gt; },&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;  { &lt;span style=&#34;color:#a6e22e&#34;&gt;addr&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;10.1.4.11:9200&amp;#34;&lt;/span&gt;, &lt;span style=&#34;color:#a6e22e&#34;&gt;site&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;dc2&amp;#34;&lt;/span&gt; },&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;  { &lt;span style=&#34;color:#a6e22e&#34;&gt;addr&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;10.2.4.11:9200&amp;#34;&lt;/span&gt;, &lt;span style=&#34;color:#a6e22e&#34;&gt;backup&lt;/span&gt; = &lt;span style=&#34;color:#66d9ef&#34;&gt;true&lt;/span&gt; },&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;  { &lt;span style=&#34;color:#a6e22e&#34;&gt;addr&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;10.0.4.13:9200&amp;#34;&lt;/span&gt;, &lt;span style=&#34;color:#a6e22e&#34;&gt;drain&lt;/span&gt; = &lt;span style=&#34;color:#66d9ef&#34;&gt;true&lt;/span&gt; },&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;]&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;Key&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;預設值&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;意義&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;addr&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;必填&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;IPv4:port&lt;/code&gt; 或 &lt;code&gt;[IPv6]:port&lt;/code&gt;，port 為 1–65535。同一服務內不可重複。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;weight&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;1&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;1 到 100。&lt;code&gt;balance = &amp;quot;weighted&amp;quot;&lt;/code&gt; 與帶 affinity key 的 &lt;code&gt;&amp;quot;sticky&amp;quot;&lt;/code&gt; 會用到。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;site&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;無&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;backend 所在的資料中心。&lt;code&gt;balance = &amp;quot;locality&amp;quot;&lt;/code&gt; 會用到。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;backup&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;false&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;true&lt;/code&gt; 或 &lt;code&gt;false&lt;/code&gt;。備援 backend 只在沒有其他 backend 通過檢查時使用（&lt;a class=&#34;link&#34; href=&#34;../05-backend-selection/#%e5%82%99%e6%8f%b4-backend&#34; &gt;第 5 章&lt;/a&gt;）。每個服務至少要有一個不是備援的 backend。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;drain&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;false&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;true&lt;/code&gt; 或 &lt;code&gt;false&lt;/code&gt;。drain 的 backend 任何 &lt;code&gt;balance&lt;/code&gt; 與 DNS 都不會選它，但檢查照跑（&lt;a class=&#34;link&#34; href=&#34;../05-backend-selection/#drain-%e4%b8%80%e5%80%8b-backend&#34; &gt;第 5 章&lt;/a&gt;）。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;p&gt;任何 &lt;code&gt;balance&lt;/code&gt; 都接受 &lt;code&gt;weight&lt;/code&gt;、&lt;code&gt;site&lt;/code&gt;、&lt;code&gt;backup&lt;/code&gt; 與 &lt;code&gt;drain&lt;/code&gt;，所以切換 &lt;code&gt;balance&lt;/code&gt; 時不必修改 backend。&lt;/p&gt;&#xA;&lt;h2 id=&#34;pluginsname&#34;&gt;[plugins.&amp;ldquo;name&amp;rdquo;]&#xA;&lt;/h2&gt;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;&#34;&gt;&lt;code class=&#34;language-toml&#34; data-lang=&#34;toml&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;[&lt;span style=&#34;color:#a6e22e&#34;&gt;plugins&lt;/span&gt;.&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;redis&amp;#34;&lt;/span&gt;]&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;command&lt;/span&gt; = [&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;/usr/local/libexec/emfor-check&amp;#34;&lt;/span&gt;, &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;redis&amp;#34;&lt;/span&gt;]&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;Key&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;意義&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;command&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;必填。程式與它的參數；第一個元素是可執行檔的絕對路徑。任何元素都不能含 NUL。不經過 shell 執行。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;p&gt;名稱為 1–63 個 &lt;code&gt;a-z&lt;/code&gt;、&lt;code&gt;0-9&lt;/code&gt;、&lt;code&gt;_&lt;/code&gt; 與 &lt;code&gt;-&lt;/code&gt; 字元，且不可為 &lt;code&gt;tcp&lt;/code&gt;、&lt;code&gt;http&lt;/code&gt; 或 &lt;code&gt;exec&lt;/code&gt;。服務以 &lt;code&gt;check = &amp;quot;&amp;lt;name&amp;gt;&amp;quot;&lt;/code&gt; 使用 plugin。每個宣告的 plugin 都會被啟動，不論有沒有服務使用。見&lt;a class=&#34;link&#34; href=&#34;../04-health-checks/#plugin-%e8%88%87-emfor-check&#34; &gt;第 4 章&lt;/a&gt;。&lt;/p&gt;&#xA;&lt;h2 id=&#34;把設定拆到目錄&#34;&gt;把設定拆到目錄&#xA;&lt;/h2&gt;&lt;p&gt;主設定檔裡寫 &lt;code&gt;include_dir = &amp;quot;conf.d&amp;quot;&lt;/code&gt;，daemon 會先讀主設定檔，再讀該目錄裡每個 &lt;code&gt;.toml&lt;/code&gt; 檔，檢查之前先合併成一份設定。相對路徑相對於主設定檔所在的目錄（&lt;code&gt;/etc/emfor/emfor.toml&lt;/code&gt; 對應 &lt;code&gt;/etc/emfor/conf.d&lt;/code&gt;）。這樣套件可以管 &lt;code&gt;emfor.toml&lt;/code&gt;，各團隊或設定管理工具則各管自己服務的檔案：&lt;/p&gt;&#xA;&lt;pre tabindex=&#34;0&#34;&gt;&lt;code&gt;/etc/emfor/emfor.toml            include_dir = &amp;#34;conf.d&amp;#34;、[store]、[dns]&#xA;/etc/emfor/conf.d/01-plugins.toml&#xA;/etc/emfor/conf.d/10-web.toml&#xA;/etc/emfor/conf.d/99-local.toml&#xA;&lt;/code&gt;&lt;/pre&gt;&lt;p&gt;&lt;strong&gt;讀哪些檔、什麼順序。&lt;/strong&gt; 名稱以 &lt;code&gt;.toml&lt;/code&gt; 結尾、不以 &lt;code&gt;.&lt;/code&gt; 開頭的一般檔案，以及指向一般檔案的連結。依檔名的位元組順序讀取，不看地區語言的排序；後面的檔案蓋掉前面的，主設定檔是最底層。數字請補零：&lt;code&gt;9-a.toml&lt;/code&gt; 排在 &lt;code&gt;10-a.toml&lt;/code&gt; 之後。其他東西一律忽略（&lt;code&gt;web.toml~&lt;/code&gt;、&lt;code&gt;.web.toml.swp&lt;/code&gt;、&lt;code&gt;web.toml.disabled&lt;/code&gt;、子目錄），所以把檔案改名就能讓它退出設定。檔名不是 UTF-8 的會略過並在 log 裡警告。空目錄沒有問題。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;怎麼合併。&lt;/strong&gt; 兩個 table 逐鍵合併，有多深合多深。其他一律由後面的值整個取代：數字、字串、清單（包含 &lt;code&gt;backends&lt;/code&gt; 與 &lt;code&gt;command&lt;/code&gt;），或型別不同的值。&lt;/p&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;&#34;&gt;&lt;code class=&#34;language-toml&#34; data-lang=&#34;toml&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#75715e&#34;&gt;# emfor.toml&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;[&lt;span style=&#34;color:#a6e22e&#34;&gt;services&lt;/span&gt;.&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;api.svc.emfor&amp;#34;&lt;/span&gt;]&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;check&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;tcp&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;backends&lt;/span&gt; = [&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;10.0.0.1:80&amp;#34;&lt;/span&gt;, &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;10.0.0.2:80&amp;#34;&lt;/span&gt;]&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;interval&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;2s&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;&#34;&gt;&lt;code class=&#34;language-toml&#34; data-lang=&#34;toml&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#75715e&#34;&gt;# conf.d/99-local.toml&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;[&lt;span style=&#34;color:#a6e22e&#34;&gt;services&lt;/span&gt;.&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;api.svc.emfor&amp;#34;&lt;/span&gt;]&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;interval&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;5s&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;這個服務保有原來的 &lt;code&gt;check&lt;/code&gt; 與兩個 &lt;code&gt;backends&lt;/code&gt;，&lt;code&gt;interval&lt;/code&gt; 變成 &lt;code&gt;&amp;quot;5s&amp;quot;&lt;/code&gt;。要改 backend，就把整份清單再寫一次。後面的檔案不能刪掉服務、plugin 或 backend；要從定義它的檔案裡拿掉，或把那個檔案改名讓它被忽略。合併後沒有 &lt;code&gt;check&lt;/code&gt; 或沒有 &lt;code&gt;backends&lt;/code&gt; 的服務是錯誤，和單一檔案一樣。合併後的設定，其檢查、啟動、reload 與跟 peer 的交換，都和把同樣內容寫在單一檔案裡完全一樣；怎麼拆檔不會改變 peer 比對的服務定義。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;只能放在主設定檔的鍵。&lt;/strong&gt; &lt;code&gt;[store]&lt;/code&gt; 與 &lt;code&gt;include_dir&lt;/code&gt; 本身。&lt;code&gt;emfor status&lt;/code&gt; 與 &lt;code&gt;emfor lookup&lt;/code&gt; 只讀主設定檔，所以片段不能搬動 store，也不能再引入別的目錄。只用 &lt;code&gt;status&lt;/code&gt; 與 &lt;code&gt;lookup&lt;/code&gt; 的人只要能讀主設定檔，不需要讀那個目錄。其他東西，包含 &lt;code&gt;site&lt;/code&gt;、&lt;code&gt;[dns]&lt;/code&gt;、&lt;code&gt;[peers]&lt;/code&gt;、&lt;code&gt;[plugins]&lt;/code&gt;，放在哪個檔案都可以。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;權限。&lt;/strong&gt; 目錄與裡面被讀的每個檔案都不能讓 group 或其他人寫入（&lt;code&gt;0755&lt;/code&gt; 與 &lt;code&gt;0644&lt;/code&gt; 可以，&lt;code&gt;0775&lt;/code&gt; 與 &lt;code&gt;0664&lt;/code&gt; 不行），否則整份設定被拒絕，錯誤會指出路徑與權限。擁有者必須是 root 或執行 emfor 的使用者（符號連結看它指向的檔案的擁有者），否則同樣被拒絕，因為其他人擁有的檔案，那個人可以隨時改。請以 daemon 執行的使用者身分跑 &lt;code&gt;emfor check-config&lt;/code&gt;（systemd unit 與 FreeBSD 的 &lt;code&gt;configtest&lt;/code&gt; 就是這樣）；手動以 root 執行時，只接受 root 擁有的檔案。片段可以宣告 plugin 的 &lt;code&gt;command&lt;/code&gt; 或 &lt;code&gt;exec&lt;/code&gt; 檢查，能寫那裡的人就能以 daemon 的使用者身分執行程式。主設定檔不做這個檢查，請自己保護好（&lt;code&gt;0644&lt;/code&gt;，擁有者 root）。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;目錄必須存在。&lt;/strong&gt; 套件會建立它。&lt;code&gt;include_dir&lt;/code&gt; 指向不存在的目錄是錯誤：啟動時 daemon 記錄錯誤並以 2 結束；reload 時這次 reload 被拒絕，舊設定繼續執行。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;錯誤會指出檔案。&lt;/strong&gt; TOML 語法錯誤以 &lt;code&gt;檔案:行:欄&lt;/code&gt; 回報，其他錯誤是 TOML 路徑加上設定該鍵的檔案（&lt;code&gt;services.&amp;quot;api.svc.emfor&amp;quot;.interval: ... (in /etc/emfor/conf.d/99-local.toml)&lt;/code&gt;）。錯誤來自兩個檔案的值時（例如一個檔案的 &lt;code&gt;timeout&lt;/code&gt; 與另一個檔案的 &lt;code&gt;interval&lt;/code&gt;），指出的是比較後面的那個檔案。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;寫檔的方式。&lt;/strong&gt; 先寫成目錄外或不以 &lt;code&gt;.toml&lt;/code&gt; 結尾的暫存檔名，再改名放進去。reload 讀到寫到一半的檔案會被拒絕，舊設定繼續執行，但用原子改名可以避免這次失敗的 reload。&lt;/p&gt;&#xA;&lt;h2 id=&#34;檢查設定檔&#34;&gt;檢查設定檔&#xA;&lt;/h2&gt;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;&#34;&gt;&lt;code class=&#34;language-sh&#34; data-lang=&#34;sh&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;$ emfor check-config&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;config ok: &lt;span style=&#34;color:#ae81ff&#34;&gt;8&lt;/span&gt; services, &lt;span style=&#34;color:#ae81ff&#34;&gt;19&lt;/span&gt; backends&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;&lt;code&gt;emfor check-config&lt;/code&gt; 檢查整個檔案並印出每一個錯誤，每個錯誤都帶著它的 TOML 路徑，例如：&lt;/p&gt;&#xA;&lt;pre tabindex=&#34;0&#34;&gt;&lt;code&gt;services.&amp;#34;api.svc.emfor&amp;#34;.timeout: timeout must not exceed interval&#xA;&lt;/code&gt;&lt;/pre&gt;&lt;p&gt;設定了 &lt;code&gt;include_dir&lt;/code&gt; 時，它接著列出讀過的檔案，主設定檔在前，其他依合併順序排列：&lt;/p&gt;&#xA;&lt;pre tabindex=&#34;0&#34;&gt;&lt;code&gt;config ok: 8 services, 19 backends&#xA;read /etc/emfor/emfor.toml&#xA;read /etc/emfor/conf.d/10-web.toml&#xA;read /etc/emfor/conf.d/99-local.toml&#xA;&lt;/code&gt;&lt;/pre&gt;&lt;p&gt;daemon 在啟動與每次 reload 之後記錄同一份清單。沒有 &lt;code&gt;include_dir&lt;/code&gt; 時輸出只有那一行。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;看合併後的設定。&lt;/strong&gt; &lt;code&gt;emfor check-config --show&lt;/code&gt; 以同樣的方式檢查設定，接著把合併後的設定以 TOML 印到標準輸出，每個值後面寫明最後設定它的檔案：&lt;/p&gt;&#xA;&lt;pre tabindex=&#34;0&#34;&gt;&lt;code&gt;# include_dir = &amp;#34;conf.d&amp;#34; (its files are merged below)&#xA;&#xA;[services.&amp;#34;api.svc.emfor&amp;#34;]&#xA;backends = [&amp;#34;10.0.0.1:80&amp;#34;, &amp;#34;10.0.0.2:80&amp;#34;] # /etc/emfor/emfor.toml&#xA;check = &amp;#34;tcp&amp;#34; # /etc/emfor/emfor.toml&#xA;interval = &amp;#34;5s&amp;#34; # /etc/emfor/conf.d/99-local.toml&#xA;&lt;/code&gt;&lt;/pre&gt;&lt;p&gt;&lt;code&gt;backends&lt;/code&gt; 這類清單是整個一起設定的，所以它的註解寫的是設定這份清單的檔案。&lt;code&gt;config ok&lt;/code&gt; 與 &lt;code&gt;read&lt;/code&gt; 行會寫到標準錯誤，所以 &lt;code&gt;emfor check-config --show &amp;gt; merged.toml&lt;/code&gt; 存下來的檔案在哪裡都可以再被檢查，因為 &lt;code&gt;include_dir&lt;/code&gt; 那一行只以註解寫出（它的檔案已經合併進來了）；除了註解，內容相同。設定裡除了 &lt;code&gt;include_dir&lt;/code&gt; 之外的相對路徑，都不依設定檔所在的目錄而變。無效的設定在標準輸出不印任何東西，並以 2 結束。沒有 &lt;code&gt;include_dir&lt;/code&gt; 時，輸出開頭有一行註解寫明檔案，沒有其他註解。內建預設值不會加進去：你沒寫的鍵不會出現。沒有任何值被遮蔽；設定裡放的是密碼檔的路徑，不是密碼，但 plugin 的 &lt;code&gt;command&lt;/code&gt; 會照原樣印出，所以不要把祕密寫在那裡。註解的格式是給人看的，不要用程式解析它。&lt;/p&gt;&#xA;&lt;p&gt;設定有效時結束代碼為 0，否則為 2（輸出寫不出去時，例如磁碟滿了，為 1；管線被關掉不算錯誤）。它會啟動宣告的 plugin，讓它們檢查各服務的 &lt;code&gt;check_options&lt;/code&gt;，並在結束前停止它們。它不會開啟 store。以無效設定啟動的 daemon 會記錄同樣的錯誤，並以 2 結束。&lt;/p&gt;&#xA;&lt;h2 id=&#34;reload-會改變什麼&#34;&gt;reload 會改變什麼&#xA;&lt;/h2&gt;&lt;p&gt;&lt;code&gt;SIGHUP&lt;/code&gt;（&lt;code&gt;systemctl reload emfor&lt;/code&gt;、&lt;code&gt;service emfor reload&lt;/code&gt;）會重新讀取檔案，連同 &lt;code&gt;include_dir&lt;/code&gt; 裡的檔案。只要有任何錯誤（不論在哪個檔案），或 &lt;code&gt;include_dir&lt;/code&gt; 不見了，整份設定就被拒絕：daemon 記錄每一個錯誤，繼續用舊的設定執行。&lt;/p&gt;&#xA;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;變更&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;reload 時&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;新增或移除服務與 backend&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;套用；新的 backend 從 &lt;code&gt;unknown&lt;/code&gt; 開始。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;服務的 &lt;code&gt;check&lt;/code&gt; 或 &lt;code&gt;check_options&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;套用；它的 backend 從 &lt;code&gt;unknown&lt;/code&gt; 重新開始。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;interval&lt;/code&gt;、&lt;code&gt;timeout&lt;/code&gt;、&lt;code&gt;rise&lt;/code&gt;、&lt;code&gt;fall&lt;/code&gt;、&lt;code&gt;jitter&lt;/code&gt;、&lt;code&gt;on_all_down&lt;/code&gt;、&lt;code&gt;peers&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;套用；backend 保留原狀態。新的 &lt;code&gt;interval&lt;/code&gt; 或 &lt;code&gt;jitter&lt;/code&gt; 也套用到正在進行的等待：下一次檢查改在上一次結束後經過新的等待時間時開始，若那個時間已經過了就立刻開始。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;balance&lt;/code&gt;、&lt;code&gt;weight&lt;/code&gt;、&lt;code&gt;site&lt;/code&gt;（最上層與 backend）、&lt;code&gt;backup&lt;/code&gt;、&lt;code&gt;drain&lt;/code&gt;、&lt;code&gt;dns_ttl&lt;/code&gt;、&lt;code&gt;slow_start&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;套用；backend 保留狀態，正在慢啟動的 backend 保留它的恢復時間。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;[dns] zone&lt;/code&gt;、&lt;code&gt;[dns] ttl&lt;/code&gt;、&lt;code&gt;[dns] rate_limit&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;套用。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;[log] level&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;套用（除非設定了 &lt;code&gt;RUST_LOG&lt;/code&gt;）。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;plugin 的 &lt;code&gt;command&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;該 plugin 重新啟動，使用它的服務從 &lt;code&gt;unknown&lt;/code&gt; 重新開始。未變更的 plugin 繼續執行。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;[store]&lt;/code&gt; 中的任何設定&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;拒絕；需要重新啟動。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;[dns] listen&lt;/code&gt;、新增或移除 &lt;code&gt;[dns]&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;拒絕（&lt;code&gt;dns listen settings require restart&lt;/code&gt;）。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;[metrics] listen&lt;/code&gt;、新增或移除 &lt;code&gt;[metrics]&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;拒絕（&lt;code&gt;metrics listen settings require restart&lt;/code&gt;）。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;[peers] members&lt;/code&gt;、&lt;code&gt;[peers] secret_file&lt;/code&gt;、&lt;code&gt;[peers] encrypt&lt;/code&gt;、&lt;code&gt;[peers] accept_plaintext&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;套用；新加入的成員從不存活開始。&lt;code&gt;previous_secret_file&lt;/code&gt; 會檢查，但只在啟動時讀取。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;[peers] listen&lt;/code&gt;、新增或移除 &lt;code&gt;[peers]&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;拒絕（&lt;code&gt;peers listen settings require restart&lt;/code&gt;）。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;</description>
        </item><item>
            <title>4. 健康檢查</title>
            <link>https://embark.systems/emfor/04-health-checks/</link>
            <pubDate>Mon, 01 Jan 0001 00:00:00 +0000</pubDate>
            <guid>https://embark.systems/emfor/04-health-checks/</guid>
            <description>&lt;p&gt;服務的 &lt;code&gt;check&lt;/code&gt; 決定如何測試每個 backend，&lt;code&gt;check_options&lt;/code&gt; table 則設定該 checker。每次檢查都以 &lt;code&gt;up&lt;/code&gt;、&lt;code&gt;down&lt;/code&gt; 或 &lt;code&gt;error&lt;/code&gt; 結束（&lt;a class=&#34;link&#34; href=&#34;../01-concepts/#%e6%aa%a2%e6%9f%a5%e7%b5%90%e6%9e%9c%e8%88%87%e5%81%a5%e5%ba%b7%e7%8b%80%e6%85%8b&#34; &gt;第 1 章&lt;/a&gt;）。&lt;/p&gt;&#xA;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;&lt;code&gt;check&lt;/code&gt;&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;測試什麼&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;適合&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;tcp&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;一條 TCP 連線，可選擇加上 TLS 與 send/expect 交換&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;任何 TCP 服務；以歡迎訊息開場的協定，例如 SMTP&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;http&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;一個 &lt;code&gt;GET&lt;/code&gt; 請求與它的狀態碼&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;Web 服務與 health endpoint&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;exec&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;每次檢查執行一次的程式&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;既有的 Nagios 式 script、不頻繁的檢查&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;plugin 名稱&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;長時間執行的 plugin 程式&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;redis、MySQL、PostgreSQL、LDAP、DNS、RADIUS、SIP、Diameter、SMTP、AMQP、MongoDB、gRPC、QUIC 與 HTTP/3（&lt;code&gt;emfor-check&lt;/code&gt;），或你自己寫的&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;p&gt;在服務的 &lt;code&gt;timeout&lt;/code&gt; 內沒有完成的檢查，結果是 &lt;code&gt;down&lt;/code&gt;，reason 為 &lt;code&gt;timeout&lt;/code&gt;。唯一的例外是 plugin：plugin 沒有及時回答時結果是 &lt;code&gt;error&lt;/code&gt;，因為遲到的是 plugin，不是 backend。&lt;/p&gt;&#xA;&lt;h2 id=&#34;tcp&#34;&gt;tcp&#xA;&lt;/h2&gt;&lt;p&gt;沒有選項時，backend 接受連線即為 &lt;code&gt;up&lt;/code&gt;；emfor 隨即關閉連線。連線被拒絕或無法到達則為 &lt;code&gt;down&lt;/code&gt;；本機沒有通往 backend 的路由、或本機防火牆擋下連線時也是 &lt;code&gt;down&lt;/code&gt;，因為本機的應用程式同樣連不到這個 backend。只有本機資源不足（開啟的檔案、緩衝區、記憶體、本機 port）才是 &lt;code&gt;error&lt;/code&gt;。&lt;/p&gt;&#xA;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;選項&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;型別&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;預設值&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;意義&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;send&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;字串&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;無&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;連線後寫出一次的位元組。TOML 跳脫字元如 &lt;code&gt;\r\n&lt;/code&gt; 會以對應位元組送出。需要搭配 &lt;code&gt;expect&lt;/code&gt;。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;expect&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;字串&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;無&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;backend 送來的資料中必須出現的位元組（區分大小寫，最多讀 16384 位元組）。最長 16384 位元組。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;tls&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;布林&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;false&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;連線後立即進行 TLS handshake；絕不退回明文。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;tls_verify&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;布林&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;true&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;false&lt;/code&gt; 接受任何憑證（仍然加密）。需要 &lt;code&gt;tls = true&lt;/code&gt;。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;server_name&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;字串&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;backend IP&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;憑證必須符合的名稱（或 IP）；是名稱時也作為 SNI 送出。需要 &lt;code&gt;tls = true&lt;/code&gt;。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;ca_file&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;絕對路徑&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;系統 CA&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;改為信任這個 PEM 檔中的 CA 憑證。載入設定時檔案必須存在，且至少有一張可以當作 CA 使用的憑證。需要 &lt;code&gt;tls = true&lt;/code&gt;。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;&#34;&gt;&lt;code class=&#34;language-toml&#34; data-lang=&#34;toml&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;[&lt;span style=&#34;color:#a6e22e&#34;&gt;services&lt;/span&gt;.&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;smtp.svc.emfor&amp;#34;&lt;/span&gt;]&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;check&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;tcp&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;backends&lt;/span&gt; = [&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;10.0.6.11:25&amp;#34;&lt;/span&gt;, &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;10.0.6.12:25&amp;#34;&lt;/span&gt;]&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;check_options&lt;/span&gt; = { &lt;span style=&#34;color:#a6e22e&#34;&gt;expect&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;220&amp;#34;&lt;/span&gt; }&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;[&lt;span style=&#34;color:#a6e22e&#34;&gt;services&lt;/span&gt;.&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;memcache.svc.emfor&amp;#34;&lt;/span&gt;]&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;check&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;tcp&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;backends&lt;/span&gt; = [&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;10.0.7.11:11211&amp;#34;&lt;/span&gt;]&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;check_options&lt;/span&gt; = { &lt;span style=&#34;color:#a6e22e&#34;&gt;send&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;stats\r\n&amp;#34;&lt;/span&gt;, &lt;span style=&#34;color:#a6e22e&#34;&gt;expect&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;STAT pid&amp;#34;&lt;/span&gt; }&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;[&lt;span style=&#34;color:#a6e22e&#34;&gt;services&lt;/span&gt;.&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;imap.svc.emfor&amp;#34;&lt;/span&gt;]&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;check&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;tcp&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;backends&lt;/span&gt; = [&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;10.0.8.11:993&amp;#34;&lt;/span&gt;]&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;check_options&lt;/span&gt; = { &lt;span style=&#34;color:#a6e22e&#34;&gt;tls&lt;/span&gt; = &lt;span style=&#34;color:#66d9ef&#34;&gt;true&lt;/span&gt;, &lt;span style=&#34;color:#a6e22e&#34;&gt;server_name&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;imap.internal&amp;#34;&lt;/span&gt;, &lt;span style=&#34;color:#a6e22e&#34;&gt;expect&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;* OK&amp;#34;&lt;/span&gt; }&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;常見的 reason：&lt;code&gt;expect: got &amp;quot;421 too busy\r\n&amp;quot;&lt;/code&gt;（收到的前 64 位元組，已跳脫）、&lt;code&gt;send: ...&lt;/code&gt;、&lt;code&gt;tls: ...&lt;/code&gt;、&lt;code&gt;tls: no answer to the TLS handshake (does the port speak TLS?)&lt;/code&gt;，以及伺服器不回應握手、直接關閉連線時的 &lt;code&gt;tls: connection closed during the TLS handshake (does the server have a certificate?)&lt;/code&gt;（例如 Active Directory 沒有憑證時的 636 port）。&lt;/p&gt;&#xA;&lt;h2 id=&#34;http&#34;&gt;http&#xA;&lt;/h2&gt;&lt;p&gt;每次檢查對 backend 的 IP 與 port 送一個 &lt;code&gt;GET&lt;/code&gt;。不會跟隨重新導向。&lt;/p&gt;&#xA;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;選項&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;型別&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;預設值&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;意義&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;scheme&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;&amp;quot;http&amp;quot;&lt;/code&gt; 或 &lt;code&gt;&amp;quot;https&amp;quot;&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;&amp;quot;http&amp;quot;&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;協定。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;path&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;以 &lt;code&gt;/&lt;/code&gt; 開頭的字串&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;&amp;quot;/&amp;quot;&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;請求路徑。&lt;code&gt;#&lt;/code&gt;、&lt;code&gt;\&lt;/code&gt; 與控制字元會被拒絕，因為請求 URL 會在那裡截斷或改寫路徑；空白等特殊字元會以百分比編碼送出。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;host_header&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;字串&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;無&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;要送出的 &lt;code&gt;Host&lt;/code&gt; header：主機名稱或 IP 位址，可加 &lt;code&gt;:port&lt;/code&gt;，IPv6 要加中括號（&lt;code&gt;api.internal&lt;/code&gt;、&lt;code&gt;api.internal:8443&lt;/code&gt;、&lt;code&gt;[2001:db8::1]&lt;/code&gt;）。連線仍然連到 backend；用 &lt;code&gt;https&lt;/code&gt; 時，主機名稱也是 TLS 的 server name。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;expect_status&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;非空清單&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;[&amp;quot;200-399&amp;quot;]&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;視為 &lt;code&gt;up&lt;/code&gt; 的狀態碼：單一狀態碼（&lt;code&gt;200&lt;/code&gt; 或 &lt;code&gt;&amp;quot;200&amp;quot;&lt;/code&gt;）或含頭尾的範圍（&lt;code&gt;&amp;quot;200-299&amp;quot;&lt;/code&gt;），都必須在 100–599 之間。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;tls_verify&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;布林&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;true&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;用於 &lt;code&gt;https&lt;/code&gt;：&lt;code&gt;false&lt;/code&gt; 接受任何憑證。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;expect_body&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;字串&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;無&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;回應內容必須含有這段位元組（區分大小寫，最多讀 65536 位元組）。最長 16384 位元組。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;&#34;&gt;&lt;code class=&#34;language-toml&#34; data-lang=&#34;toml&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;[&lt;span style=&#34;color:#a6e22e&#34;&gt;services&lt;/span&gt;.&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;api.svc.emfor&amp;#34;&lt;/span&gt;.&lt;span style=&#34;color:#a6e22e&#34;&gt;check_options&lt;/span&gt;]&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;path&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;/healthz&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;host_header&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;api.internal&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;expect_status&lt;/span&gt; = [&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;200-299&amp;#34;&lt;/span&gt;]&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;expect_body&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#39;&amp;#34;status&amp;#34;:&amp;#34;UP&amp;#34;&amp;#39;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;狀態碼不在清單內時為 &lt;code&gt;down&lt;/code&gt;，reason 中帶有狀態碼，也不會讀內容。設了 &lt;code&gt;expect_body&lt;/code&gt; 時，狀態碼符合的回應會一直讀到找到這段文字、內容結束或讀滿 65536 位元組；找不到時為 &lt;code&gt;down&lt;/code&gt;，reason 為 &lt;code&gt;expect_body: got &amp;quot;&amp;lt;前 64 位元組，escape 後&amp;gt;&amp;quot;&lt;/code&gt;，讀內容失敗時 reason 以 &lt;code&gt;body: &lt;/code&gt; 開頭。適合不論好壞都回 200、把狀態寫在內容裡的健康端點。此時 &lt;code&gt;fastest&lt;/code&gt; 用的延遲包含讀內容的時間。&lt;/p&gt;&#xA;&lt;h2 id=&#34;exec&#34;&gt;exec&#xA;&lt;/h2&gt;&lt;p&gt;每次檢查執行一次程式，不經過 shell。backend 以環境變數 &lt;code&gt;EMFOR_IP&lt;/code&gt;、&lt;code&gt;EMFOR_PORT&lt;/code&gt; 與 &lt;code&gt;EMFOR_SERVICE&lt;/code&gt; 傳入。&lt;/p&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;&#34;&gt;&lt;code class=&#34;language-toml&#34; data-lang=&#34;toml&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;[&lt;span style=&#34;color:#a6e22e&#34;&gt;services&lt;/span&gt;.&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;report.svc.emfor&amp;#34;&lt;/span&gt;]&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;check&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;exec&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;backends&lt;/span&gt; = [&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;10.0.3.1:5432&amp;#34;&lt;/span&gt;]&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;interval&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;10s&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;timeout&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;5s&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;check_options&lt;/span&gt; = { &lt;span style=&#34;color:#a6e22e&#34;&gt;command&lt;/span&gt; = [&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;/usr/local/libexec/check_pg_replication&amp;#34;&lt;/span&gt;, &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;--max-lag&amp;#34;&lt;/span&gt;, &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;60&amp;#34;&lt;/span&gt;] }&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;結束方式&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;結果&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;0&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;up&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;1 或 2&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;down&lt;/code&gt;；reason 為 stdout 的第一行，或 &lt;code&gt;exit code N&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;其他結束代碼、被 signal 終止、無法啟動&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;error&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;到 &lt;code&gt;timeout&lt;/code&gt; 仍在執行&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;down&lt;/code&gt;（&lt;code&gt;timeout&lt;/code&gt;）；程式與它所有子行程都會被終止&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;p&gt;&lt;code&gt;command&lt;/code&gt; 是唯一的選項：不含 NUL 的字串組成的非空清單，第一個元素是可執行檔的絕對路徑。每次檢查都啟動一個行程的成本不低；需要頻繁檢查很多 backend 時，請用 plugin。要執行現成的、命令列需要 &lt;code&gt;-H&lt;/code&gt; 與 &lt;code&gt;-p&lt;/code&gt; 的 Nagios 外掛，見&lt;a class=&#34;link&#34; href=&#34;../08-operations/#%e5%be%9e-nagiosicinga-%e6%88%96-zabbix-%e7%9b%a3%e7%9c%8b-emfor&#34; &gt;從 Nagios 監看 emfor&lt;/a&gt;。&lt;/p&gt;&#xA;&lt;h2 id=&#34;plugin-與-emfor-check&#34;&gt;plugin 與 emfor-check&#xA;&lt;/h2&gt;&lt;p&gt;plugin 是長時間執行的程式：daemon 啟動它一次，之後透過它的 stdin 與 stdout，以 JSON 行傳送檢查請求。一個行程服務所有使用它的服務，並且可以在檢查之間保留連線與狀態。&lt;/p&gt;&#xA;&lt;p&gt;emfor 附帶一個 plugin 程式 &lt;code&gt;emfor-check&lt;/code&gt;，由參數選擇檢查種類：&lt;/p&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;&#34;&gt;&lt;code class=&#34;language-toml&#34; data-lang=&#34;toml&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;[&lt;span style=&#34;color:#a6e22e&#34;&gt;plugins&lt;/span&gt;.&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;pgsql&amp;#34;&lt;/span&gt;]&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;command&lt;/span&gt; = [&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;/usr/local/libexec/emfor-check&amp;#34;&lt;/span&gt;, &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;pgsql&amp;#34;&lt;/span&gt;]&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;[&lt;span style=&#34;color:#a6e22e&#34;&gt;services&lt;/span&gt;.&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;db.svc.emfor&amp;#34;&lt;/span&gt;]&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;check&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;pgsql&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;balance&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;failover&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;backends&lt;/span&gt; = [&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;10.0.3.1:5432&amp;#34;&lt;/span&gt;, &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;10.0.3.2:5432&amp;#34;&lt;/span&gt;]&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;check_options&lt;/span&gt; = { &lt;span style=&#34;color:#a6e22e&#34;&gt;user&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;emfor&amp;#34;&lt;/span&gt;, &lt;span style=&#34;color:#a6e22e&#34;&gt;database&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;postgres&amp;#34;&lt;/span&gt;, &lt;span style=&#34;color:#a6e22e&#34;&gt;role&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;primary&amp;#34;&lt;/span&gt;, &lt;span style=&#34;color:#a6e22e&#34;&gt;password_file&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;/etc/emfor/pg.pass&amp;#34;&lt;/span&gt; }&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;參數&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;何時為 up&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;redis&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;PING&lt;/code&gt; 回答 &lt;code&gt;PONG&lt;/code&gt;（設定密碼時先 &lt;code&gt;AUTH&lt;/code&gt;）&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;mysql&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;登入成功且 &lt;code&gt;SELECT 1&lt;/code&gt; 回傳 1（以 MariaDB 與 MySQL 8.0、8.4 測試）&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;pgsql&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;登入成功且 &lt;code&gt;SELECT 1&lt;/code&gt; 回傳 1&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;ldap&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;simple bind 成功&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;dns&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;一次查詢得到預期的 response code（設定 &lt;code&gt;expect_answer&lt;/code&gt; 時還要有記錄）&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;radius&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;Status-Server（或 Access-Request）得到以共享密鑰簽署的 accept&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;sip&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;OPTIONS 請求得到 &lt;code&gt;expect_status&lt;/code&gt; 內的最終狀態碼（預設 200 到 499）&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;diameter&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;能力交換（CER / CEA）與 Device-Watchdog（DWR / DWA）成功&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;smtp&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;歡迎訊息為 220 且 &lt;code&gt;EHLO&lt;/code&gt; 回答 250；要求時經 STARTTLS 或 TLS&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;amqp&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;AMQP 0-9-1 登入成功且 vhost 開啟&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;mongodb&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;hello&lt;/code&gt; 有回應、設了 &lt;code&gt;user&lt;/code&gt; 時 SCRAM-SHA-256 登入成功，且角色符合&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;grpc&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;標準健康服務（&lt;code&gt;grpc.health.v1.Health/Check&lt;/code&gt;）回答 &lt;code&gt;SERVING&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;quic&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;經 UDP 完成 QUIC 握手，憑證通過驗證且 ALPN 在 &lt;code&gt;alpn&lt;/code&gt; 之內；&lt;code&gt;http3 = true&lt;/code&gt; 時，HTTP/3 &lt;code&gt;GET&lt;/code&gt; 的狀態碼還要在 &lt;code&gt;expect_status&lt;/code&gt; 之內&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;p&gt;主要選項：&lt;code&gt;user&lt;/code&gt;、&lt;code&gt;password_file&lt;/code&gt;（絕不寫密碼本身；每次檢查都會讀取）、&lt;code&gt;database&lt;/code&gt;（&lt;code&gt;pgsql&lt;/code&gt;）、&lt;code&gt;role&lt;/code&gt;（redis 為 &lt;code&gt;master&lt;/code&gt;/&lt;code&gt;replica&lt;/code&gt;，MySQL 與 PostgreSQL 為 &lt;code&gt;primary&lt;/code&gt;/&lt;code&gt;replica&lt;/code&gt;；&lt;code&gt;primary&lt;/code&gt; 讓 &lt;code&gt;failover&lt;/code&gt; 跟著 primary 走，&lt;code&gt;replica&lt;/code&gt; 另外要求複寫正在進行；MongoDB 為 &lt;code&gt;primary&lt;/code&gt;/&lt;code&gt;secondary&lt;/code&gt;）、&lt;code&gt;max_lag&lt;/code&gt;（搭配 &lt;code&gt;role = &amp;quot;replica&amp;quot;&lt;/code&gt;，replica 最多可以落後幾秒），以及 &lt;code&gt;tls&lt;/code&gt;、&lt;code&gt;starttls&lt;/code&gt;（&lt;code&gt;ldap&lt;/code&gt;）、&lt;code&gt;tls_verify&lt;/code&gt;、&lt;code&gt;server_name&lt;/code&gt;、&lt;code&gt;ca_file&lt;/code&gt;。&lt;code&gt;dns&lt;/code&gt; plugin 則用 &lt;code&gt;name&lt;/code&gt;、&lt;code&gt;type&lt;/code&gt;、&lt;code&gt;transport&lt;/code&gt;、&lt;code&gt;recursion_desired&lt;/code&gt;、&lt;code&gt;expect_rcode&lt;/code&gt;、&lt;code&gt;expect_answer&lt;/code&gt;；&lt;code&gt;radius&lt;/code&gt; plugin 用 &lt;code&gt;secret_file&lt;/code&gt;、&lt;code&gt;request&lt;/code&gt;、&lt;code&gt;application&lt;/code&gt;、&lt;code&gt;user&lt;/code&gt;、&lt;code&gt;password_file&lt;/code&gt;、&lt;code&gt;reject_is_up&lt;/code&gt;、&lt;code&gt;nas_identifier&lt;/code&gt;、&lt;code&gt;require_message_authenticator&lt;/code&gt;；&lt;code&gt;sip&lt;/code&gt; plugin 用 &lt;code&gt;transport&lt;/code&gt;、&lt;code&gt;tls&lt;/code&gt;（及 TLS 相關鍵）、&lt;code&gt;uri&lt;/code&gt;、&lt;code&gt;from&lt;/code&gt;、&lt;code&gt;expect_status&lt;/code&gt;；&lt;code&gt;diameter&lt;/code&gt; plugin 用 &lt;code&gt;origin_host&lt;/code&gt;、&lt;code&gt;origin_realm&lt;/code&gt;、各 application id、&lt;code&gt;supported_vendor_ids&lt;/code&gt;、&lt;code&gt;host_ip_address&lt;/code&gt;、&lt;code&gt;tls&lt;/code&gt;（及 TLS 相關鍵與客戶端憑證 &lt;code&gt;tls_cert_file&lt;/code&gt;、&lt;code&gt;tls_key_file&lt;/code&gt;）；&lt;code&gt;smtp&lt;/code&gt; plugin 用 &lt;code&gt;helo&lt;/code&gt;、&lt;code&gt;starttls&lt;/code&gt;、&lt;code&gt;tls&lt;/code&gt;（及 TLS 相關鍵）；&lt;code&gt;amqp&lt;/code&gt; plugin 用 &lt;code&gt;user&lt;/code&gt;、&lt;code&gt;password_file&lt;/code&gt;、&lt;code&gt;vhost&lt;/code&gt;、&lt;code&gt;tls&lt;/code&gt;（及 TLS 相關鍵）；&lt;code&gt;mongodb&lt;/code&gt; plugin 用 &lt;code&gt;user&lt;/code&gt;、&lt;code&gt;password_file&lt;/code&gt;、&lt;code&gt;auth_source&lt;/code&gt;、&lt;code&gt;role&lt;/code&gt;、&lt;code&gt;tls&lt;/code&gt;（及 TLS 相關鍵）；&lt;code&gt;grpc&lt;/code&gt; plugin 用 &lt;code&gt;service&lt;/code&gt;、&lt;code&gt;tls&lt;/code&gt;（及 TLS 相關鍵）；&lt;code&gt;quic&lt;/code&gt; plugin 用 &lt;code&gt;alpn&lt;/code&gt;、&lt;code&gt;tls_verify&lt;/code&gt;、&lt;code&gt;server_name&lt;/code&gt;、&lt;code&gt;ca_file&lt;/code&gt;（一律加密，所以沒有 &lt;code&gt;tls&lt;/code&gt; 鍵）、&lt;code&gt;http3&lt;/code&gt;、&lt;code&gt;path&lt;/code&gt;、&lt;code&gt;host_header&lt;/code&gt;、&lt;code&gt;expect_status&lt;/code&gt;、&lt;code&gt;expect_body&lt;/code&gt;。&lt;a class=&#34;link&#34; href=&#34;https://github.com/embark-systems/emfor/blob/v0.6.0/docs/deploy/plugins.md&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;&#xA;    &gt;docs/deploy/plugins.md&lt;/a&gt; 列出所有選項與 reason。&lt;/p&gt;&#xA;&lt;p&gt;&lt;code&gt;emfor check-config&lt;/code&gt; 與每次 reload 都會啟動 plugin，讓它們驗證每個服務的 &lt;code&gt;check_options&lt;/code&gt;，所以錯誤會在設定套用前就被發現。驗證時會建出檢查時要建的東西：&lt;code&gt;ca_file&lt;/code&gt; 必須有可以當作 CA 使用的憑證，&lt;code&gt;tls_key_file&lt;/code&gt; 必須是 &lt;code&gt;tls_cert_file&lt;/code&gt; 的私鑰，而協定以 NUL 結尾或以 NUL 分隔送出的值（&lt;code&gt;mysql&lt;/code&gt; 與 &lt;code&gt;pgsql&lt;/code&gt; 的 &lt;code&gt;user&lt;/code&gt;、&lt;code&gt;pgsql&lt;/code&gt; 的 &lt;code&gt;database&lt;/code&gt; 與密碼、&lt;code&gt;amqp&lt;/code&gt; 的 &lt;code&gt;user&lt;/code&gt; 與密碼）不能含 NUL。協定規定了大小上限的訊息會實際組一次：&lt;code&gt;amqp&lt;/code&gt; 的登入必須放得進 4096 bytes 的第一個 frame，&lt;code&gt;diameter&lt;/code&gt; 的 Capabilities-Exchange-Request 不能超過 16777215 bytes。&lt;/p&gt;&#xA;&lt;p&gt;plugin 結束時，等待中的檢查變成 &lt;code&gt;error&lt;/code&gt;（&lt;code&gt;plugin exited&lt;/code&gt;），daemon 在 1 秒、2 秒、4 秒……最多 30 秒後重新啟動它；在那之前它的檢查都是 &lt;code&gt;error&lt;/code&gt;（&lt;code&gt;plugin &amp;lt;name&amp;gt; unavailable&lt;/code&gt;）。當掉的 plugin 不會讓 backend 變成 down：&lt;code&gt;error&lt;/code&gt; 不算檢查失敗。但一個 backend 只收到 error 的時間超過 &lt;code&gt;fall × interval&lt;/code&gt; 時會回到 &lt;code&gt;unknown&lt;/code&gt;（見&lt;a class=&#34;link&#34; href=&#34;../01-concepts/&#34; &gt;第 1 章&lt;/a&gt;），所以一直當掉的 plugin 會讓它的 backend 變成 &lt;code&gt;unknown&lt;/code&gt;，而不是維持 &lt;code&gt;healthy&lt;/code&gt;。以 &lt;code&gt;emfor-plugin&lt;/code&gt; crate 寫的 plugin 中，panic 的檢查會回答 &lt;code&gt;error&lt;/code&gt;，reason 為 &lt;code&gt;check panicked: &amp;lt;message&amp;gt;&lt;/code&gt;，plugin 繼續執行。plugin 寫到 stderr 的每一行都以 &lt;code&gt;info&lt;/code&gt; 記錄，一次最多 100 行，之後每秒最多 10 行；log 會寫出丟掉了幾行。每個 plugin 在自己的 process group 中執行：plugin 結束或被停止時，它啟動的行程也會一起被終止。&lt;/p&gt;&#xA;&lt;p&gt;要自己寫 plugin，見 &lt;a class=&#34;link&#34; href=&#34;https://github.com/embark-systems/emfor/blob/v0.6.0/docs/plugins/protocol-v1.md&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;&#xA;    &gt;docs/plugins/protocol-v1.md&lt;/a&gt;；&lt;code&gt;emfor-plugin&lt;/code&gt; crate 為 Rust 實作了這個協定。&lt;/p&gt;&#xA;&lt;h2 id=&#34;排程&#34;&gt;排程&#xA;&lt;/h2&gt;&lt;p&gt;每個 backend 依自己的時程檢查，而且同一個 backend 不會同時有兩個檢查：&lt;/p&gt;&#xA;&lt;ul&gt;&#xA;&lt;li&gt;啟動或 reload 後的第一次檢查，在 &lt;code&gt;min(interval, 200ms)&lt;/code&gt; 內的隨機時刻開始。&lt;/li&gt;&#xA;&lt;li&gt;backend 處於 &lt;code&gt;unknown&lt;/code&gt; 且檢查結果為 &lt;code&gt;up&lt;/code&gt; 或 &lt;code&gt;down&lt;/code&gt; 時，下一次檢查在上一次結束後 &lt;code&gt;min(interval, 200ms)&lt;/code&gt; 開始。以預設值（&lt;code&gt;rise = 2&lt;/code&gt;），約半秒內就能確定 backend 狀態。這個快速節奏最多持續 &lt;code&gt;rise + fall&lt;/code&gt; 次：結果一直變來變去、兩個計數都到不了門檻的 backend 會維持 &lt;code&gt;unknown&lt;/code&gt;，之後改為每 &lt;code&gt;interval&lt;/code&gt; 檢查一次。&lt;/li&gt;&#xA;&lt;li&gt;其他情況下，下一次檢查在上一次結束後 &lt;code&gt;interval&lt;/code&gt; 開始，並隨機前後偏移最多 &lt;code&gt;jitter&lt;/code&gt;（預設 10%）。&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;p&gt;因為 interval 從檢查結束時算起，慢的 backend 不會比每 &lt;code&gt;interval&lt;/code&gt; 一次更頻繁地被檢查。&lt;/p&gt;&#xA;&lt;h2 id=&#34;risefall-與-error&#34;&gt;rise、fall 與 error&#xA;&lt;/h2&gt;&lt;ul&gt;&#xA;&lt;li&gt;&lt;code&gt;up&lt;/code&gt;：成功計數加一，失敗計數歸零；到達 &lt;code&gt;rise&lt;/code&gt; 時 backend 變成 &lt;code&gt;healthy&lt;/code&gt;。&lt;/li&gt;&#xA;&lt;li&gt;&lt;code&gt;down&lt;/code&gt;：失敗計數加一，成功計數歸零；到達 &lt;code&gt;fall&lt;/code&gt; 時 backend 變成 &lt;code&gt;unhealthy&lt;/code&gt;。&lt;/li&gt;&#xA;&lt;li&gt;&lt;code&gt;error&lt;/code&gt;：計數與狀態都不變。backend 只收到 error 的時間超過 &lt;code&gt;fall × interval&lt;/code&gt; 時，回到 &lt;code&gt;unknown&lt;/code&gt;。&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;p&gt;偵測故障大約需要 &lt;code&gt;fall × interval&lt;/code&gt;（預設 6 秒）；恢復大約需要 &lt;code&gt;rise × interval&lt;/code&gt;（4 秒）。每次狀態變化都以 &lt;code&gt;info&lt;/code&gt; 記錄，包含服務、backend、舊狀態、新狀態與 reason。&lt;/p&gt;&#xA;&lt;h2 id=&#34;reason&#34;&gt;reason&#xA;&lt;/h2&gt;&lt;p&gt;&lt;code&gt;down&lt;/code&gt; 或 &lt;code&gt;error&lt;/code&gt; 結果帶有一個 reason，會顯示在 &lt;code&gt;emfor status&lt;/code&gt;、log 與狀態歷史中。儲存前 reason 會被處理成安全的形式：tab、CR 與 LF 變成 &lt;code&gt;\t&lt;/code&gt;、&lt;code&gt;\r&lt;/code&gt; 與 &lt;code&gt;\n&lt;/code&gt;；其他控制字元變成 &lt;code&gt;\u{1b}&lt;/code&gt; 之類的形式；超過 512 個字元的 reason 會被截斷並以 &lt;code&gt;…&lt;/code&gt; 結尾。&lt;/p&gt;&#xA;&lt;h2 id=&#34;延遲&#34;&gt;延遲&#xA;&lt;/h2&gt;&lt;p&gt;daemon 為每個 backend 量測每次 &lt;code&gt;up&lt;/code&gt; 檢查花了多久，並保存一個平滑後的值（每個新樣本占 5%）。&lt;code&gt;emfor status&lt;/code&gt; 與 &lt;code&gt;/metrics&lt;/code&gt; 會顯示它，&lt;code&gt;balance = &amp;quot;fastest&amp;quot;&lt;/code&gt; 會用到它。依賴這個值時，請選擇接近實際流量的檢查。&lt;/p&gt;&#xA;</description>
        </item><item>
            <title>5. 選擇 backend</title>
            <link>https://embark.systems/emfor/05-backend-selection/</link>
            <pubDate>Mon, 01 Jan 0001 00:00:00 +0000</pubDate>
            <guid>https://embark.systems/emfor/05-backend-selection/</guid>
            <description>&lt;p&gt;應用程式查詢一個服務時，client 函式庫先找出&lt;strong&gt;候選&lt;/strong&gt;（通常是最近一次檢查通過的健康 backend，依設定檔順序），再由服務的 &lt;code&gt;balance&lt;/code&gt; 挑出一個。DNS server 回答 A 與 AAAA 查詢時也一樣，差異列在本章最後。&lt;/p&gt;&#xA;&lt;h2 id=&#34;balance-方式&#34;&gt;balance 方式&#xA;&lt;/h2&gt;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;&lt;code&gt;balance&lt;/code&gt;&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;client 查詢&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;適用於&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;round-robin&lt;/code&gt;（預設）&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;輪流使用候選&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;無狀態服務&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;sticky&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;同一個 affinity key 在 backend 健康期間都拿到同一個 backend&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;快取與 session，同一位使用者應該一直打到同一個 backend&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;failover&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;永遠是設定檔順序中的第一個候選&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;一個 primary 加上 standby&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;weighted&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;依每個 backend 的 &lt;code&gt;weight&lt;/code&gt; 比例&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;規格不同的 backend&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;locality&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;優先使用主機所在 &lt;code&gt;site&lt;/code&gt; 的候選，輪流&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;多個資料中心&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;fastest&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;在檢查回應最快的 backend 之間輪流&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;網路距離不同的 backend&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;h3 id=&#34;round-robin&#34;&gt;round-robin&#xA;&lt;/h3&gt;&lt;p&gt;每個行程為每個服務保留一個計數器，起始值隨機，所以同一主機上的各行程不需協調也會分散開來。每次查詢取下一個候選。&lt;/p&gt;&#xA;&lt;h3 id=&#34;sticky&#34;&gt;sticky&#xA;&lt;/h3&gt;&lt;p&gt;應用程式傳入一個 &lt;strong&gt;affinity key&lt;/strong&gt;，例如使用者或 session ID。client 為每個候選計算 &lt;code&gt;MD5(key + backend id)&lt;/code&gt;，取值最大的候選（rendezvous hashing）。因此同一個 key 在每個行程、每台主機、每種語言中都選到同一個 backend；該 backend 故障時只有它的 key 會移走，恢復後再回來。沒有 key（或 key 為空）時，&lt;code&gt;sticky&lt;/code&gt; 的行為同 &lt;code&gt;round-robin&lt;/code&gt;。&lt;/p&gt;&#xA;&lt;p&gt;&lt;code&gt;weight&lt;/code&gt; 為 w 的 backend 分到的 key 是權重 1 的 w 倍：它的值是 &lt;code&gt;MD5(key + id)&lt;/code&gt; 與 i 從 1 到 w − 1 的 &lt;code&gt;MD5(key + id + &amp;quot;#&amp;quot; + i)&lt;/code&gt; 中最大的一個，所以一台權重 3 和兩台權重 1 的 backend 放在一起時，權重 3 那台分到 3/5 的 key。權重全為 1 時，選擇結果和這個版本以前相同。調高某台的權重只會把 key 移到它身上，調低只會把 key 從它身上移走。慢啟動不改變帶 key 的 &lt;code&gt;sticky&lt;/code&gt; 所用的權重。store 裡超過 100 的權重（daemon 不會寫出）當成 100。每次查詢要為候選的權重總和各算一次 MD5：10 台權重 1 約 0.8 µs，10 台權重 100 約 72 µs（在 Apple M4 Max 上量測），所以查詢量大的 sticky 服務請讓權重保持小。&lt;/p&gt;&#xA;&lt;h3 id=&#34;failover&#34;&gt;failover&#xA;&lt;/h3&gt;&lt;p&gt;設定檔順序中第一個健康的 backend。把 primary 列在最前面。搭配資料庫 plugin 的 &lt;code&gt;role&lt;/code&gt; 選項時，只有目前的 primary 會通過檢查，所以新的 primary 到達 &lt;code&gt;rise&lt;/code&gt; 後，&lt;code&gt;failover&lt;/code&gt; 就會跟著切換。&lt;/p&gt;&#xA;&lt;h3 id=&#34;weighted&#34;&gt;weighted&#xA;&lt;/h3&gt;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;&#34;&gt;&lt;code class=&#34;language-toml&#34; data-lang=&#34;toml&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;backends&lt;/span&gt; = [&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;10.0.4.11:9200&amp;#34;&lt;/span&gt;, { &lt;span style=&#34;color:#a6e22e&#34;&gt;addr&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;10.0.4.12:9200&amp;#34;&lt;/span&gt;, &lt;span style=&#34;color:#a6e22e&#34;&gt;weight&lt;/span&gt; = &lt;span style=&#34;color:#ae81ff&#34;&gt;3&lt;/span&gt; }, &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;10.0.4.13:9200&amp;#34;&lt;/span&gt;]&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;在一個行程中，每 5 次查詢裡 &lt;code&gt;10.0.4.12&lt;/code&gt; 會被回傳 3 次，其他各 1 次。只計算健康的 backend；有 backend 故障時，權重會重新加總。&lt;/p&gt;&#xA;&lt;h3 id=&#34;locality&#34;&gt;locality&#xA;&lt;/h3&gt;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;&#34;&gt;&lt;code class=&#34;language-toml&#34; data-lang=&#34;toml&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;site&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;dc1&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;[&lt;span style=&#34;color:#a6e22e&#34;&gt;services&lt;/span&gt;.&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;cache.svc.emfor&amp;#34;&lt;/span&gt;]&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;check&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;tcp&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;balance&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;locality&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;backends&lt;/span&gt; = [&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;  { &lt;span style=&#34;color:#a6e22e&#34;&gt;addr&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;10.0.5.11:6379&amp;#34;&lt;/span&gt;, &lt;span style=&#34;color:#a6e22e&#34;&gt;site&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;dc1&amp;#34;&lt;/span&gt; },&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;  { &lt;span style=&#34;color:#a6e22e&#34;&gt;addr&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;10.0.5.12:6379&amp;#34;&lt;/span&gt;, &lt;span style=&#34;color:#a6e22e&#34;&gt;site&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;dc1&amp;#34;&lt;/span&gt; },&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;  { &lt;span style=&#34;color:#a6e22e&#34;&gt;addr&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;10.1.5.11:6379&amp;#34;&lt;/span&gt;, &lt;span style=&#34;color:#a6e22e&#34;&gt;site&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;dc2&amp;#34;&lt;/span&gt; },&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;]&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;只要主機所在 site 中有任何 backend 是候選，查詢就在這些 backend 之間輪流；否則在所有候選之間輪流。沒有設定最上層的 &lt;code&gt;site&lt;/code&gt; 時，&lt;code&gt;locality&lt;/code&gt; 的行為同 &lt;code&gt;round-robin&lt;/code&gt;。&lt;/p&gt;&#xA;&lt;h3 id=&#34;fastest&#34;&gt;fastest&#xA;&lt;/h3&gt;&lt;p&gt;daemon 依平滑後的檢查延遲，決定哪些健康的 backend 算快，把這個 &lt;strong&gt;pool&lt;/strong&gt; 寫進 store；client 在 pool 中輪流。backend 的延遲在最低值的 1.5 倍以內（或比最低值多不超過 1 ms）時加入 pool，超過最低值的 2 倍（且多出 2 ms 以上）時離開，避免小幅變動讓 backend 反覆進出。pool 為空或 store 過期時，&lt;code&gt;fastest&lt;/code&gt; 的行為同 &lt;code&gt;round-robin&lt;/code&gt;。&lt;/p&gt;&#xA;&lt;h3 id=&#34;不認得的值&#34;&gt;不認得的值&#xA;&lt;/h3&gt;&lt;p&gt;client 讀到不認得的 &lt;code&gt;balance&lt;/code&gt;（由較新的 daemon 寫入）時，使用 &lt;code&gt;round-robin&lt;/code&gt;。不認得的 backend &lt;code&gt;state&lt;/code&gt; 視為 &lt;code&gt;unhealthy&lt;/code&gt;，所以只有在 &lt;code&gt;open&lt;/code&gt; 的服務沒有更好的選擇時才會用到這個 backend；不認得的 &lt;code&gt;on_all_down&lt;/code&gt; 視為預設的 &lt;code&gt;open&lt;/code&gt;。&lt;code&gt;emfor status&lt;/code&gt; 把它們顯示為 &lt;code&gt;unrecognized&lt;/code&gt; 與 &lt;code&gt;on_all_down=unknown&lt;/code&gt;。store 中不認得的欄位會被忽略。&lt;/p&gt;&#xA;&lt;h2 id=&#34;檢查開始失敗的-backend&#34;&gt;檢查開始失敗的 backend&#xA;&lt;/h2&gt;&lt;p&gt;backend 要連續失敗 &lt;code&gt;fall&lt;/code&gt; 次才會轉為不健康；在那之前它仍是健康的，但最近一次檢查失敗，&lt;code&gt;reason&lt;/code&gt; 有值（&lt;code&gt;emfor status&lt;/code&gt; 會顯示）。只要還有至少一個最近一次檢查通過的健康 backend，這種正在失敗的 backend 就不列入候選，所以查詢與 DNS 回答在它第一次檢查失敗時就不再選它。全部健康的 backend 都在失敗時，它們全部都是候選，和以前一樣。&lt;code&gt;down&lt;/code&gt; 與 &lt;code&gt;error&lt;/code&gt; 結果同樣算數：如果是 checker 本身出問題、所有 backend 一起失敗，結果不會改變。&lt;/p&gt;&#xA;&lt;ul&gt;&#xA;&lt;li&gt;client 看到新的 &lt;code&gt;reason&lt;/code&gt; 最多晚約一秒（daemon 隨 heartbeat 把 &lt;code&gt;reason&lt;/code&gt; 的變動寫入 store）；DNS server 從 daemon 的記憶體回答，立即生效。&lt;/li&gt;&#xA;&lt;li&gt;使用 &lt;code&gt;sticky&lt;/code&gt; 時，正在失敗的 backend 的 key 會改對到其他候選，在它下一次檢查通過後回來。&lt;/li&gt;&#xA;&lt;li&gt;在 peer group 中，即使 peer 仍判定 backend 為 up，本機自己的檢查失敗也算數（&lt;code&gt;reason&lt;/code&gt; 以 &lt;code&gt;local: &lt;/code&gt; 開頭），所以本機會立即不再選它。&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;h2 id=&#34;備援-backend&#34;&gt;備援 backend&#xA;&lt;/h2&gt;&lt;p&gt;&lt;code&gt;backup = true&lt;/code&gt; 的 backend 保留給其他 backend 都不能用的時候，例如另一個資料中心的副本或規格較小的機器。store 新鮮時，候選依下列順序，取第一個不是空的集合：&lt;/p&gt;&#xA;&lt;ol&gt;&#xA;&lt;li&gt;最近一次檢查通過的主要 backend（不是備援的）；&lt;/li&gt;&#xA;&lt;li&gt;最近一次檢查通過的備援；&lt;/li&gt;&#xA;&lt;li&gt;健康的主要 backend，正在失敗的也算；&lt;/li&gt;&#xA;&lt;li&gt;健康的備援，正在失敗的也算。&lt;/li&gt;&#xA;&lt;/ol&gt;&#xA;&lt;p&gt;所以只要沒有主要 backend 通過檢查，備援就接手，不必等主要 backend 轉為不健康；主要 backend 下一次通過時，備援就讓回去。在選出的集合中，&lt;code&gt;balance&lt;/code&gt; 照常運作：&lt;code&gt;failover&lt;/code&gt; 取設定檔順序的第一台備援，&lt;code&gt;weighted&lt;/code&gt; 用備援的權重，依此類推。&lt;code&gt;fastest&lt;/code&gt; 在主要 backend 與備援之間各自判斷哪些夠快，所以很快的備援不會把主要 backend 擠出 pool。完全沒有健康的 backend 時由 &lt;code&gt;on_all_down&lt;/code&gt; 決定，主要與備援一視同仁（見下文）。過期的 store 也用全部 backend。&lt;/p&gt;&#xA;&lt;p&gt;DNS 回答依同樣的順序；SRV 記錄只列出選出的集合。使用備援需要能讀 store 格式版本 2 的 client（&lt;a class=&#34;link&#34; href=&#34;../06-clients/#store-%e6%a0%bc%e5%bc%8f%e7%89%88%e6%9c%ac&#34; &gt;第 6 章&lt;/a&gt;）。&lt;/p&gt;&#xA;&lt;h2 id=&#34;drain-一個-backend&#34;&gt;drain 一個 backend&#xA;&lt;/h2&gt;&lt;p&gt;在 backend 上寫 &lt;code&gt;drain = true&lt;/code&gt;（&lt;a class=&#34;link&#34; href=&#34;../03-configuration/#servicesname&#34; &gt;第 3 章&lt;/a&gt;），就能不從設定檔移除它，把它從所有選擇中拿掉，用於升級、重新開機或調查。改檔案後 reload（&lt;code&gt;systemctl reload emfor&lt;/code&gt;）；沒有在執行期 drain 的指令。&lt;/p&gt;&#xA;&lt;ul&gt;&#xA;&lt;li&gt;drain 的 backend 不會被選到：任何 &lt;code&gt;balance&lt;/code&gt; 都不會（包含 &lt;code&gt;sticky&lt;/code&gt; 與 &lt;code&gt;failover&lt;/code&gt;，所以 sticky 的 key 會移到別的 backend，直到拿掉 drain），&lt;code&gt;open&lt;/code&gt; 服務的最後一層不會，DNS 的 A、AAAA 與 SRV 答案不會，&lt;code&gt;fastest&lt;/code&gt; 服務的 pool 也不會。emfor 不在資料路徑上，所以已經建立的連線不受影響；只有新的查詢會略過它。&lt;/li&gt;&#xA;&lt;li&gt;它的檢查照跑。&lt;code&gt;emfor status&lt;/code&gt; 在狀態的位置顯示 &lt;code&gt;drained&lt;/code&gt;，並在那一行最後加上 &lt;code&gt;(checks: healthy)&lt;/code&gt;，括號裡是檢查給的狀態，所以你馬上看得出它準備好了沒有；拿掉 &lt;code&gt;drain&lt;/code&gt; 並 reload 之後，它馬上回到選擇中，狀態就是檢查給的狀態，不必重新累計 &lt;code&gt;rise&lt;/code&gt;。drain 與取消 drain 本身不會啟動慢啟動；drain 期間才恢復健康的 backend，照平常從那次恢復起慢啟動，所以在恢復後的 &lt;code&gt;slow_start&lt;/code&gt; 內取消 drain，它就會慢啟動。&lt;/li&gt;&#xA;&lt;li&gt;服務的所有 backend 都 drain 時，沒有東西可選：查詢以 &lt;code&gt;ALL_DOWN&lt;/code&gt; 失敗，DNS 回 &lt;code&gt;SERVFAIL&lt;/code&gt;，不論 &lt;code&gt;on_all_down&lt;/code&gt;，因為 &lt;code&gt;open&lt;/code&gt; 的意思是「在失敗的之中選」，而 drain 的 backend 不在其中。&lt;/li&gt;&#xA;&lt;li&gt;&lt;code&gt;drain&lt;/code&gt; 是這台主機的設定。它不會傳給聯防群組的 peer，也不改變 peer 比對的服務定義，所以各台主機可以 drain 不同的 backend。&lt;/li&gt;&#xA;&lt;li&gt;舊版 client 把 drain 的 backend 當成不健康的（store 裡寫的是 &lt;code&gt;unhealthy&lt;/code&gt;，原因 &lt;code&gt;drained&lt;/code&gt;）。它們一樣會略過它，只有一個例外：&lt;code&gt;open&lt;/code&gt; 服務在所有 backend 都不健康的最後一層，舊版 client 仍可能選到它。要靠 &lt;code&gt;drain&lt;/code&gt; 處理 &lt;code&gt;open&lt;/code&gt; 服務之前，先升級各主機的 &lt;code&gt;libemfor&lt;/code&gt;。&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;p&gt;這不是 HAProxy 的 &lt;code&gt;DRAIN&lt;/code&gt;（讓既有 session 繼續）：emfor 沒有 session，查詢略過這個 backend 就是全部的效果。&lt;/p&gt;&#xA;&lt;p&gt;要在部署時等正在跑的請求結束、再把 backend 放回去，見&lt;a class=&#34;link&#34; href=&#34;../08-operations/#%e7%94%a8-drain-%e5%81%9a%e6%bb%be%e5%8b%95%e9%83%a8%e7%bd%b2&#34; &gt;用 drain 做滾動部署&lt;/a&gt;。&lt;/p&gt;&#xA;&lt;h2 id=&#34;慢啟動slow-start&#34;&gt;慢啟動（slow start）&#xA;&lt;/h2&gt;&lt;p&gt;剛恢復的 backend 可能快取還是冷的、連線池還沒建立。設定 &lt;code&gt;slow_start&lt;/code&gt;（例如 &lt;code&gt;slow_start = &amp;quot;30s&amp;quot;&lt;/code&gt;）後，從 &lt;code&gt;unhealthy&lt;/code&gt; 轉為 &lt;code&gt;healthy&lt;/code&gt; 的 backend 會在這段時間內逐步增加分到的流量，而不是立刻拿到全部份額。&lt;/p&gt;&#xA;&lt;ul&gt;&#xA;&lt;li&gt;這段時間平均分成 10 級。第一個十分之一的時間裡，backend 以它權重的 1/10 計算，第二個十分之一以 2/10，依此類推；&lt;code&gt;slow_start&lt;/code&gt; 過後回到全額。權重在 &lt;code&gt;weighted&lt;/code&gt; 是 backend 的 &lt;code&gt;weight&lt;/code&gt;，其他方式都是 1。&lt;/li&gt;&#xA;&lt;li&gt;只要有至少一個候選正在慢啟動，&lt;code&gt;round-robin&lt;/code&gt;、&lt;code&gt;weighted&lt;/code&gt;、&lt;code&gt;locality&lt;/code&gt;、&lt;code&gt;fastest&lt;/code&gt; 與沒有 key 的 &lt;code&gt;sticky&lt;/code&gt; 就依這些降低後的權重挑選。&lt;code&gt;locality&lt;/code&gt; 與 &lt;code&gt;fastest&lt;/code&gt; 照常先縮小到同 site 或 pool。&lt;code&gt;failover&lt;/code&gt; 與有 key 的 &lt;code&gt;sticky&lt;/code&gt; 不受影響。&lt;/li&gt;&#xA;&lt;li&gt;只有「恢復」才算：daemon 啟動時為 &lt;code&gt;unknown&lt;/code&gt; 的 backend，以及 reload 新增或重新開始檢查的 backend，立刻拿到全部份額。再次轉為不健康的 backend 會結束慢啟動。&lt;/li&gt;&#xA;&lt;li&gt;只有部分 backend 恢復、其他 backend 已經健康時才有效果。只有一台 backend 的服務照樣把全部流量給它；同時恢復的 backend 彼此份額相同。&lt;/li&gt;&#xA;&lt;li&gt;過期的 store 沒有慢啟動；時鐘往回調時視為慢啟動結束。&lt;/li&gt;&#xA;&lt;li&gt;早於這個功能的 client 會忽略它：恢復的 backend 立刻拿到全部份額。&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;p&gt;DNS 的 A/AAAA 回答依同樣降低後的權重挑選，SRV 記錄以它作為 weight（&lt;a class=&#34;link&#34; href=&#34;../07-dns/#srv-%e8%a8%98%e9%8c%84&#34; &gt;第 7 章&lt;/a&gt;）。&lt;/p&gt;&#xA;&lt;h2 id=&#34;沒有任何-backend-健康時&#34;&gt;沒有任何 backend 健康時&#xA;&lt;/h2&gt;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;&lt;code&gt;on_all_down&lt;/code&gt;&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;查詢&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;DNS A/AAAA/SRV&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;open&lt;/code&gt;（預設）&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;在下列 open 的候選之間挑選&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;以下列 open 的候選回答&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;closed&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;以 &lt;code&gt;ALL_DOWN&lt;/code&gt; 失敗&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;SERVFAIL&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;p&gt;&lt;code&gt;open&lt;/code&gt; 的候選依下列順序，取第一個不是空的集合：&lt;/p&gt;&#xA;&lt;ol&gt;&#xA;&lt;li&gt;最近一次檢查通過（沒有 &lt;code&gt;reason&lt;/code&gt;）的 &lt;code&gt;unknown&lt;/code&gt; backend；&lt;/li&gt;&#xA;&lt;li&gt;全部 &lt;code&gt;unknown&lt;/code&gt; backend；&lt;/li&gt;&#xA;&lt;li&gt;全部 backend。&lt;/li&gt;&#xA;&lt;/ol&gt;&#xA;&lt;p&gt;&lt;code&gt;unhealthy&lt;/code&gt; 的 backend 已經連續失敗 &lt;code&gt;fall&lt;/code&gt; 次；&lt;code&gt;unknown&lt;/code&gt; 的還沒有定論（剛啟動、新增或重設，或檢查只回錯誤超過 &lt;code&gt;fall × interval&lt;/code&gt;），所以比較有機會成功。daemon 剛啟動時全部都是 &lt;code&gt;unknown&lt;/code&gt;，全部都是候選。過期的 store 用全部 backend。早於這條規則的 client 會在全部 backend 之間挑選。&lt;/p&gt;&#xA;&lt;p&gt;查詢結果不會告訴應用程式這是來自全部 down 的服務。當「試一個 backend」比失敗好時（可能是檢查本身出錯）用 &lt;code&gt;open&lt;/code&gt;；當把流量送到壞掉的 backend 比快速失敗更糟時用 &lt;code&gt;closed&lt;/code&gt;。&lt;/p&gt;&#xA;&lt;h2 id=&#34;過期的-store&#34;&gt;過期的 store&#xA;&lt;/h2&gt;&lt;p&gt;daemon 的 heartbeat 超過 &lt;code&gt;EMFOR_MAX_STALENESS&lt;/code&gt;（預設 3 秒），或 daemon 已正常停止時，client 不把任何 backend 當作健康，由 &lt;code&gt;on_all_down&lt;/code&gt; 決定，與上面完全相同。&lt;code&gt;fastest&lt;/code&gt; 服務會忽略它的 pool。查詢永遠不會卡住或等待 daemon。&lt;/p&gt;&#xA;&lt;h2 id=&#34;dns-的差異&#34;&gt;DNS 的差異&#xA;&lt;/h2&gt;&lt;p&gt;DNS server 依據相同的健康狀態、從 daemon 的記憶體回答，但：&lt;/p&gt;&#xA;&lt;ul&gt;&#xA;&lt;li&gt;A 查詢只考慮 IPv4 backend，AAAA 查詢只考慮 IPv6 backend。服務沒有該位址族的 backend 時回答為空。client 查詢則把兩種位址族一起考慮。&lt;/li&gt;&#xA;&lt;li&gt;round-robin 與 weighted 的選擇由 daemon 進行，每個查詢一次，而不是每個應用程式行程各自計算。&lt;/li&gt;&#xA;&lt;li&gt;DNS 沒有 affinity key，所以 &lt;code&gt;sticky&lt;/code&gt; 的行為同 &lt;code&gt;round-robin&lt;/code&gt;。&lt;/li&gt;&#xA;&lt;li&gt;SRV 回答列出所有候選，priority 與 weight 依 &lt;code&gt;balance&lt;/code&gt; 設定（&lt;a class=&#34;link&#34; href=&#34;../07-dns/#srv-%e8%a8%98%e9%8c%84&#34; &gt;第 7 章&lt;/a&gt;）。&lt;/li&gt;&#xA;&lt;li&gt;resolver 的快取可能在 TTL 期間一直回傳同一個答案。&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;</description>
        </item><item>
            <title>6. Client 函式庫</title>
            <link>https://embark.systems/emfor/06-clients/</link>
            <pubDate>Mon, 01 Jan 0001 00:00:00 +0000</pubDate>
            <guid>https://embark.systems/emfor/06-clients/</guid>
            <description>&lt;p&gt;client 函式庫只有一個呼叫：查詢一個服務，拿回一個 backend 位址。它讀取本機的 store，所以只需要同一台主機上有執行中的 emfor daemon，其他什麼都不需要。&lt;/p&gt;&#xA;&lt;h2 id=&#34;查詢&#34;&gt;查詢&#xA;&lt;/h2&gt;&lt;p&gt;每個 client 都接受一個服務名稱與一個選用的 affinity key，回傳一個字串：&lt;/p&gt;&#xA;&lt;ul&gt;&#xA;&lt;li&gt;IPv4 為 &lt;code&gt;ip:port&lt;/code&gt;，例如 &lt;code&gt;10.0.0.11:8080&lt;/code&gt;；&lt;/li&gt;&#xA;&lt;li&gt;IPv6 為 &lt;code&gt;[ip]:port&lt;/code&gt;，例如 &lt;code&gt;[2001:db8::11]:8080&lt;/code&gt;。&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;p&gt;兩種形式都能直接交給大多數語言中「連線到 host:port」的函式。名稱比對不分大小寫，並忽略一個結尾的點。affinity key 只對 &lt;code&gt;balance = &amp;quot;sticky&amp;quot;&lt;/code&gt; 有作用；空的 key 等於沒有 key。&lt;/p&gt;&#xA;&lt;p&gt;每建立一條新連線就呼叫一次 &lt;code&gt;lookup&lt;/code&gt;，不要只在啟動時呼叫一次：答案會隨 backend 故障與恢復而改變，而一次查詢只花大約一微秒。&lt;/p&gt;&#xA;&lt;h2 id=&#34;錯誤&#34;&gt;錯誤&#xA;&lt;/h2&gt;&lt;p&gt;每個 client 失敗時都是四個代碼之一，各語言的名稱都相同：&lt;/p&gt;&#xA;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;代碼&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;意義&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;怎麼處理&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;UNAVAILABLE&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;store 無法使用：不存在、無法開啟、由其他 emfor 發行版的 LMDB 寫入、尚未初始化，或 &lt;code&gt;EMFOR_MAX_STALENESS&lt;/code&gt; 無效。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;確認 daemon 正在執行、&lt;code&gt;EMFOR_STORE&lt;/code&gt;、檔案權限，以及 &lt;code&gt;libemfor&lt;/code&gt; 與 daemon 來自同一發行版。訊息會說明是哪一項。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;INCOMPATIBLE&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;store 的格式版本不同，或某筆記錄無法讀取。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;安裝與 daemon 同一發行版的 client。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;NOT_FOUND&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;沒有這個名稱的服務。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;對照設定檔檢查名稱。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;ALL_DOWN&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;沒有健康的 backend，且服務設定 &lt;code&gt;on_all_down = &amp;quot;closed&amp;quot;&lt;/code&gt;。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;讓請求失敗，或稍後重試。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;p&gt;store 過期本身不是錯誤：它讓每個 backend 都算作不健康，所以 &lt;code&gt;open&lt;/code&gt; 的服務仍會回傳位址，&lt;code&gt;closed&lt;/code&gt; 的服務則以 &lt;code&gt;ALL_DOWN&lt;/code&gt; 失敗。&lt;/p&gt;&#xA;&lt;h2 id=&#34;設定&#34;&gt;設定&#xA;&lt;/h2&gt;&lt;p&gt;client 沒有設定用的呼叫。行程中第一次查詢時會讀取兩個環境變數（&lt;code&gt;fork&lt;/code&gt; 之後的子行程會再讀一次）：&lt;/p&gt;&#xA;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;變數&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;預設值&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;意義&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;EMFOR_STORE&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;/var/lib/emfor/state.mdb&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;store 的路徑；必須與 daemon 的 &lt;code&gt;[store] path&lt;/code&gt; 相同。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;EMFOR_MAX_STALENESS&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;3s&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;heartbeat 可以多舊：正整數加上 &lt;code&gt;ms&lt;/code&gt; 或 &lt;code&gt;s&lt;/code&gt;，例如 &lt;code&gt;1500ms&lt;/code&gt;。值無效時每次查詢都以 &lt;code&gt;UNAVAILABLE&lt;/code&gt; 失敗。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;h2 id=&#34;範例&#34;&gt;範例&#xA;&lt;/h2&gt;&lt;p&gt;&lt;strong&gt;Rust&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;&#34;&gt;&lt;code class=&#34;language-rust&#34; data-lang=&#34;rust&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#66d9ef&#34;&gt;match&lt;/span&gt; emfor_client::lookup(&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;api.svc.emfor&amp;#34;&lt;/span&gt;, Some(&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;user-42&amp;#34;&lt;/span&gt;)) {&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;    Ok(addr) &lt;span style=&#34;color:#f92672&#34;&gt;=&amp;gt;&lt;/span&gt; &lt;span style=&#34;color:#a6e22e&#34;&gt;println!&lt;/span&gt;(&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;connect to &lt;/span&gt;&lt;span style=&#34;color:#e6db74&#34;&gt;{addr}&lt;/span&gt;&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;&lt;/span&gt;),&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;    Err(e) &lt;span style=&#34;color:#f92672&#34;&gt;=&amp;gt;&lt;/span&gt; &lt;span style=&#34;color:#a6e22e&#34;&gt;eprintln!&lt;/span&gt;(&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span style=&#34;color:#e6db74&#34;&gt;{e}&lt;/span&gt;&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;&lt;/span&gt;), &lt;span style=&#34;color:#75715e&#34;&gt;// &amp;#34;ALL_DOWN: ...&amp;#34;; e.code is an ErrorCode&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;}&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;&lt;strong&gt;C&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;&#34;&gt;&lt;code class=&#34;language-c&#34; data-lang=&#34;c&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#75715e&#34;&gt;#include&lt;/span&gt; &lt;span style=&#34;color:#75715e&#34;&gt;&amp;lt;emfor.h&amp;gt;&lt;/span&gt;&lt;span style=&#34;color:#75715e&#34;&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#66d9ef&#34;&gt;char&lt;/span&gt; addr[EMFOR_ADDR_MAX];&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;emfor_status st &lt;span style=&#34;color:#f92672&#34;&gt;=&lt;/span&gt; &lt;span style=&#34;color:#a6e22e&#34;&gt;emfor_lookup&lt;/span&gt;(&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;api.svc.emfor&amp;#34;&lt;/span&gt;, &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;user-42&amp;#34;&lt;/span&gt;, addr, &lt;span style=&#34;color:#66d9ef&#34;&gt;sizeof&lt;/span&gt; addr);&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#66d9ef&#34;&gt;if&lt;/span&gt; (st &lt;span style=&#34;color:#f92672&#34;&gt;==&lt;/span&gt; EMFOR_OK)&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;    &lt;span style=&#34;color:#a6e22e&#34;&gt;printf&lt;/span&gt;(&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;connect to %s&lt;/span&gt;&lt;span style=&#34;color:#ae81ff&#34;&gt;\n&lt;/span&gt;&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;&lt;/span&gt;, addr);&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#66d9ef&#34;&gt;else&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;    &lt;span style=&#34;color:#a6e22e&#34;&gt;fprintf&lt;/span&gt;(stderr, &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;%s: %s&lt;/span&gt;&lt;span style=&#34;color:#ae81ff&#34;&gt;\n&lt;/span&gt;&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;&lt;/span&gt;, &lt;span style=&#34;color:#a6e22e&#34;&gt;emfor_status_name&lt;/span&gt;(st), &lt;span style=&#34;color:#a6e22e&#34;&gt;emfor_last_error&lt;/span&gt;());&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;以 &lt;code&gt;cc app.c $(pkg-config --cflags --libs emfor)&lt;/code&gt; 建置。C 另外有 &lt;code&gt;EMFOR_INVALID_ARGUMENT&lt;/code&gt;，用於參數為 NULL、不是 UTF-8，或緩衝區太小；&lt;code&gt;EMFOR_ADDR_MAX&lt;/code&gt; 位元組一定放得下。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;Go&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;&#34;&gt;&lt;code class=&#34;language-go&#34; data-lang=&#34;go&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#f92672&#34;&gt;import&lt;/span&gt; &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;github.com/embark-systems/emfor/clients/go&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;addr&lt;/span&gt;, &lt;span style=&#34;color:#a6e22e&#34;&gt;err&lt;/span&gt; &lt;span style=&#34;color:#f92672&#34;&gt;:=&lt;/span&gt; &lt;span style=&#34;color:#a6e22e&#34;&gt;emfor&lt;/span&gt;.&lt;span style=&#34;color:#a6e22e&#34;&gt;Lookup&lt;/span&gt;(&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;api.svc.emfor&amp;#34;&lt;/span&gt;, &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;user-42&amp;#34;&lt;/span&gt;)&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#66d9ef&#34;&gt;var&lt;/span&gt; &lt;span style=&#34;color:#a6e22e&#34;&gt;e&lt;/span&gt; &lt;span style=&#34;color:#f92672&#34;&gt;*&lt;/span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;emfor&lt;/span&gt;.&lt;span style=&#34;color:#a6e22e&#34;&gt;Error&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#66d9ef&#34;&gt;if&lt;/span&gt; &lt;span style=&#34;color:#a6e22e&#34;&gt;errors&lt;/span&gt;.&lt;span style=&#34;color:#a6e22e&#34;&gt;As&lt;/span&gt;(&lt;span style=&#34;color:#a6e22e&#34;&gt;err&lt;/span&gt;, &lt;span style=&#34;color:#f92672&#34;&gt;&amp;amp;&lt;/span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;e&lt;/span&gt;) &lt;span style=&#34;color:#f92672&#34;&gt;&amp;amp;&amp;amp;&lt;/span&gt; &lt;span style=&#34;color:#a6e22e&#34;&gt;e&lt;/span&gt;.&lt;span style=&#34;color:#a6e22e&#34;&gt;Code&lt;/span&gt; &lt;span style=&#34;color:#f92672&#34;&gt;==&lt;/span&gt; &lt;span style=&#34;color:#a6e22e&#34;&gt;emfor&lt;/span&gt;.&lt;span style=&#34;color:#a6e22e&#34;&gt;AllDown&lt;/span&gt; {&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&#x9;&lt;span style=&#34;color:#75715e&#34;&gt;// no healthy backend&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;}&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;&lt;strong&gt;Python&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;&#34;&gt;&lt;code class=&#34;language-python&#34; data-lang=&#34;python&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#f92672&#34;&gt;import&lt;/span&gt; emfor&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#66d9ef&#34;&gt;try&lt;/span&gt;:&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;    addr &lt;span style=&#34;color:#f92672&#34;&gt;=&lt;/span&gt; emfor&lt;span style=&#34;color:#f92672&#34;&gt;.&lt;/span&gt;lookup(&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;api.svc.emfor&amp;#34;&lt;/span&gt;, affinity_key&lt;span style=&#34;color:#f92672&#34;&gt;=&lt;/span&gt;&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;user-42&amp;#34;&lt;/span&gt;)&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#66d9ef&#34;&gt;except&lt;/span&gt; emfor&lt;span style=&#34;color:#f92672&#34;&gt;.&lt;/span&gt;AllDownError:&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;    &lt;span style=&#34;color:#f92672&#34;&gt;...&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#66d9ef&#34;&gt;except&lt;/span&gt; emfor&lt;span style=&#34;color:#f92672&#34;&gt;.&lt;/span&gt;Error &lt;span style=&#34;color:#66d9ef&#34;&gt;as&lt;/span&gt; e:&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;    log&lt;span style=&#34;color:#f92672&#34;&gt;.&lt;/span&gt;warning(&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;&lt;/span&gt;&lt;span style=&#34;color:#e6db74&#34;&gt;%s&lt;/span&gt;&lt;span style=&#34;color:#e6db74&#34;&gt;: &lt;/span&gt;&lt;span style=&#34;color:#e6db74&#34;&gt;%s&lt;/span&gt;&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;&lt;/span&gt;, e&lt;span style=&#34;color:#f92672&#34;&gt;.&lt;/span&gt;code, e&lt;span style=&#34;color:#f92672&#34;&gt;.&lt;/span&gt;message)&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;&lt;strong&gt;Perl&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;&#34;&gt;&lt;code class=&#34;language-perl&#34; data-lang=&#34;perl&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#66d9ef&#34;&gt;use&lt;/span&gt; Emfor;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#66d9ef&#34;&gt;my&lt;/span&gt; $addr &lt;span style=&#34;color:#f92672&#34;&gt;=&lt;/span&gt; eval { Emfor::lookup(&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#39;api.svc.emfor&amp;#39;&lt;/span&gt;, &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#39;user-42&amp;#39;&lt;/span&gt;) };&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;warn &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;$@\n&amp;#34;&lt;/span&gt; &lt;span style=&#34;color:#66d9ef&#34;&gt;if&lt;/span&gt; $@;   &lt;span style=&#34;color:#75715e&#34;&gt;# an Emfor::Error with -&amp;gt;code and -&amp;gt;message&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;&lt;strong&gt;PHP&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;&#34;&gt;&lt;code class=&#34;language-php&#34; data-lang=&#34;php&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#66d9ef&#34;&gt;try&lt;/span&gt; {&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;    $addr &lt;span style=&#34;color:#f92672&#34;&gt;=&lt;/span&gt; &lt;span style=&#34;color:#a6e22e&#34;&gt;Emfor\lookup&lt;/span&gt;(&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#39;api.svc.emfor&amp;#39;&lt;/span&gt;, &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#39;user-42&amp;#39;&lt;/span&gt;);&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;} &lt;span style=&#34;color:#66d9ef&#34;&gt;catch&lt;/span&gt; (&lt;span style=&#34;color:#a6e22e&#34;&gt;Emfor\LookupException&lt;/span&gt; $e) {&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;    &lt;span style=&#34;color:#a6e22e&#34;&gt;error_log&lt;/span&gt;($e&lt;span style=&#34;color:#f92672&#34;&gt;-&amp;gt;&lt;/span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;getMessage&lt;/span&gt;());   &lt;span style=&#34;color:#75715e&#34;&gt;// $e-&amp;gt;errorCode is &amp;#34;ALL_DOWN&amp;#34; etc.&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;}&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;各 client 的 README 說明如何安裝以及完整的 API（英文）：&lt;a class=&#34;link&#34; href=&#34;https://github.com/embark-systems/emfor/blob/v0.6.0/clients/rust/README.md&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;&#xA;    &gt;Rust&lt;/a&gt;、&lt;a class=&#34;link&#34; href=&#34;https://github.com/embark-systems/emfor/blob/v0.6.0/clients/c/README.md&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;&#xA;    &gt;C&lt;/a&gt;、&lt;a class=&#34;link&#34; href=&#34;https://github.com/embark-systems/emfor/blob/v0.6.0/clients/go/README.md&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;&#xA;    &gt;Go&lt;/a&gt;、&lt;a class=&#34;link&#34; href=&#34;https://github.com/embark-systems/emfor/blob/v0.6.0/clients/python/README.md&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;&#xA;    &gt;Python&lt;/a&gt;、&lt;a class=&#34;link&#34; href=&#34;https://github.com/embark-systems/emfor/blob/v0.6.0/clients/perl/README.md&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;&#xA;    &gt;Perl&lt;/a&gt;、&lt;a class=&#34;link&#34; href=&#34;https://github.com/embark-systems/emfor/blob/v0.6.0/clients/php/README.md&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;&#xA;    &gt;PHP&lt;/a&gt;。&lt;/p&gt;&#xA;&lt;h2 id=&#34;從-shell-查詢emfor-lookup&#34;&gt;從 shell 查詢：emfor lookup&#xA;&lt;/h2&gt;&lt;p&gt;&lt;code&gt;emfor lookup&lt;/code&gt; 讓沒有 client 函式庫的 script 與 cron 工作，在 shell 裡得到 client 函式庫會給的答案，加上 &lt;code&gt;--explain&lt;/code&gt; 還能知道為什麼。&lt;/p&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;&#34;&gt;&lt;code class=&#34;language-console&#34; data-lang=&#34;console&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;$ emfor lookup api.svc.emfor&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;10.0.0.11:8080&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;$ emfor lookup api.svc.emfor --key user-42&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;它讀設定檔（&lt;code&gt;--config&lt;/code&gt;，與 &lt;code&gt;emfor status&lt;/code&gt; 相同）&lt;code&gt;[store] path&lt;/code&gt; 的 store，並像 client 一樣套用 &lt;code&gt;EMFOR_MAX_STALENESS&lt;/code&gt;，從不寫入 store。&lt;code&gt;--key&lt;/code&gt; 是 &lt;code&gt;sticky&lt;/code&gt; 服務的黏著鍵。&lt;/p&gt;&#xA;&lt;p&gt;每次執行都是新的行程，所以輪流類的 &lt;code&gt;balance&lt;/code&gt;（&lt;code&gt;round-robin&lt;/code&gt;、&lt;code&gt;weighted&lt;/code&gt;、&lt;code&gt;locality&lt;/code&gt;、&lt;code&gt;fastest&lt;/code&gt;，以及沒有 key 的 &lt;code&gt;sticky&lt;/code&gt;）會從隨機的起點給出其中一個候選：兩次執行可能印出不同的 backend。需要每次都得到同一個答案的 script，請用 &lt;code&gt;failover&lt;/code&gt; 服務，或 &lt;code&gt;sticky&lt;/code&gt; 加 &lt;code&gt;--key&lt;/code&gt;。&lt;/p&gt;&#xA;&lt;p&gt;&lt;code&gt;--explain&lt;/code&gt; 說明原因：store 是否 stale、候選來自哪一層（&lt;a class=&#34;link&#34; href=&#34;../05-backend-selection/&#34; &gt;第 5 章&lt;/a&gt;的層級）、每個被排除的 backend 與原因，以及 &lt;code&gt;balance&lt;/code&gt; 怎麼挑。&lt;/p&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;&#34;&gt;&lt;code class=&#34;language-console&#34; data-lang=&#34;console&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;$ emfor lookup api.svc.emfor --explain&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;service: api.svc.emfor&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;answering: as a client library answers&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;store: /var/lib/emfor/state.mdb (heartbeat 0.4s ago, fresh)&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;balance: round-robin  on_all_down: open&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;tier: healthy primary backends whose last check passed&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;candidates:&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;  10.0.0.11:8080&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;excluded:&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;  10.0.0.12:8080  last check failed&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;  10.0.0.13:8080  backup held back&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;  10.0.0.14:8080  unhealthy&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;selection: round-robin: the candidates in turn&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;  the actual choice depends on the rotation start of the process, which is random in a new process&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;answer: 10.0.0.11:8080&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;原因有 &lt;code&gt;stale&lt;/code&gt;（stale 的 store 裡沒有 backend 算 healthy 或 &lt;code&gt;unknown&lt;/code&gt;）、&lt;code&gt;unhealthy&lt;/code&gt;、&lt;code&gt;unknown&lt;/code&gt;（有更好的層級有候選）、&lt;code&gt;last check failed&lt;/code&gt;、&lt;code&gt;backup held back&lt;/code&gt;、&lt;code&gt;not in the pool&lt;/code&gt;（&lt;code&gt;fastest&lt;/code&gt;）與 &lt;code&gt;not at this site&lt;/code&gt;（&lt;code&gt;locality&lt;/code&gt;）。慢啟動中的候選會顯示步數與有效權重。&lt;code&gt;failover&lt;/code&gt; 與有 key 的 &lt;code&gt;sticky&lt;/code&gt; 會指出它選的 backend；其他方法因為答案取決於行程的輪流位置，只列出候選與規則。&lt;code&gt;--explain&lt;/code&gt; 不會推進任何輪流位置。&lt;/p&gt;&#xA;&lt;p&gt;&lt;code&gt;--json&lt;/code&gt; 輸出一個 JSON 物件（&lt;code&gt;service&lt;/code&gt;、&lt;code&gt;via&lt;/code&gt;、&lt;code&gt;family&lt;/code&gt;、&lt;code&gt;store&lt;/code&gt;、&lt;code&gt;balance&lt;/code&gt;、&lt;code&gt;on_all_down&lt;/code&gt;、&lt;code&gt;result&lt;/code&gt;，加上 &lt;code&gt;--explain&lt;/code&gt; 時還有 &lt;code&gt;explain&lt;/code&gt;）；之後的版本只會增加欄位。文字輸出不是穩定的介面。&lt;/p&gt;&#xA;&lt;p&gt;&lt;code&gt;--dns A&lt;/code&gt; 與 &lt;code&gt;--dns AAAA&lt;/code&gt;（兩者都隱含 &lt;code&gt;--explain&lt;/code&gt;）說明 daemon 的 DNS server 對 A 或 AAAA 查詢會怎麼回答：只看該 family 的 backend、store 一律視為 fresh、&lt;code&gt;sticky&lt;/code&gt; 沒有 key、&lt;code&gt;weighted&lt;/code&gt; 用 daemon 的 smooth weighted round-robin。它讀的是 store，而 store 在 daemon 決定新的 &lt;code&gt;reason&lt;/code&gt; 之後最多晚約一秒才寫入，所以在那一秒內可能與真正的 DNS 答案不同；daemon 的輪流計數器在它的記憶體裡，不會顯示。SRV 的回答不做 explain。&lt;/p&gt;&#xA;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;結束代碼&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;意義&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;0&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;印出了位址（用 &lt;code&gt;--dns&lt;/code&gt; 時：服務在該 family 有候選）&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;1&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;沒有 backend 可選：&lt;code&gt;ALL_DOWN&lt;/code&gt;，或用 &lt;code&gt;--dns&lt;/code&gt; 時沒有該 family 的 backend&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;2&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;沒有這個服務、命令列無效，或讀不到設定檔&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;3&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;store 無法使用（&lt;code&gt;UNAVAILABLE&lt;/code&gt;），或格式這個指令讀不了（&lt;code&gt;INCOMPATIBLE&lt;/code&gt;），或輸出寫不出去（磁碟滿了；管線被關掉不算錯誤）&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;p&gt;&lt;code&gt;--explain&lt;/code&gt; 不會改變結束代碼，查詢失敗時仍會印出已知的內容。&lt;/p&gt;&#xA;&lt;h2 id=&#34;執行緒行程與-fork&#34;&gt;執行緒、行程與 fork&#xA;&lt;/h2&gt;&lt;ul&gt;&#xA;&lt;li&gt;可以從多個執行緒同時查詢。&lt;/li&gt;&#xA;&lt;li&gt;每個行程只開啟 store 一次並重複使用。一次查詢只在讀取期間占用一個 LMDB reader slot。store 共有 1024 個 slot，由主機上所有行程共用；查詢途中被殺掉的行程會留下一個被占用的 slot，直到 daemon 釋放它（大約每分鐘一次）。&lt;/li&gt;&#xA;&lt;li&gt;&lt;code&gt;fork&lt;/code&gt; 之後，子行程在第一次查詢時重新開啟 store；即使父行程在 fork 前查詢過（php-fpm、prefork 型伺服器），或 fork 的當下父行程有其他執行緒正在查詢，也沒問題。&lt;/li&gt;&#xA;&lt;li&gt;在 FreeBSD 上，&lt;code&gt;fork&lt;/code&gt; 會等到行程內沒有查詢還在 store 裡，並擋住新的查詢，直到 fork 在父行程與子行程都回傳；否則在別的執行緒查詢的當下 fork，子行程的第一次查詢可能永遠卡住，因為 FreeBSD 的執行緒函式庫會把它自己的一把鎖在子行程裡留成已鎖住的狀態。等待的時間只有一次讀取那麼長；fork 進行期間，查詢也同樣會等。有執行緒在查詢途中被 &lt;code&gt;SIGSTOP&lt;/code&gt;，fork 會等到它繼續。FreeBSD 上的 &lt;code&gt;libemfor&lt;/code&gt; 不能被卸載（&lt;code&gt;dlclose&lt;/code&gt; 之後它仍然留在記憶體裡），因為它的 fork handler 要到行程結束才會解除註冊；把 &lt;code&gt;libemfor.a&lt;/code&gt; 靜態連進會被卸載的模組，或在自己的 cdylib 裡依賴 Rust crate，必須自行加 &lt;code&gt;-Wl,-z,nodelete&lt;/code&gt;。&lt;/li&gt;&#xA;&lt;li&gt;FreeBSD 上這個 guard 沒有涵蓋的情形：在 signal handler 裡 fork，而被中斷的正是同一個執行緒正在進行的查詢（fork 會回傳，但子行程的第一次查詢仍可能卡住，和沒有 guard 時一樣）；以及同一個行程裡其他使用 process-shared mutex 的程式（例如另一個 LMDB environment），它們仍可能讓子行程在自己的查詢裡卡住。不要在 signal handler 裡 fork；其餘的情形函式庫沒有辦法處理。&lt;/li&gt;&#xA;&lt;li&gt;round-robin 計數器是每個行程各自一份。&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;h2 id=&#34;store-檔案被替換或變大時&#34;&gt;store 檔案被替換或變大時&#xA;&lt;/h2&gt;&lt;p&gt;如果 store 檔案在應用程式執行期間被替換（daemon 把損毀的 store 移到一旁，或有人刪掉它而 daemon 建立了新的），client 會在大約 100 ms 內察覺並切換到新檔案；不需要重新啟動應用程式。daemon 以較大的 &lt;code&gt;[store] map_size&lt;/code&gt; 重新啟動、store 長到超過原本的大小時也一樣。&lt;/p&gt;&#xA;&lt;p&gt;store 檔案存在但開不起來時（LMDB 格式不同、沒有權限、不是 store），client 最多每秒重試一次，期間的查詢都以同一個 &lt;code&gt;UNAVAILABLE&lt;/code&gt; 錯誤失敗。store 檔案不存在時，每次查詢都會重試，所以比 daemon 先啟動的應用程式在 store 出現後就能讀到。&lt;/p&gt;&#xA;&lt;p&gt;不要單獨刪除 lock 檔（&lt;code&gt;&amp;lt;store&amp;gt;-lock&lt;/code&gt;）。請在以 root 或 daemon 使用者身分執行的應用程式之前啟動 daemon：lock 檔不存在時，第一個開啟 store 的行程會建立它，擁有者是該行程的使用者，以另一個使用者執行的 daemon 之後可能無法啟動。&lt;/p&gt;&#xA;&lt;h2 id=&#34;與-daemon-同一發行版&#34;&gt;與 daemon 同一發行版&#xA;&lt;/h2&gt;&lt;p&gt;client 函式庫內含 daemon 自己的 LMDB build，而 store 的 lock 檔格式取決於它。&lt;code&gt;libemfor&lt;/code&gt;（以及各語言包裝）要與 daemon 來自同一個 emfor 發行版，並一起升級。版本不符會以 &lt;code&gt;UNAVAILABLE&lt;/code&gt; 呈現，訊息會說明原因。&lt;/p&gt;&#xA;&lt;h3 id=&#34;store-格式版本&#34;&gt;store 格式版本&#xA;&lt;/h3&gt;&lt;p&gt;daemon 寫入 store 格式版本 2，它新增了 backend 欄位 &lt;code&gt;backup&lt;/code&gt;。這個發行版的 client 能讀版本 1 與 2，所以搭配較舊的 daemon 也能用；較舊的 client 讀到版本 2 的 store 時，每次查詢都會以 &lt;code&gt;INCOMPATIBLE&lt;/code&gt; 失敗。升級時，請先升級主機上的 client（以及 &lt;code&gt;emfor status&lt;/code&gt;），再升級 daemon。&lt;/p&gt;&#xA;&lt;h2 id=&#34;效能&#34;&gt;效能&#xA;&lt;/h2&gt;&lt;p&gt;單一執行緒一次查詢約 1–1.5 µs。吞吐量隨執行緒增加到大約四個為止，之後由 store 共用的 reader lock 決定速度（在 Linux 上合計約每秒兩百萬次查詢）。量測數據見 &lt;a class=&#34;link&#34; href=&#34;https://github.com/embark-systems/emfor/blob/v0.6.0/docs/performance.md&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;&#xA;    &gt;docs/performance.md&lt;/a&gt;。&lt;/p&gt;&#xA;</description>
        </item><item>
            <title>7. DNS</title>
            <link>https://embark.systems/emfor/07-dns/</link>
            <pubDate>Mon, 01 Jan 0001 00:00:00 +0000</pubDate>
            <guid>https://embark.systems/emfor/07-dns/</guid>
            <description>&lt;p&gt;無法使用 client 函式庫的程式（第三方執行檔、沒有 client 的語言、&lt;code&gt;CGO_ENABLED=0&lt;/code&gt; 的 Go 建置）可以改用 DNS 解析服務名稱。emfor 的 DNS server 只回答自己的 zone，聽在 loopback 的一個 port 上；主機原本的 resolver 把這個 zone 轉送給它。&lt;/p&gt;&#xA;&lt;pre tabindex=&#34;0&#34;&gt;&lt;code&gt;program --&amp;gt; host resolver (dnsmasq, unbound, systemd-resolved) --&amp;gt; other names: upstream DNS&#xA;                     |&#xA;                     +-- *.svc.emfor --&amp;gt; emfor on 127.0.0.1:5300&#xA;&lt;/code&gt;&lt;/pre&gt;&lt;p&gt;emfor 絕不是主機的一般 DNS server，所以 daemon 停止時，只有它 zone 裡的名稱無法解析。&lt;/p&gt;&#xA;&lt;h2 id=&#34;啟用&#34;&gt;啟用&#xA;&lt;/h2&gt;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;&#34;&gt;&lt;code class=&#34;language-toml&#34; data-lang=&#34;toml&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;[&lt;span style=&#34;color:#a6e22e&#34;&gt;dns&lt;/span&gt;]&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;listen&lt;/span&gt; = [&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;127.0.0.1:5300&amp;#34;&lt;/span&gt;]   &lt;span style=&#34;color:#75715e&#34;&gt;# default; not 5353, which is mDNS&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;zone&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;svc.emfor&amp;#34;&lt;/span&gt;            &lt;span style=&#34;color:#75715e&#34;&gt;# default&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;ttl&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;1s&amp;#34;&lt;/span&gt;                    &lt;span style=&#34;color:#75715e&#34;&gt;# default&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;rate_limit&lt;/span&gt; = &lt;span style=&#34;color:#ae81ff&#34;&gt;100&lt;/span&gt;              &lt;span style=&#34;color:#75715e&#34;&gt;# default; UDP responses a second per client network&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;空的 &lt;code&gt;[dns]&lt;/code&gt; table 使用預設值。server 同時聽 UDP 與 TCP。有位址無法 bind 時，daemon 以結束代碼 1 結束。TCP 同時最多服務 128 條連線（超過的會立即關閉），5 秒內沒有送出查詢的 TCP 連線會被關閉。daemon 執行中若有 listener 停止，daemon 會以結束代碼 70 結束，由 service manager 重新啟動。&lt;/p&gt;&#xA;&lt;p&gt;只有名稱在 zone 之下的服務會被回答。啟動與 reload 時，daemon 會為每個在 zone 之外的服務記錄一則警告，也會為每個 backend 使用不同 port 的服務記錄一則警告（A 與 AAAA 回答不帶 port；這類服務請用 SRV 或 client 函式庫）。&lt;/p&gt;&#xA;&lt;h3 id=&#34;速率限制&#34;&gt;速率限制&#xA;&lt;/h3&gt;&lt;p&gt;SRV 回答可以比查詢大上許多倍，所以其他主機連得到的 DNS server 可能被拿來用偽造來源的 UDP 查詢灌爆第三方。因此 server 會依 client 網段（IPv4 /24 或 IPv6 /56）計算 UDP 回應，每秒最多送出 &lt;code&gt;[dns] rate_limit&lt;/code&gt; 個（預設 100）。超過之後，每兩個回應中有一個改成空的、設了 TC 旗標的回應：它不比查詢大（查詢沒有 EDNS 時大小相同），正常的 client 會改用 TCP 重試；其餘不回應。loopback 位址上的 client 與 TCP 一律不受限，所以預設的設定（&lt;code&gt;listen&lt;/code&gt; 在 127.0.0.1，由本機 resolver 查詢）不受影響。&lt;code&gt;emfor_dns_rate_limited_total&lt;/code&gt; 計算被限制的回應；如果站內轉送到 emfor 的 resolver 出現在這裡，就調高 &lt;code&gt;rate_limit&lt;/code&gt;，或設為 &lt;code&gt;0&lt;/code&gt; 關閉限制。&lt;/p&gt;&#xA;&lt;p&gt;啟動時，daemon 會為每個不是 loopback 的 &lt;code&gt;listen&lt;/code&gt; 位址記錄一則警告：任何連得到它的主機都能查詢每個服務。請用防火牆限制誰能連到這個 port。&lt;/p&gt;&#xA;&lt;p&gt;設定 resolver 之前，先直接查詢確認：&lt;/p&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;&#34;&gt;&lt;code class=&#34;language-sh&#34; data-lang=&#34;sh&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;dig @127.0.0.1 -p &lt;span style=&#34;color:#ae81ff&#34;&gt;5300&lt;/span&gt; api.svc.emfor A          &lt;span style=&#34;color:#75715e&#34;&gt;# Linux, macOS&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;drill -p &lt;span style=&#34;color:#ae81ff&#34;&gt;5300&lt;/span&gt; api.svc.emfor @127.0.0.1           &lt;span style=&#34;color:#75715e&#34;&gt;# FreeBSD&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;h2 id=&#34;回答&#34;&gt;回答&#xA;&lt;/h2&gt;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;查詢&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;回答&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;服務的 A / AAAA&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;一筆記錄：依 &lt;code&gt;balance&lt;/code&gt; 選出的該位址族 backend（&lt;a class=&#34;link&#34; href=&#34;../05-backend-selection/#dns-%e7%9a%84%e5%b7%ae%e7%95%b0&#34; &gt;第 5 章&lt;/a&gt;），帶 &lt;code&gt;aa&lt;/code&gt; flag。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;A / AAAA，沒有該位址族的 backend&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;NOERROR&lt;/code&gt;，沒有記錄（NODATA）。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;A / AAAA / SRV，沒有健康的 backend 且 &lt;a class=&#34;link&#34; href=&#34;../05-backend-selection/#%e6%b2%92%e6%9c%89%e4%bb%bb%e4%bd%95-backend-%e5%81%a5%e5%ba%b7%e6%99%82&#34; &gt;&lt;code&gt;on_all_down = &amp;quot;closed&amp;quot;&lt;/code&gt;&lt;/a&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;SERVFAIL&lt;/code&gt;。A 與 AAAA 的「沒有健康的 backend」是依位址族分開算的。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;A / AAAA / SRV，服務的每個 backend 都被 drain&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;SERVFAIL&lt;/code&gt;，不論 &lt;code&gt;on_all_down&lt;/code&gt; 是什麼（&lt;a class=&#34;link&#34; href=&#34;../05-backend-selection/#drain-%e4%b8%80%e5%80%8b-backend&#34; &gt;第 5 章&lt;/a&gt;）。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;zone 之下的任何名稱，在 daemon 還沒有第一份狀態之前（剛啟動的那一小段時間）&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;SERVFAIL&lt;/code&gt;：還不知道有哪些名稱。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;SRV，某個 backend 的目標名稱會超過 255 位元組&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;SERVFAIL&lt;/code&gt;。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;服務或 &lt;code&gt;_&amp;lt;任意&amp;gt;._tcp.&amp;lt;服務&amp;gt;&lt;/code&gt; 的 SRV&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;每個候選一筆 SRV 記錄，位址放在 additional section。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;服務的其他類型&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;NOERROR&lt;/code&gt;，沒有記錄。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;zone 之下、但不是服務的名稱&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;NXDOMAIN&lt;/code&gt;。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;zone 之外的名稱，或 class 不是 &lt;code&gt;IN&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;REFUSED&lt;/code&gt;。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;EDNS 版本大於 0&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;BADVERS&lt;/code&gt;。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;p&gt;TTL 是服務的 &lt;code&gt;dns_ttl&lt;/code&gt;（&lt;a class=&#34;link&#34; href=&#34;../03-configuration/#servicesname&#34; &gt;第 3 章&lt;/a&gt;），否則為 &lt;code&gt;[dns] ttl&lt;/code&gt;（&lt;a class=&#34;link&#34; href=&#34;../03-configuration/#dns&#34; &gt;第 3 章&lt;/a&gt;；預設 1 秒）。zone 有一筆合成的 SOA，其負向快取 TTL 也是 &lt;code&gt;[dns] ttl&lt;/code&gt;。&lt;/p&gt;&#xA;&lt;h2 id=&#34;srv-記錄&#34;&gt;SRV 記錄&#xA;&lt;/h2&gt;&lt;p&gt;SRV 回答帶有每個 backend 的 port，並列出所有候選，選法與 A、AAAA 回答相同：最近一次檢查通過的主要 backend；沒有的話，最近一次檢查通過的&lt;a class=&#34;link&#34; href=&#34;../05-backend-selection/#%e5%82%99%e6%8f%b4-backend&#34; &gt;備援&lt;/a&gt;；再沒有的話，全部健康的主要 backend 都在失敗時列出它們全部（見&lt;a class=&#34;link&#34; href=&#34;../05-backend-selection/#%e6%aa%a2%e6%9f%a5%e9%96%8b%e5%a7%8b%e5%a4%b1%e6%95%97%e7%9a%84-backend&#34; &gt;檢查開始失敗的 backend&lt;/a&gt;），否則列出全部健康的備援。只要有健康的 backend，同一個回答就不會同時列出主要與備援；沒有任何健康且 &lt;code&gt;on_all_down&lt;/code&gt; 為 &lt;code&gt;open&lt;/code&gt; 時，列出 open 的候選（見&lt;a class=&#34;link&#34; href=&#34;../05-backend-selection/#%e6%b2%92%e6%9c%89%e4%bb%bb%e4%bd%95-backend-%e5%81%a5%e5%ba%b7%e6%99%82&#34; &gt;第 5 章&lt;/a&gt;）：先是 &lt;code&gt;unknown&lt;/code&gt; 的 backend（最近一次檢查通過的優先），沒有才列出全部。IPv4 與 IPv6 backend 一起列出。Go 的 &lt;code&gt;net.LookupSRV(&amp;quot;http&amp;quot;, &amp;quot;tcp&amp;quot;, &amp;quot;api.svc.emfor&amp;quot;)&lt;/code&gt; 會查詢 &lt;code&gt;_http._tcp.api.svc.emfor&lt;/code&gt;，emfor 會回答（其他會組出這種名稱的 client 沒有試過）。&lt;/p&gt;&#xA;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;&lt;code&gt;balance&lt;/code&gt;&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;Priority&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;Weight&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;順序&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;failover&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;依設定檔順序 0、1、2…&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;1&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;設定檔順序&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;weighted&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;0&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;backend 的 &lt;code&gt;weight&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;設定檔順序&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;locality&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;在主機的 &lt;code&gt;site&lt;/code&gt; 中為 0，其他為 1&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;1&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;每次查詢輪替&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;fastest&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;在 pool 中為 0，不在為 1&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;1&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;每次查詢輪替&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;round-robin&lt;/code&gt;、&lt;code&gt;sticky&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;0&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;1&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;每次查詢輪替&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;p&gt;有候選正在&lt;a class=&#34;link&#34; href=&#34;../05-backend-selection/#%e6%85%a2%e5%95%9f%e5%8b%95slow-start&#34; &gt;慢啟動&lt;/a&gt;時，除了 &lt;code&gt;failover&lt;/code&gt; 以外的方式都把每台的 weight 設為降低後的權重：它的 &lt;code&gt;weight&lt;/code&gt;（&lt;code&gt;weighted&lt;/code&gt;）或 1，乘上 1 到 10 的級數。&lt;/p&gt;&#xA;&lt;p&gt;每筆記錄的 target 是由 backend 位址衍生、放在服務名稱之下的名稱，不論 backend 是否健康，emfor 都會解析它：&lt;/p&gt;&#xA;&lt;ul&gt;&#xA;&lt;li&gt;&lt;code&gt;10.0.0.11&lt;/code&gt; → &lt;code&gt;10-0-0-11.api.svc.emfor&lt;/code&gt;&lt;/li&gt;&#xA;&lt;li&gt;&lt;code&gt;2001:db8::11&lt;/code&gt; → &lt;code&gt;2001-0db8-0000-0000-0000-0000-0000-0011.api.svc.emfor&lt;/code&gt;&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;p&gt;透過 UDP 時，回應大小不超過 client 以 EDNS 宣告的大小，但 emfor 把它限制在 1232 位元組以內（宣告 4096 的 client 只得到 1232），沒有 EDNS 時為 512 位元組。位址放不下時就省略位址；連 SRV 記錄都放不下時，回應會被截斷（TC），resolver 會改用 TCP 重試。測試中（IPv4 backend、短的服務名稱）在 1232 位元組內，帶位址可放 19 個 backend、不帶位址可放 27 個；512 位元組時分別是 8 個與 11 個。40 個 backend、client 宣告 4096 時，UDP 回應有 27 筆記錄並設了 TC，走 TCP 則 40 筆全到。個別 client 收到 TC 之後的行為，只試過 nginx 與 HAProxy，範圍以下面各節為準。名稱長度接近 255 位元組上限時，連單一 A 記錄或 SOA 都可能超過 512 位元組，這種回應同樣會被截斷。&lt;/p&gt;&#xA;&lt;h2 id=&#34;從主機的-resolver-轉送&#34;&gt;從主機的 resolver 轉送&#xA;&lt;/h2&gt;&lt;p&gt;選擇你的主機所用的 resolver。以下片段使用預設值；如果改過 zone 或 port，請跟著調整。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;dnsmasq&lt;/strong&gt;（&lt;code&gt;/etc/dnsmasq.d/emfor.conf&lt;/code&gt;，然後 &lt;code&gt;systemctl restart dnsmasq&lt;/code&gt;）：&lt;/p&gt;&#xA;&lt;pre tabindex=&#34;0&#34;&gt;&lt;code&gt;server=/svc.emfor/127.0.0.1#5300&#xA;&lt;/code&gt;&lt;/pre&gt;&lt;p&gt;&lt;strong&gt;unbound&lt;/strong&gt;，也適用 FreeBSD 的 &lt;code&gt;local_unbound&lt;/code&gt;（&lt;code&gt;/etc/unbound/unbound.conf.d/emfor.conf&lt;/code&gt; 或 &lt;code&gt;/var/unbound/conf.d/emfor.conf&lt;/code&gt;）：&lt;/p&gt;&#xA;&lt;pre tabindex=&#34;0&#34;&gt;&lt;code&gt;server:&#xA;    do-not-query-localhost: no&#xA;    domain-insecure: &amp;#34;svc.emfor&amp;#34;&#xA;&#xA;forward-zone:&#xA;    name: &amp;#34;svc.emfor&amp;#34;&#xA;    forward-addr: 127.0.0.1@5300&#xA;&lt;/code&gt;&lt;/pre&gt;&lt;p&gt;兩行 &lt;code&gt;server:&lt;/code&gt; 設定都是必要的：unbound 預設不查詢 localhost，而會做驗證的 unbound 會拒絕這個未簽章的 zone。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;systemd-resolved&lt;/strong&gt;（&lt;code&gt;/etc/systemd/resolved.conf.d/emfor.conf&lt;/code&gt;，需 systemd 246 以上，然後 &lt;code&gt;systemctl restart systemd-resolved&lt;/code&gt;）：&lt;/p&gt;&#xA;&lt;pre tabindex=&#34;0&#34;&gt;&lt;code&gt;[Resolve]&#xA;DNS=127.0.0.1:5300&#xA;Domains=~svc.emfor&#xA;&lt;/code&gt;&lt;/pre&gt;&lt;p&gt;&lt;strong&gt;macOS&lt;/strong&gt;（僅供開發；檔案 &lt;code&gt;/etc/resolver/svc.emfor&lt;/code&gt;）：&lt;/p&gt;&#xA;&lt;pre tabindex=&#34;0&#34;&gt;&lt;code&gt;nameserver 127.0.0.1&#xA;port 5300&#xA;&lt;/code&gt;&lt;/pre&gt;&lt;p&gt;接著透過系統 resolver 測試：Linux 與 FreeBSD 用 &lt;code&gt;getent hosts api.svc.emfor&lt;/code&gt;，macOS 用 &lt;code&gt;dscacheutil -q host -a name api.svc.emfor&lt;/code&gt;。&lt;a class=&#34;link&#34; href=&#34;https://github.com/embark-systems/emfor/blob/v0.6.0/docs/deploy/dns-resolver.md&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;&#xA;    &gt;docs/deploy/dns-resolver.md&lt;/a&gt; 有經過驗證的設定方式與更多檢查方法。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;做法。&lt;/strong&gt; nginx、HAProxy、Caddy、Prometheus、pf，以及自己會查 SRV 記錄的 client，見&lt;a class=&#34;link&#34; href=&#34;../07-dns-recipes/&#34; &gt;第 7b 章&lt;/a&gt;。&lt;/p&gt;&#xA;&lt;h2 id=&#34;快取&#34;&gt;快取&#xA;&lt;/h2&gt;&lt;p&gt;emfor 的短 TTL 讓故障的 backend 大約一秒內從回答中消失。快取會拉長這段時間：&lt;/p&gt;&#xA;&lt;ul&gt;&#xA;&lt;li&gt;resolver 的最小快取 TTL 保持為 0（dnsmasq &lt;code&gt;min-cache-ttl&lt;/code&gt;、unbound &lt;code&gt;cache-min-ttl&lt;/code&gt;）。&lt;/li&gt;&#xA;&lt;li&gt;resolver 在 TTL 期間從快取回答重複的查詢，所以主機上所有程式在這段時間內拿到同一個 round-robin 答案。降低 &lt;code&gt;dns_ttl&lt;/code&gt;（最低 &lt;code&gt;0s&lt;/code&gt;）可以更頻繁地輪替。&lt;/li&gt;&#xA;&lt;li&gt;負向回答（尚未設定的名稱）會被快取 &lt;code&gt;[dns] ttl&lt;/code&gt; 的時間。&lt;/li&gt;&#xA;&lt;li&gt;應用程式的 runtime 可能自己快取（例如 JVM 的 &lt;code&gt;networkaddress.cache.ttl&lt;/code&gt;）；emfor 無法縮短這些快取。&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;</description>
        </item><item>
            <title>7b. DNS 做法：proxy 與其他程式</title>
            <link>https://embark.systems/emfor/07-dns-recipes/</link>
            <pubDate>Mon, 01 Jan 0001 00:00:00 +0000</pubDate>
            <guid>https://embark.systems/emfor/07-dns-recipes/</guid>
            <description>&lt;p&gt;本章接續&lt;a class=&#34;link&#34; href=&#34;../07-dns/&#34; &gt;第 7 章&lt;/a&gt;：怎麼設定 nginx、HAProxy、Caddy、Prometheus 與 pf，讓它們從 emfor 的 DNS 回答取得 server，以及自己會查 SRV 記錄的 client 會怎麼做。每一節都說明試過什麼、沒試過什麼。&lt;/p&gt;&#xA;&lt;h2 id=&#34;搭配-nginx-使用&#34;&gt;搭配 nginx 使用&#xA;&lt;/h2&gt;&lt;p&gt;開源版的 nginx 沒有主動健康檢查（只有 &lt;code&gt;max_fails&lt;/code&gt;），upstream 清單在 reload 之前也是固定的。nginx 1.27.3 或更新的版本可以改從 emfor 的 SRV 回答取得清單（&lt;code&gt;resolve&lt;/code&gt; 與 &lt;code&gt;service=&lt;/code&gt; 在那個版本之前只有商業版有），所以檢查失敗的 backend、你 drain 的 backend、你改的權重，都會在幾秒內傳到 nginx（先是 emfor 自己的檢查間隔，再加上 &lt;code&gt;valid&lt;/code&gt; 的一秒），不需要 reload：&lt;/p&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;&#34;&gt;&lt;code class=&#34;language-nginx&#34; data-lang=&#34;nginx&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#66d9ef&#34;&gt;resolver&lt;/span&gt; 127.0.0.1:&lt;span style=&#34;color:#ae81ff&#34;&gt;5300&lt;/span&gt; &lt;span style=&#34;color:#e6db74&#34;&gt;valid=1s&lt;/span&gt; &lt;span style=&#34;color:#e6db74&#34;&gt;ipv6=off&lt;/span&gt;;    &lt;span style=&#34;color:#75715e&#34;&gt;# emfor 的 DNS server，每秒問一次&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#66d9ef&#34;&gt;resolver_timeout&lt;/span&gt; &lt;span style=&#34;color:#e6db74&#34;&gt;1s&lt;/span&gt;;                          &lt;span style=&#34;color:#75715e&#34;&gt;# 查詢失敗後多久再問一次&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#66d9ef&#34;&gt;upstream&lt;/span&gt; &lt;span style=&#34;color:#e6db74&#34;&gt;api&lt;/span&gt; {&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;    &lt;span style=&#34;color:#f92672&#34;&gt;zone&lt;/span&gt; &lt;span style=&#34;color:#e6db74&#34;&gt;api&lt;/span&gt; &lt;span style=&#34;color:#ae81ff&#34;&gt;64k&lt;/span&gt;;                              &lt;span style=&#34;color:#75715e&#34;&gt;# 用 `resolve` 就一定要有&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;    &lt;span style=&#34;color:#f92672&#34;&gt;server&lt;/span&gt; &lt;span style=&#34;color:#e6db74&#34;&gt;api.svc.emfor&lt;/span&gt; &lt;span style=&#34;color:#e6db74&#34;&gt;service=http&lt;/span&gt; &lt;span style=&#34;color:#e6db74&#34;&gt;resolve&lt;/span&gt;; &lt;span style=&#34;color:#75715e&#34;&gt;# 查 _http._tcp.api.svc.emfor&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;}&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#66d9ef&#34;&gt;server&lt;/span&gt; {&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;    &lt;span style=&#34;color:#f92672&#34;&gt;listen&lt;/span&gt; &lt;span style=&#34;color:#ae81ff&#34;&gt;80&lt;/span&gt;;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;    &lt;span style=&#34;color:#f92672&#34;&gt;location&lt;/span&gt; &lt;span style=&#34;color:#e6db74&#34;&gt;/&lt;/span&gt; { &lt;span style=&#34;color:#f92672&#34;&gt;proxy_pass&lt;/span&gt; &lt;span style=&#34;color:#e6db74&#34;&gt;http://api&lt;/span&gt;; }&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;}&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;&lt;code&gt;resolver&lt;/code&gt; 直接指向 emfor（&lt;code&gt;[dns] listen&lt;/code&gt;，預設 5300 port），不是主機的 resolver：nginx 有自己的 resolver 快取，&lt;code&gt;valid=1s&lt;/code&gt; 讓它每秒重新問一次。&lt;code&gt;resolver_timeout 1s&lt;/code&gt; 在查詢失敗之後才有作用，例如 emfor 回答 &lt;code&gt;SERVFAIL&lt;/code&gt; 時：nginx 要等這麼久才會再問，預設是 30 秒（見下）。&lt;code&gt;service=http&lt;/code&gt; 只是名稱的前綴（&lt;code&gt;_http._tcp&lt;/code&gt;）；emfor 會回答 &lt;code&gt;_&amp;lt;任意&amp;gt;._tcp.&amp;lt;服務名稱&amp;gt;&lt;/code&gt;（&lt;a class=&#34;link&#34; href=&#34;../07-dns/#srv-%e8%a8%98%e9%8c%84&#34; &gt;SRV 記錄&lt;/a&gt;），所以 port 來自每一筆記錄。&lt;/p&gt;&#xA;&lt;p&gt;nginx 怎麼處理這個回答，以下用 nginx 1.30.6（stable）與 1.31.8（mainline）測過：&lt;/p&gt;&#xA;&lt;ul&gt;&#xA;&lt;li&gt;&lt;strong&gt;健康狀態&lt;/strong&gt;：檢查失敗的 backend 不在回答裡，nginx 就不再送請求給它；它恢復後又回來。測試對每個變化最多等 10 秒；檢查間隔 200 毫秒時大約花 3 秒。&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;&lt;code&gt;drain = true&lt;/code&gt;&lt;/strong&gt;（&lt;a class=&#34;link&#34; href=&#34;../05-backend-selection/#drain-%e4%b8%80%e5%80%8b-backend&#34; &gt;第 5 章&lt;/a&gt;）：改 emfor 的設定並 reload emfor；不用動 nginx，那台 backend 不再收到新的請求。正在 backend 上跑的請求會跑完，nginx 對它開著的連線也維持開著：見&lt;a class=&#34;link&#34; href=&#34;../08-operations/#%e7%94%a8-drain-%e5%81%9a%e6%bb%be%e5%8b%95%e9%83%a8%e7%bd%b2&#34; &gt;用 drain 做滾動部署&lt;/a&gt;（&lt;code&gt;tests/deploy&lt;/code&gt;）與下面的 stream 測試。&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;優先序&lt;/strong&gt;：nginx 把 priority 數字最小的記錄當 server，其他的當 &lt;code&gt;backup&lt;/code&gt;。&lt;code&gt;balance = &amp;quot;failover&amp;quot;&lt;/code&gt; 時，第一台健康的 backend 是唯一的 server，第二台是它的備援；&lt;code&gt;locality&lt;/code&gt; 與 &lt;code&gt;fastest&lt;/code&gt; 也給 priority 0 與 1（見上面的 SRV 表），但只有 &lt;code&gt;failover&lt;/code&gt; 對 nginx 跑過。&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;&lt;code&gt;balance = &amp;quot;weighted&amp;quot;&lt;/code&gt; 的權重&lt;/strong&gt;會被遵守：權重 3 與 1 時，80 個請求中有 60 個送到第一台。（nginx 的文件沒有說它會用 SRV 的權重。）&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;emfor 無法回答時&lt;/strong&gt;：服務沒有 backend 可以給（&lt;code&gt;on_all_down = &amp;quot;closed&amp;quot;&lt;/code&gt; 且全部不健康，或每個 backend 都 drain），emfor 回 &lt;code&gt;SERVFAIL&lt;/code&gt;；nginx 會記錄 &lt;code&gt;could not be resolved&lt;/code&gt;，並&lt;strong&gt;沿用它最後一次拿到的清單&lt;/strong&gt;，繼續送請求給那些 backend。停掉的 emfor 根本不會回任何答案，nginx 的查詢是逾時而不是收到 &lt;code&gt;SERVFAIL&lt;/code&gt;；這個情況沒有試過（測試只 drain 過所有 backend），nginx 對逾時的處理可能和對 &lt;code&gt;SERVFAIL&lt;/code&gt; 的不同。對 nginx 的用戶端來說，要靠 nginx 自己的 &lt;code&gt;proxy_next_upstream&lt;/code&gt; 與 &lt;code&gt;max_fails&lt;/code&gt; 才會失敗。&lt;strong&gt;emfor 再度回答時，nginx 要等 &lt;code&gt;resolver_timeout&lt;/code&gt; 之後才會跟上&lt;/strong&gt;，預設是 30 秒：測試中用預設值，emfor 再度回答 5 秒後 nginx 仍是舊清單，大約 26 秒後才跟上；設成 &lt;code&gt;resolver_timeout 1s&lt;/code&gt; 則大約一秒就跟上（設 5 秒約 2 秒，設 10 秒約 7 秒）。在這個狀態下你做的改動，例如 drain，也同樣要等那麼久才會到 nginx。所以食譜設 &lt;code&gt;resolver_timeout 1s&lt;/code&gt;。&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;HTTPS upstream&lt;/strong&gt;：記錄的目標是像 &lt;code&gt;10-0-0-11.api.svc.emfor&lt;/code&gt; 的名稱。要把 &lt;code&gt;proxy_ssl_name&lt;/code&gt;（並設 &lt;code&gt;proxy_ssl_server_name on&lt;/code&gt;）設成 backend 憑證上的名稱。這一項沒有試過。&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;p&gt;&lt;strong&gt;TCP，用 &lt;code&gt;stream&lt;/code&gt; 模組。&lt;/strong&gt; 同樣的 &lt;code&gt;upstream&lt;/code&gt; 在 &lt;code&gt;stream&lt;/code&gt; 區塊裡也能用，適合資料庫或其他任何 TCP 服務：&lt;/p&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;&#34;&gt;&lt;code class=&#34;language-nginx&#34; data-lang=&#34;nginx&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#66d9ef&#34;&gt;stream&lt;/span&gt; {&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;    &lt;span style=&#34;color:#f92672&#34;&gt;resolver&lt;/span&gt; 127.0.0.1:&lt;span style=&#34;color:#ae81ff&#34;&gt;5300&lt;/span&gt; &lt;span style=&#34;color:#e6db74&#34;&gt;valid=1s&lt;/span&gt; &lt;span style=&#34;color:#e6db74&#34;&gt;ipv6=off&lt;/span&gt;;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;    &lt;span style=&#34;color:#f92672&#34;&gt;resolver_timeout&lt;/span&gt; &lt;span style=&#34;color:#e6db74&#34;&gt;1s&lt;/span&gt;;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;    &lt;span style=&#34;color:#f92672&#34;&gt;upstream&lt;/span&gt; &lt;span style=&#34;color:#e6db74&#34;&gt;db&lt;/span&gt; {&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;        &lt;span style=&#34;color:#f92672&#34;&gt;zone&lt;/span&gt; &lt;span style=&#34;color:#e6db74&#34;&gt;db&lt;/span&gt; &lt;span style=&#34;color:#ae81ff&#34;&gt;64k&lt;/span&gt;;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;        &lt;span style=&#34;color:#f92672&#34;&gt;server&lt;/span&gt; &lt;span style=&#34;color:#e6db74&#34;&gt;db.svc.emfor&lt;/span&gt; &lt;span style=&#34;color:#e6db74&#34;&gt;service=pgsql&lt;/span&gt; &lt;span style=&#34;color:#e6db74&#34;&gt;resolve&lt;/span&gt;;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;    }&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;    &lt;span style=&#34;color:#f92672&#34;&gt;server&lt;/span&gt; {&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;        &lt;span style=&#34;color:#f92672&#34;&gt;listen&lt;/span&gt; &lt;span style=&#34;color:#ae81ff&#34;&gt;5432&lt;/span&gt;;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;        &lt;span style=&#34;color:#f92672&#34;&gt;proxy_pass&lt;/span&gt; &lt;span style=&#34;color:#e6db74&#34;&gt;db&lt;/span&gt;;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;    }&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;}&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;&lt;code&gt;tests/nginx/stream.sh&lt;/code&gt; 用兩台回答 HTTP 的 backend（TCP proxy 會原樣轉送）檢查過（用的是 &lt;code&gt;api.svc.emfor&lt;/code&gt; 與 &lt;code&gt;service=http&lt;/code&gt;，不是上面的名稱），nginx 1.30.6 與 1.31.8。health、&lt;code&gt;drain&lt;/code&gt;、&lt;code&gt;failover&lt;/code&gt;（第二台是備援）與權重的行為和 &lt;code&gt;http&lt;/code&gt; 相同，&lt;code&gt;SERVFAIL&lt;/code&gt; 也相同，包含之後的 &lt;code&gt;resolver_timeout&lt;/code&gt;。TCP 特有的是：&lt;/p&gt;&#xA;&lt;ul&gt;&#xA;&lt;li&gt;&lt;strong&gt;已經開著的連線不受影響。&lt;/strong&gt; backend 被 drain 時，一個 6 秒才傳完的回應，在連到它的連線上仍然完整收到（1200 個位元組收到 1200 個），新的連線則去了另一台。backend 如果是被停掉，同一條連線就被切斷（1200 個位元組只收到 160 個）。所以 drain 之後，連到那台 backend 的長連線要等用戶端或 backend 自己關閉，沒有東西會把它們移走。&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;連到 emfor 仍然列出、但已經停掉的 backend 的新連線，會改試下一台&lt;/strong&gt;：&lt;code&gt;proxy_next_upstream&lt;/code&gt; 在 &lt;code&gt;stream&lt;/code&gt; 裡預設是開的，backend 停掉期間建立的 25 條連線，失敗了 0 條。&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;p&gt;沒試過：UDP（&lt;code&gt;listen ... udp&lt;/code&gt;）、&lt;code&gt;ssl_preread&lt;/code&gt;、&lt;code&gt;proxy_protocol&lt;/code&gt;、&lt;code&gt;proxy_timeout&lt;/code&gt;（閒置的連線在預設的十分鐘後被關閉，這是 nginx 文件說的）、nginx Plus。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;較舊的 nginx。&lt;/strong&gt; 1.27.3 之前，&lt;code&gt;service=&lt;/code&gt; 參數在 &lt;code&gt;nginx -t&lt;/code&gt; 就被拒絕（&lt;code&gt;invalid parameter &amp;quot;service=http&amp;quot;&lt;/code&gt;，用 1.26.3 看到的）。沒有它時，在 &lt;code&gt;proxy_pass&lt;/code&gt; 用變數，讓 nginx 在執行時解析名稱，並讓服務的每個 backend 用同一個 port：&lt;/p&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;&#34;&gt;&lt;code class=&#34;language-nginx&#34; data-lang=&#34;nginx&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#66d9ef&#34;&gt;resolver&lt;/span&gt; 127.0.0.1:&lt;span style=&#34;color:#ae81ff&#34;&gt;5300&lt;/span&gt; &lt;span style=&#34;color:#e6db74&#34;&gt;valid=1s&lt;/span&gt; &lt;span style=&#34;color:#e6db74&#34;&gt;ipv6=off&lt;/span&gt;;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#66d9ef&#34;&gt;server&lt;/span&gt; {&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;    &lt;span style=&#34;color:#f92672&#34;&gt;listen&lt;/span&gt; &lt;span style=&#34;color:#ae81ff&#34;&gt;80&lt;/span&gt;;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;    &lt;span style=&#34;color:#f92672&#34;&gt;location&lt;/span&gt; &lt;span style=&#34;color:#e6db74&#34;&gt;/&lt;/span&gt; {&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;        &lt;span style=&#34;color:#f92672&#34;&gt;set&lt;/span&gt; $backend &lt;span style=&#34;color:#e6db74&#34;&gt;api.svc.emfor&lt;/span&gt;;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;        &lt;span style=&#34;color:#f92672&#34;&gt;proxy_pass&lt;/span&gt; &lt;span style=&#34;color:#e6db74&#34;&gt;http://&lt;/span&gt;$backend:8080;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;    }&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;}&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;A 回答只有一個 backend，由 &lt;code&gt;balance&lt;/code&gt; 選出，所以 nginx 一秒內的所有請求都送給那一台（它把回答保留 &lt;code&gt;valid&lt;/code&gt; 的時間）；輪替發生在秒與秒之間，不是請求與請求之間。測試中兩台 backend 都有被用到，平均程度沒有量。&lt;/p&gt;&#xA;&lt;p&gt;&lt;a class=&#34;link&#34; href=&#34;https://github.com/embark-systems/emfor/blob/v0.6.0/tests/nginx/run.sh&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;&#xA;    &gt;tests/nginx/&lt;/a&gt; 在指定的 nginx 映像上執行這些檢查（&lt;code&gt;tests/nginx/run.sh nginx:stable&lt;/code&gt;），包含較舊的 nginx 的情況。Integrations workflow 每週執行一次，emfor 的 DNS 或候選的程式有改動時也會執行。&lt;/p&gt;&#xA;&lt;p&gt;在 FreeBSD 15.1（arm64，套件裡的 nginx 1.30.6）上，同樣的檢查全部通過，包含較舊的 nginx 的情況，食譜不需要改。nginx 套件讀的是 &lt;code&gt;/usr/local/etc/nginx/nginx.conf&lt;/code&gt;，不是 &lt;code&gt;/etc/nginx&lt;/code&gt;。Docker 版的測試本身不在那裡執行；腳本（&lt;code&gt;tests/nginx/inside.sh&lt;/code&gt;）是手動跑的，需要 Linux 容器本來就有的三樣東西：&lt;code&gt;dig&lt;/code&gt;（用 &lt;code&gt;drill&lt;/code&gt; 包一層就行）、loopback 上的位址 &lt;code&gt;127.0.0.2&lt;/code&gt;（&lt;code&gt;ifconfig lo0 alias 127.0.0.2/32&lt;/code&gt;；FreeBSD 的 loopback 只有 &lt;code&gt;127.0.0.1&lt;/code&gt;，較舊 nginx 那項檢查會把一個 backend 綁在 &lt;code&gt;127.0.0.2&lt;/code&gt;），以及讓 &lt;code&gt;nginx&lt;/code&gt; 讀 &lt;code&gt;/etc/nginx/nginx.conf&lt;/code&gt;。&lt;code&gt;stream&lt;/code&gt; 的檢查（&lt;code&gt;tests/nginx/stream.sh&lt;/code&gt;）也在那裡手動跑過、通過，只多一行：FreeBSD 的套件把 &lt;code&gt;stream&lt;/code&gt; 建成動態模組，所以 &lt;code&gt;nginx.conf&lt;/code&gt; 最前面要有 &lt;code&gt;load_module /usr/local/libexec/nginx/ngx_stream_module.so;&lt;/code&gt;（沒有它，&lt;code&gt;nginx -t&lt;/code&gt; 會說 &lt;code&gt;unknown directive &amp;quot;stream&amp;quot;&lt;/code&gt;）。&lt;code&gt;SERVFAIL&lt;/code&gt; 之後的延遲在那裡也一樣：用預設 &lt;code&gt;resolver_timeout&lt;/code&gt; 約 25 秒，設 &lt;code&gt;resolver_timeout 1s&lt;/code&gt; 約一秒。&lt;/p&gt;&#xA;&lt;h2 id=&#34;搭配-haproxy-使用&#34;&gt;搭配 HAProxy 使用&#xA;&lt;/h2&gt;&lt;p&gt;HAProxy 可以用 SRV 回答來填一個 backend 的 server：&lt;code&gt;server-template&lt;/code&gt; 寫上 SRV 查詢名稱與一個「槽」的數量，HAProxy 把記錄放進槽裡，回答改變時再重新查詢。把 emfor 的 DNS server 當作它的 resolver，檢查失敗的 backend、你 drain 的 backend、你新增的 backend，都會在幾秒內傳到 HAProxy，不需要 reload：&lt;/p&gt;&#xA;&lt;pre tabindex=&#34;0&#34;&gt;&lt;code&gt;resolvers emfor&#xA;    nameserver emfor 127.0.0.1:5300&#xA;    accepted_payload_size 4096&#xA;    hold valid 1s&#xA;    resolve_retries 3&#xA;    timeout resolve 1s&#xA;    timeout retry 1s&#xA;&#xA;backend api&#xA;    balance roundrobin&#xA;    server-template s 1-4 _http._tcp.api.svc.emfor resolvers emfor resolve-opts allow-dup-ip resolve-prefer ipv4 init-addr none&#xA;&lt;/code&gt;&lt;/pre&gt;&lt;ul&gt;&#xA;&lt;li&gt;&lt;code&gt;nameserver&lt;/code&gt; 是 emfor 的 DNS server（&lt;code&gt;[dns] listen&lt;/code&gt;，預設 5300 port），不是主機的 resolver。&lt;/li&gt;&#xA;&lt;li&gt;&lt;code&gt;accepted_payload_size 4096&lt;/code&gt; 告訴 emfor，HAProxy 接受比預設 512 bytes 更大的 UDP 回答；emfor 把它限制在 1232 bytes（&lt;a class=&#34;link&#34; href=&#34;../07-dns/#srv-%e8%a8%98%e9%8c%84&#34; &gt;SRV 記錄&lt;/a&gt;：帶位址 19 個 backend、不帶位址 27 個）。HAProxy 搭配超過 27 個 backend 沒有試過，HAProxy 之後是否改用 TCP 重試也沒有試過。&lt;/li&gt;&#xA;&lt;li&gt;&lt;code&gt;hold valid 1s&lt;/code&gt; 讓 HAProxy 一秒後就採用新的回答；其他的 &lt;code&gt;hold&lt;/code&gt; 維持預設，下面會說明為什麼重要。&lt;/li&gt;&#xA;&lt;li&gt;&lt;code&gt;1-4&lt;/code&gt; 是&lt;strong&gt;槽&lt;/strong&gt;的數量，也就是 HAProxy 最多能用的 backend 數。backend 比槽多的服務會被截斷（測試：三個 backend 放進四個槽，用到三個）。請設得比服務的 backend 數大。&lt;/li&gt;&#xA;&lt;li&gt;&lt;code&gt;_http._tcp.api.svc.emfor&lt;/code&gt; 是 SRV 名稱；emfor 會回答 &lt;code&gt;_&amp;lt;任意&amp;gt;._tcp.&amp;lt;服務名稱&amp;gt;&lt;/code&gt;（&lt;a class=&#34;link&#34; href=&#34;../07-dns/#srv-%e8%a8%98%e9%8c%84&#34; &gt;SRV 記錄&lt;/a&gt;），port 來自每一筆記錄。數個 backend 用同一個位址、不同 port 時要有 &lt;code&gt;allow-dup-ip&lt;/code&gt;，&lt;code&gt;init-addr none&lt;/code&gt; 讓 HAProxy 在第一次回答之前就能啟動。&lt;/li&gt;&#xA;&lt;li&gt;不需要 &lt;code&gt;check&lt;/code&gt;：沒通過 emfor 檢查的 backend 不在回答裡。你可以再加 HAProxy 自己的 &lt;code&gt;check&lt;/code&gt; 當第二意見。&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;p&gt;HAProxy 怎麼處理這個回答，用 HAProxy 3.4.7 與 2.8.31 測過：&lt;/p&gt;&#xA;&lt;ul&gt;&#xA;&lt;li&gt;&lt;strong&gt;健康狀態與 &lt;code&gt;drain = true&lt;/code&gt;&lt;/strong&gt;（&lt;a class=&#34;link&#34; href=&#34;../05-backend-selection/#drain-%e4%b8%80%e5%80%8b-backend&#34; &gt;第 5 章&lt;/a&gt;）會在幾秒內傳到 HAProxy，和 nginx 一樣：那台 backend 收不到請求，恢復或取消 drain 後又會收到。HAProxy 不用 reload。&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;不使用優先序。&lt;/strong&gt; &lt;code&gt;balance = &amp;quot;failover&amp;quot;&lt;/code&gt; 時，HAProxy 把請求送給兩台 backend（40 個中 20 對 20），不是只送第一台。&lt;code&gt;locality&lt;/code&gt; 與 &lt;code&gt;fastest&lt;/code&gt; 也用 priority 0 和 1 排序，應該有同樣的表現；這沒有跑過。不要指望 SRV 回答裡的備援；備援請用 HAProxy 自己的 &lt;code&gt;backup&lt;/code&gt;，或用上面會遵守優先序的 nginx 做法（以 &lt;code&gt;failover&lt;/code&gt; 試過）。&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;不使用權重。&lt;/strong&gt; &lt;code&gt;balance = &amp;quot;weighted&amp;quot;&lt;/code&gt;、權重 3 與 1 時，80 個請求是 40 對 40；在 template 上加 &lt;code&gt;weight 1&lt;/code&gt; 或 &lt;code&gt;ignore-weight&lt;/code&gt; 也一樣。&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;emfor 沒有回答時&lt;/strong&gt;（停掉或重新啟動）：HAProxy 依 &lt;code&gt;hold&lt;/code&gt; 的時間保留它的 server。用上面的設定，emfor 停掉 4 秒後，所有請求仍然成功。&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;emfor 回 &lt;code&gt;SERVFAIL&lt;/code&gt; 時&lt;/strong&gt;（沒有 backend 可給，或每個 backend 都 drain）：HAProxy 先保留 server 一陣子，然後丟掉，之後每個請求都得到 &lt;code&gt;503&lt;/code&gt;；測試中在 10 到 30 秒之間就沒了，這是預設的 &lt;code&gt;hold other&lt;/code&gt;（30 秒）。同樣的情況 nginx 在測試觀察的那幾秒內沿用最後的清單；它會沿用多久沒有試過。&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;p&gt;哪一種比較對，取決於 emfor 說沒有 backend 時你希望發生什麼。&lt;code&gt;hold&lt;/code&gt; 的值是 HAProxy 的，這裡沒有調校過。&lt;/p&gt;&#xA;&lt;p&gt;以下三種變化，是 &lt;code&gt;tests/haproxy/more.sh&lt;/code&gt; 用 HAProxy 3.4.7 與 2.8.31 看到的：&lt;/p&gt;&#xA;&lt;ul&gt;&#xA;&lt;li&gt;&lt;strong&gt;&lt;code&gt;mode tcp&lt;/code&gt;&lt;/strong&gt;（寫在 &lt;code&gt;defaults&lt;/code&gt;，或寫在 frontend 與 backend）沒有任何差別：server 來自同樣的回答，檢查失敗或被 drain 的 backend 收不到連線，恢復後又會收到。&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;到 backend 的 TLS&lt;/strong&gt;：在 template 加上 &lt;code&gt;ssl&lt;/code&gt;。&lt;code&gt;ssl verify none&lt;/code&gt; 可以用。要檢查憑證，用 &lt;code&gt;ssl verify required ca-file &amp;lt;ca&amp;gt; sni str(&amp;lt;名稱&amp;gt;)&lt;/code&gt;，它會用 &lt;code&gt;&amp;lt;名稱&amp;gt;&lt;/code&gt; 檢查憑證：名稱對的時候兩台 backend 都有服務，名稱不在憑證裡就什麼都不服務。&lt;strong&gt;一定要設 &lt;code&gt;sni&lt;/code&gt;&lt;/strong&gt;：SRV 目標的名稱（&lt;code&gt;10-0-0-11.api.svc.emfor&lt;/code&gt;）不會出現在憑證裡，而沒有 &lt;code&gt;sni&lt;/code&gt; 時，3.4.7 會拒絕憑證，2.8.31 卻會接受任何由那個 CA 簽發的憑證，不管名稱是什麼。&lt;strong&gt;不要依賴 &lt;code&gt;verifyhost&lt;/code&gt;&lt;/strong&gt;：錯的 &lt;code&gt;verifyhost&lt;/code&gt; 搭配對的 &lt;code&gt;sni&lt;/code&gt;，兩個版本都照樣服務；對的 &lt;code&gt;verifyhost&lt;/code&gt; 但沒有 &lt;code&gt;sni&lt;/code&gt;，2.8.31 服務，3.4.7 拒絕。&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;只設一個 &lt;code&gt;nameserver&lt;/code&gt;&lt;/strong&gt;：只寫一行 &lt;code&gt;nameserver&lt;/code&gt;，指向和 HAProxy 同一台主機上的 emfor。HAProxy 會把每個查詢送給每一個 nameserver，並採用最先到的那個有效回答，不會把它們合併（測試中，兩台 emfor 回答相同時，停掉其中任何一個 HAProxy 仍然繼續服務，故障的 backend 也照樣離開清單）。兩個回答不同時（只有一台 drain 某個 backend），清單會隨著每次查詢而變：HAProxy 把某個 backend 移除再加回來，常常放進另一個槽位，同樣的設定每次執行服務的結果都可能不同（Linux 上 3.4.7 與 2.8.31 跑了很多次，FreeBSD 上 3.4.4 跑了 6 次）。請求也可能失敗：這種變動之後，有個槽位是 ready 的，位址對、埠卻是 0，送到它的請求大約 3 秒後得到 &lt;code&gt;503&lt;/code&gt;（每 1.5 秒停掉再啟動一台 backend：兩個 nameserver 時，Linux 3.4.7 上 5 次執行中 5 次出現，只用一個 nameserver 時每次最多一個；但在 FreeBSD 上同樣的測試，只用一個 nameserver 也出現：3.4.4（套件）5 次執行每次 80 個請求中有 29 到 45 個，3.4.7（從 port 編的）有 21 到 28 個，所以不是這兩個版本之間的改變，第二個 nameserver 也不是唯一的原因；為什麼 FreeBSD 會出現而 Linux 容器不會，沒有找到原因）。這些都是手動看到的，不在測試裡，HAProxy 內部確切的原因也沒有找到。要高可用，請在每個 HAProxy 旁邊各跑一個 emfor，而不是給一個 HAProxy 多個 nameserver。硬要設兩個的話，它們的回答必須一致，&lt;code&gt;drain&lt;/code&gt; 也一樣；&lt;code&gt;option redispatch&lt;/code&gt; 能掩蓋失敗的請求，但不會修好那個槽位。&lt;code&gt;hold obsolete 30s&lt;/code&gt; 會保留兩邊回答的聯集來讓結果穩定，代價是 drain 或移除要等那麼久才生效：不建議。&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;p&gt;&lt;a class=&#34;link&#34; href=&#34;https://github.com/embark-systems/emfor/blob/v0.6.0/tests/haproxy/run.sh&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;&#xA;    &gt;tests/haproxy/&lt;/a&gt; 在指定的 HAProxy 映像上執行這些檢查（&lt;code&gt;tests/haproxy/run.sh haproxy:2.8&lt;/code&gt;），包含 HAProxy 不做的那兩件事，所以日後 HAProxy 開始遵守優先序或權重時，測試會失敗，提醒這一節要改。Integrations workflow 每週執行一次，emfor 的 DNS 或候選的程式有改動時也會執行。沒試過：emfor 自己的 TLS 檢查與 HAProxy 並用、到 backend 的 client 憑證、&lt;code&gt;resolvers&lt;/code&gt; 有超過兩個 name server、上述兩個以外的版本。&lt;/p&gt;&#xA;&lt;p&gt;在 FreeBSD 15.1（arm64，套件裡的 HAProxy 3.4.4）上，同樣的檢查全部通過，包含不遵守優先序與權重那兩項，所以這一節在那裡照樣成立。和 nginx 一樣，&lt;code&gt;tests/haproxy/inside.sh&lt;/code&gt; 是手動跑的，除了 HAProxy 套件之外不需要別的東西。&lt;code&gt;tests/haproxy/more.sh&lt;/code&gt;（&lt;code&gt;mode tcp&lt;/code&gt;、到 backend 的 TLS、兩個 name server）也在那裡手動跑過，結果與 3.4.7 相同，包含 &lt;code&gt;sni&lt;/code&gt; 的那幾項。FreeBSD 上沒試過：其他版本的 HAProxy。&lt;/p&gt;&#xA;&lt;h2 id=&#34;搭配-caddy-使用&#34;&gt;搭配 Caddy 使用&#xA;&lt;/h2&gt;&lt;p&gt;Caddy 的 &lt;code&gt;reverse_proxy&lt;/code&gt; 可以用 &lt;code&gt;dynamic srv&lt;/code&gt; 從 SRV 回答取得上游，所以 health 與 drain 幾秒內就會傳到 Caddy，不需要 reload：&lt;/p&gt;&#xA;&lt;pre tabindex=&#34;0&#34;&gt;&lt;code&gt;:80 {&#xA;    reverse_proxy {&#xA;        dynamic srv {&#xA;            name _http._tcp.api.svc.emfor&#xA;            refresh 1s&#xA;            resolvers 127.0.0.1:5300&#xA;            grace_period 30s&#xA;        }&#xA;        transport http {&#xA;            resolvers 127.0.0.1:5300&#xA;        }&#xA;        lb_try_duration 2s&#xA;        lb_try_interval 100ms&#xA;    }&#xA;}&#xA;&lt;/code&gt;&lt;/pre&gt;&lt;ul&gt;&#xA;&lt;li&gt;&lt;strong&gt;兩個 &lt;code&gt;resolvers&lt;/code&gt;&lt;/strong&gt;：&lt;code&gt;dynamic srv&lt;/code&gt; 裡的用來查 SRV；回答裡的目標是 &lt;code&gt;10-0-0-11.api.svc.emfor&lt;/code&gt; 這樣的名稱，Caddy 要連線到它們，&lt;code&gt;transport http&lt;/code&gt; 裡的就是為了這個。少了它，Caddy 會問主機的 resolver，主機的 resolver 不認得這個 zone 時，每個請求都會失敗（測試中 10 個有 10 個失敗，log 是 &lt;code&gt;no such host&lt;/code&gt;）；主機的 resolver 已經&lt;a class=&#34;link&#34; href=&#34;../07-dns/#%e5%be%9e%e4%b8%bb%e6%a9%9f%e7%9a%84-resolver-%e8%bd%89%e9%80%81&#34; &gt;轉送這個 zone&lt;/a&gt;的話就不需要它。&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;&lt;code&gt;refresh&lt;/code&gt;&lt;/strong&gt; 是 Caddy 多久再問一次；測試用 1 秒。預設值比較長（我讀 Caddy 文件的理解是一分鐘；沒有試過），&lt;code&gt;refresh&lt;/code&gt; 越長，drain 或故障傳到 Caddy 就越慢。&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;&lt;code&gt;grace_period&lt;/code&gt;&lt;/strong&gt; 在查詢失敗時保留上一份清單。service 的 backend 全部被 drain、或在 &lt;code&gt;on_all_down = &amp;quot;closed&amp;quot;&lt;/code&gt; 下全部故障時 emfor 回答 &lt;code&gt;SERVFAIL&lt;/code&gt;（預設的 &lt;code&gt;open&lt;/code&gt; 仍會回答）：有 &lt;code&gt;grace_period&lt;/code&gt;，Caddy 繼續回答（10 個有 10 個）；沒有的話 Caddy 沒有上游，每個請求都失敗（10 個有 10 個）。nginx 在它的測試中不需要這種設定，自己就保留了上一份清單。&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;&lt;code&gt;lb_try_duration&lt;/code&gt; 與 &lt;code&gt;lb_try_interval&lt;/code&gt;&lt;/strong&gt; 讓 Caddy 重試，所以剛停掉、但在 emfor 與 Caddy 察覺前（約一秒）還在清單裡的 backend 不會丟請求（測試中 25 個請求丟 0 個）。沒有它們，Caddy 不會重試，25 個丟了 3 個。&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;p&gt;Caddy 怎麼處理這個回答，以下是 &lt;code&gt;tests/caddy/run.sh&lt;/code&gt; 用 Caddy 2.11.9 看到的：&lt;/p&gt;&#xA;&lt;ul&gt;&#xA;&lt;li&gt;檢查失敗的 backend 離開清單，恢復後回來；&lt;code&gt;drain = true&lt;/code&gt; 的 backend 同樣離開，不需要 reload Caddy，也沒有請求遺失（需要上面的重試）。&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;不遵守權重&lt;/strong&gt;：3 比 1 的 service，兩台各分到約一半（一次執行中 80 個請求分到 41 與 39）。&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;預設策略不遵守優先序&lt;/strong&gt;：&lt;code&gt;failover&lt;/code&gt; 的 service 也把請求送給備援。&lt;code&gt;lb_policy first&lt;/code&gt; 則依回答的順序取 backend，回答是依優先序排序的，所以 &lt;code&gt;balance = &amp;quot;failover&amp;quot;&lt;/code&gt; 配 &lt;code&gt;lb_policy first&lt;/code&gt;，backend 健康時全部送給第一台，不健康時送給第二台，恢復後再回到第一台。&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;p&gt;&lt;a class=&#34;link&#34; href=&#34;https://github.com/embark-systems/emfor/blob/v0.6.0/tests/caddy/run.sh&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;&#xA;    &gt;tests/caddy/&lt;/a&gt; 在指定的 Caddy 映像上執行這些檢查（&lt;code&gt;tests/caddy/run.sh caddy:2&lt;/code&gt;）；Integrations workflow 每週執行一次，emfor 的 DNS 或候選的程式有改動時也會執行。沒試過：HTTPS 上游、Caddy 自己的主動健康檢查與 emfor 並用、&lt;code&gt;first&lt;/code&gt; 與預設以外的負載平衡策略、多個 Caddy、2.11.9 以外的版本、FreeBSD。&lt;/p&gt;&#xA;&lt;h2 id=&#34;搭配-prometheus-使用&#34;&gt;搭配 Prometheus 使用&#xA;&lt;/h2&gt;&lt;p&gt;Prometheus 可以用 &lt;code&gt;dns_sd_configs&lt;/code&gt;（型別 &lt;code&gt;SRV&lt;/code&gt;）從 SRV 回答找到要抓取的目標：目標就是 emfor 某個 service 中健康的 backend，清單跟著檢查結果變動，不需要 reload Prometheus。&lt;/p&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;&#34;&gt;&lt;code class=&#34;language-yaml&#34; data-lang=&#34;yaml&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#f92672&#34;&gt;scrape_configs&lt;/span&gt;:&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;  - &lt;span style=&#34;color:#f92672&#34;&gt;job_name&lt;/span&gt;: &lt;span style=&#34;color:#ae81ff&#34;&gt;api&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;    &lt;span style=&#34;color:#f92672&#34;&gt;dns_sd_configs&lt;/span&gt;:&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;      - &lt;span style=&#34;color:#f92672&#34;&gt;names&lt;/span&gt;: [&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;_http._tcp.api.svc.emfor&amp;#34;&lt;/span&gt;]&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;        &lt;span style=&#34;color:#f92672&#34;&gt;type&lt;/span&gt;: &lt;span style=&#34;color:#ae81ff&#34;&gt;SRV&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;        &lt;span style=&#34;color:#f92672&#34;&gt;refresh_interval&lt;/span&gt;: &lt;span style=&#34;color:#ae81ff&#34;&gt;5s&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;&lt;code&gt;dns_sd_configs&lt;/code&gt; 問的是主機的 resolver，沒有設定 name server 或埠的欄位（&lt;code&gt;promtool check config&lt;/code&gt; 會拒絕 &lt;code&gt;server&lt;/code&gt; 欄位），所以主機的 resolver 要把這個 zone 轉送給 emfor，做法見&lt;a class=&#34;link&#34; href=&#34;../07-dns/#%e5%be%9e%e4%b8%bb%e6%a9%9f%e7%9a%84-resolver-%e8%bd%89%e9%80%81&#34; &gt;從主機的 resolver 轉送&lt;/a&gt;。要轉送的是整個 zone，不只是 SRV 查詢：回答裡的目標是 &lt;code&gt;10-0-0-11.api.svc.emfor&lt;/code&gt; 這樣的名稱，Prometheus 每次抓取都會再解析一次，而 emfor 會回答它們。&lt;code&gt;instance&lt;/code&gt; 標籤是這個名稱加埠，不是位址；&lt;code&gt;__meta_dns_srv_record_target&lt;/code&gt; 與 &lt;code&gt;__meta_dns_srv_record_port&lt;/code&gt; 可以用在 &lt;code&gt;relabel_configs&lt;/code&gt;。SRV 記錄裡的埠就是 emfor 裡 backend 的埠，所以應用程式的 metrics 要在這個埠上；要用別的埠，就另外做一個 backend 是那個埠的 service。&lt;/p&gt;&#xA;&lt;p&gt;目標是什麼，以下是 &lt;code&gt;tests/prometheus/run.sh&lt;/code&gt; 用 Prometheus 3.16.0 看到的（&lt;code&gt;refresh_interval&lt;/code&gt; 1 秒，emfor 是容器唯一的 resolver）：&lt;/p&gt;&#xA;&lt;ul&gt;&#xA;&lt;li&gt;&lt;code&gt;round-robin&lt;/code&gt; service 的兩台 backend 都是目標，而且 &lt;code&gt;up&lt;/code&gt;。&lt;/li&gt;&#xA;&lt;li&gt;檢查失敗的 backend &lt;strong&gt;不再是目標&lt;/strong&gt;：它不是顯示成 down，而是它的 &lt;code&gt;up&lt;/code&gt; 序列結束。所以 &lt;code&gt;up == 0&lt;/code&gt; 對它永遠不會觸發；請改用 emfor 自己的 metrics 發警報（&lt;code&gt;emfor_backend_state&lt;/code&gt;，見 &lt;a class=&#34;link&#34; href=&#34;https://github.com/embark-systems/emfor/blob/v0.6.0/examples/prometheus/emfor-rules.yml&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;&#xA;    &gt;examples/prometheus/&lt;/a&gt;）。&lt;/li&gt;&#xA;&lt;li&gt;被 drain 的 backend 也不是目標，雖然它還在跑、&lt;code&gt;/metrics&lt;/code&gt; 也回得出來：在&lt;a class=&#34;link&#34; href=&#34;../08-operations/#%e7%94%a8-drain-%e5%81%9a%e6%bb%be%e5%8b%95%e9%83%a8%e7%bd%b2&#34; &gt;用 drain 做滾動部署&lt;/a&gt;期間，它的 metrics 不會被收集。&lt;/li&gt;&#xA;&lt;li&gt;&lt;code&gt;failover&lt;/code&gt; service 會列出它的備援（優先序 1），Prometheus 取每一筆記錄，所以兩台都抓。&lt;code&gt;backup = true&lt;/code&gt; 的 backend 只有在沒有任何主要 backend 健康時才是目標。&lt;/li&gt;&#xA;&lt;li&gt;目標出現與消失的時間，大約是 &lt;code&gt;refresh_interval&lt;/code&gt; 加上 emfor 看出變化所需的時間（&lt;code&gt;interval&lt;/code&gt;、&lt;code&gt;fall&lt;/code&gt;、&lt;code&gt;rise&lt;/code&gt;）。&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;p&gt;所以 emfor 的 service 很適合當作「現在正在服務的 backend」的來源。想不論健康狀況都抓每一台、並看到 &lt;code&gt;up == 0&lt;/code&gt;，抓取請維持靜態清單或檔案式探索，用 emfor 發警報。&lt;/p&gt;&#xA;&lt;p&gt;&lt;a class=&#34;link&#34; href=&#34;https://github.com/embark-systems/emfor/blob/v0.6.0/tests/prometheus/run.sh&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;&#xA;    &gt;tests/prometheus/&lt;/a&gt; 執行這些檢查（Integrations workflow 每週執行一次，emfor 的 DNS 或候選的程式有改動時也會執行）。在 FreeBSD 15.1 上，同一支腳本用套件的 Prometheus 2.55.1 手動執行也通過（nginx 1.30.6 也是套件；停掉 &lt;code&gt;local_unbound&lt;/code&gt;，emfor 在 53 埠）。沒試過：emfor 前面放 dnsmasq 或 unbound（測試把 emfor 當作唯一的 resolver）、其他版本的 Prometheus、HTTPS 目標、很多個目標、預設 30 秒的 &lt;code&gt;refresh_interval&lt;/code&gt;。&lt;/p&gt;&#xA;&lt;h2 id=&#34;搭配-pf-使用freebsd&#34;&gt;搭配 pf 使用（FreeBSD）&#xA;&lt;/h2&gt;&lt;p&gt;在 FreeBSD 上，pf 可以把連線分給一個位址表的成員，資料路徑上不需要任何 proxy：&lt;code&gt;rdr&lt;/code&gt; 規則把連到某個位址的連線依序導向表裡的成員。emfor 沒有「回答改變時執行指令」的 hook，所以用一個小迴圈，每秒向 emfor 的 DNS server 問這個 service 的 SRV 記錄，讓表和 emfor 提供的一致：&lt;/p&gt;&#xA;&lt;pre tabindex=&#34;0&#34;&gt;&lt;code&gt;table &amp;lt;api&amp;gt; persist&#xA;rdr pass on $ext_if inet proto tcp from any to $vip port 80 -&amp;gt; &amp;lt;api&amp;gt; port 8000 round-robin&#xA;&lt;/code&gt;&lt;/pre&gt;&lt;p&gt;&lt;a class=&#34;link&#34; href=&#34;https://github.com/embark-systems/emfor/blob/v0.6.0/examples/pf/emfor-pf-table.sh&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;&#xA;    &gt;examples/pf/emfor-pf-table.sh&lt;/a&gt; 就是那個迴圈（&lt;code&gt;emfor-pf-table.sh loop api.svc.emfor api&lt;/code&gt;，以 root 執行；例如放在 &lt;code&gt;daemon(8)&lt;/code&gt; 底下，這沒有試過）。它取優先序最低的 SRV 記錄，從目標名稱讀出位址（&lt;code&gt;10-0-0-11.api.svc.emfor&lt;/code&gt; 是 &lt;code&gt;10.0.0.11&lt;/code&gt;），集合改變時執行 &lt;code&gt;pfctl -t api -T replace&lt;/code&gt;。它需要 &lt;code&gt;drill&lt;/code&gt;，base system 就有。service 的所有 backend 必須是同一個埠，也就是 &lt;code&gt;rdr&lt;/code&gt; 規則裡的那個。&lt;/p&gt;&#xA;&lt;p&gt;以下是 &lt;code&gt;tests/pf/run.sh&lt;/code&gt; 在 FreeBSD 15.1 上看到的（backend 與被導向的位址都在 loopback 上）：&lt;/p&gt;&#xA;&lt;ul&gt;&#xA;&lt;li&gt;&lt;strong&gt;Health&lt;/strong&gt;：檢查失敗的 backend 離開表，恢復後回來；&lt;strong&gt;&lt;code&gt;drain = true&lt;/code&gt;&lt;/strong&gt; 同樣讓它離開（&lt;a class=&#34;link&#34; href=&#34;../05-backend-selection/#drain-%e4%b8%80%e5%80%8b-backend&#34; &gt;第 5 章&lt;/a&gt;）。&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;已經開著的連線在 backend 離開表時不會被切斷&lt;/strong&gt;，因為 pf 保留了它的 state：連到被 drain 的 backend 的連線上，一個 6 秒才傳完的回應完整收到（1200 個位元組收到 1200 個），新連線則去了另一台。&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;優先序&lt;/strong&gt;：表裡只有優先序最低的，所以 &lt;code&gt;failover&lt;/code&gt; 的 service 表裡是第一台，第一台故障時才是第二台。&lt;code&gt;backup = true&lt;/code&gt; 的 backend 在主要 backend 健康時不在表裡。&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;不使用權重&lt;/strong&gt;：pf 的 &lt;code&gt;round-robin&lt;/code&gt; 平均分配（權重 3 與 1，80 個連線分到 40 與 40）。&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;emfor 沒有東西可給時&lt;/strong&gt;（&lt;code&gt;SERVFAIL&lt;/code&gt;：每個 backend 都被 drain，或在 &lt;code&gt;on_all_down = &amp;quot;closed&amp;quot;&lt;/code&gt; 下全部故障）表會被清空，而 pf 會丟掉空的 &lt;code&gt;rdr&lt;/code&gt; 表無法導向的連線：用戶端要等自己的逾時（loopback 與另一台主機上都看到）。把 &lt;code&gt;EMPTY&lt;/code&gt; 設成主機上一個在 &lt;code&gt;rdr&lt;/code&gt; 埠沒有東西在聽的位址，表就會放它而不是空的；另一台主機的用戶端，連到表裡一個沒有東西在聽的項目時被立刻拒絕（一秒內 &lt;code&gt;rc=7&lt;/code&gt;）。腳本的 &lt;code&gt;EMPTY&lt;/code&gt; 本身只檢查了它放進表裡的內容。&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;emfor 沒有回答時&lt;/strong&gt;（停掉、連不到）表維持原樣，emfor 回來後再跟上。&lt;/li&gt;&#xA;&lt;li&gt;在 backend 故障到迴圈的下一輪之間（emfor 自己的檢查之後再加一秒），pf 仍然會把新連線送給它：從另一台主機看，連到沒有東西在聽的 backend 會被拒絕，所以用戶端應該重試。&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;p&gt;沒試過：IPv6（腳本讀得懂 IPv6 目標，但沒有跑過）、&lt;code&gt;source-hash&lt;/code&gt; 與 &lt;code&gt;sticky-address&lt;/code&gt;、真實介面上很多用戶端的 &lt;code&gt;rdr&lt;/code&gt;（另一台主機的檢查是從一台機器手動做的：被拒絕與被丟掉的連線）、迴圈用的 &lt;code&gt;daemon(8)&lt;/code&gt; 或 rc script、其他防火牆。&lt;code&gt;tests/pf/run.sh&lt;/code&gt; 需要 root 與有 pf 模組的 FreeBSD；它載入自己的規則並啟用 pf，所以 pf 已經開著時它會拒絕執行。它不在 CI 裡。&lt;/p&gt;&#xA;&lt;h2 id=&#34;自己會查-srv-記錄的-client&#34;&gt;自己會查 SRV 記錄的 client&#xA;&lt;/h2&gt;&lt;p&gt;有些 client 自己會用 SRV 記錄找伺服器，所以不需要 proxy：它們查 &lt;code&gt;_&amp;lt;service&amp;gt;._tcp.&amp;lt;名稱&amp;gt;&lt;/code&gt;，emfor 用 &lt;code&gt;_&amp;lt;任意&amp;gt;._tcp.&amp;lt;service&amp;gt;&lt;/code&gt; 回答健康的 backend、它們的埠，以及 &lt;a class=&#34;link&#34; href=&#34;../07-dns/#srv-%e8%a8%98%e9%8c%84&#34; &gt;SRV 記錄&lt;/a&gt;那一節的優先序與權重。檢查失敗或被 drain 的伺服器不在回答裡。它們問的是主機的 resolver，所以主機的 resolver 要把這個 zone 轉送給 emfor（&lt;a class=&#34;link&#34; href=&#34;../07-dns/#%e5%be%9e%e4%b8%bb%e6%a9%9f%e7%9a%84-resolver-%e8%bd%89%e9%80%81&#34; &gt;從主機的 resolver 轉送&lt;/a&gt;）；下面的測試是讓 emfor 當容器唯一的 resolver，聽 53 埠。只有 &lt;code&gt;_tcp&lt;/code&gt; 的名稱會被回答：&lt;code&gt;_udp&lt;/code&gt; 的名稱得到 &lt;code&gt;NXDOMAIN&lt;/code&gt;。&lt;/p&gt;&#xA;&lt;ul&gt;&#xA;&lt;li&gt;&lt;strong&gt;Kerberos（MIT）&lt;/strong&gt;：&lt;code&gt;krb5.conf&lt;/code&gt; 設 &lt;code&gt;dns_lookup_kdc = true&lt;/code&gt;，realm 設成 service 名稱的大寫（service &lt;code&gt;kdc.svc.emfor&lt;/code&gt; 對應 &lt;code&gt;KDC.SVC.EMFOR&lt;/code&gt;），&lt;code&gt;kinit&lt;/code&gt; 先問 &lt;code&gt;_kerberos._udp.KDC.SVC.EMFOR&lt;/code&gt;（如上所說沒有答案），再問 &lt;code&gt;_kerberos._tcp.KDC.SVC.EMFOR&lt;/code&gt;，然後用 TCP 連到兩台 KDC。檢查失敗的 KDC 沒有被提供，&lt;code&gt;kinit&lt;/code&gt; 只去另一台。用 &lt;code&gt;balance = &amp;quot;failover&amp;quot;&lt;/code&gt; 時，回答裡有優先序 0 和 1，&lt;code&gt;kinit&lt;/code&gt; 先試主要那台。emfor 的 &lt;code&gt;tcp&lt;/code&gt; 檢查只看 TCP 埠。&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;OpenLDAP&lt;/strong&gt;：&lt;code&gt;ldapsearch -H &#39;ldap:///dc=ldap%2Cdc=svc%2Cdc=emfor&#39;&lt;/code&gt;（沒有主機，只有 DN）會讓 libldap 去問 &lt;code&gt;_ldap._tcp.ldap.svc.emfor&lt;/code&gt;，並使用回答裡的伺服器。&lt;strong&gt;DN 裡的逗號要寫成 &lt;code&gt;%2C&lt;/code&gt;&lt;/strong&gt;：用一般的逗號時 &lt;code&gt;ldapsearch&lt;/code&gt; 會說 &lt;code&gt;Could not parse LDAP URI(s)&lt;/code&gt;。檢查失敗的伺服器沒有被使用（3 次嘗試 3 次都去了另一台）。&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;MongoDB&lt;/strong&gt;：&lt;code&gt;mongodb+srv://db.svc.emfor/&lt;/code&gt; 讓 PyMongo 拿到 &lt;code&gt;_mongodb._tcp.db.svc.emfor&lt;/code&gt; 的兩台伺服器。emfor 沒有 TXT 記錄，對 &lt;code&gt;mongodb+srv&lt;/code&gt; 也會發出的 TXT 查詢回答 &lt;code&gt;NOERROR&lt;/code&gt; 而沒有任何記錄，PyMongo 接受了。&lt;code&gt;mongodb+srv&lt;/code&gt; 會把 TLS 打開：伺服器不講 TLS 時，在 URI 加 &lt;code&gt;tls=false&lt;/code&gt;。檢查失敗的伺服器與被 drain 的伺服器都不在清單裡。&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;p&gt;&lt;a class=&#34;link&#34; href=&#34;https://github.com/embark-systems/emfor/blob/v0.6.0/tests/srv/run.sh&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;&#xA;    &gt;tests/srv/&lt;/a&gt; 用 Debian bookworm 的 &lt;code&gt;krb5-user&lt;/code&gt;（MIT Kerberos）、&lt;code&gt;ldap-utils&lt;/code&gt;（OpenLDAP 2.5.13）與 &lt;code&gt;python3-pymongo&lt;/code&gt;（3.11.0）檢查這些；伺服器只是單純的 listener，所以檢查的是 client 被告知、並且去連的是哪些伺服器。沒試過：它們後面真正的 KDC、LDAP 或 MongoDB 伺服器（&lt;code&gt;kinit&lt;/code&gt; 以 &lt;code&gt;Cannot contact any KDC&lt;/code&gt; 結束）、LDAPS、sssd（&lt;code&gt;ldap_uri = _srv_&lt;/code&gt;）、nslcd、Samba、Heimdal、Active Directory 的 &lt;code&gt;_msdcs&lt;/code&gt; 之類名稱、&lt;code&gt;svc.emfor&lt;/code&gt; 以外的 realm 或網域（那需要它自己的 &lt;code&gt;[dns] zone&lt;/code&gt;）、PyMongo 以外的驅動程式、其他版本。Integrations workflow 每週執行一次，emfor 的 DNS 程式或這個測試有改動時也會執行。&lt;/p&gt;&#xA;</description>
        </item><item>
            <title>8. 維運</title>
            <link>https://embark.systems/emfor/08-operations/</link>
            <pubDate>Mon, 01 Jan 0001 00:00:00 +0000</pubDate>
            <guid>https://embark.systems/emfor/08-operations/</guid>
            <description>&lt;h2 id=&#34;指令&#34;&gt;指令&#xA;&lt;/h2&gt;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;指令&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;作用&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;emfor server&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;在前景執行 daemon。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;emfor check-config [--show]&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;驗證設定檔，有效時結束代碼為 0，無效時為 2。加 &lt;code&gt;--show&lt;/code&gt; 時印出合併後的設定與每個值的來源檔案（&lt;a class=&#34;link&#34; href=&#34;../03-configuration/#%e6%aa%a2%e6%9f%a5%e8%a8%ad%e5%ae%9a%e6%aa%94&#34; &gt;第 3 章&lt;/a&gt;）。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;emfor status&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;顯示執行中的 daemon 發布了什麼。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;emfor lookup &amp;lt;service&amp;gt;&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;印出 client 會得到的 backend，加上 &lt;code&gt;--explain&lt;/code&gt; 說明原因（&lt;a class=&#34;link&#34; href=&#34;../06-clients/#%e5%be%9e-shell-%e6%9f%a5%e8%a9%a2emfor-lookup&#34; &gt;第 6 章&lt;/a&gt;）。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;emfor --help&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;列出指令與預設設定檔路徑。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;p&gt;&lt;code&gt;--config &amp;lt;path&amp;gt;&lt;/code&gt; 可放在指令之前或之後。不帶指令的 &lt;code&gt;emfor&lt;/code&gt; 只印出用法並以 2 結束；它絕不會啟動 daemon。&lt;/p&gt;&#xA;&lt;h2 id=&#34;signal&#34;&gt;Signal&#xA;&lt;/h2&gt;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;Signal&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;效果&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;SIGHUP&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;重新載入設定（主設定檔與 &lt;code&gt;include_dir&lt;/code&gt; 的檔案）。只有整份設定都有效時才套用；否則記錄錯誤並繼續使用舊設定。見 &lt;a class=&#34;link&#34; href=&#34;../03-configuration/#reload-%e6%9c%83%e6%94%b9%e8%ae%8a%e4%bb%80%e9%ba%bc&#34; &gt;reload 會改變什麼&lt;/a&gt;。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;SIGTERM&lt;/code&gt;、&lt;code&gt;SIGINT&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;停止：檢查結束、heartbeat 設為 0（client 立刻看到過期的 store）、停止 plugin、以 0 結束。還在載入設定的 reload 或啟動會被放棄。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;p&gt;請透過服務管理工具而不是直接送 signal：&lt;code&gt;systemctl reload emfor&lt;/code&gt; 與 &lt;code&gt;service emfor reload&lt;/code&gt; 會先檢查設定，設定無效時不會對 daemon 送 signal。&lt;/p&gt;&#xA;&lt;h2 id=&#34;emfor-status&#34;&gt;emfor status&#xA;&lt;/h2&gt;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;&#34;&gt;&lt;code class=&#34;language-console&#34; data-lang=&#34;console&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;$ emfor status&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;store: /var/lib/emfor/state.mdb&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;daemon: running, heartbeat 0.4s ago, up 3h12m, site tpe1, dns 127.0.0.1:5300, metrics 127.0.0.1:5301&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#960050;background-color:#1e0010&#34;&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;api.svc.emfor  round-robin  on_all_down=open&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;  10.0.0.11:8080  healthy    0.8s ago  1.2ms&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;  10.0.0.12:8080  unhealthy  0.9s ago  -      connect: Connection refused&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;&lt;code&gt;emfor status&lt;/code&gt; 只讀取設定檔的 &lt;code&gt;[store]&lt;/code&gt; table（&lt;a class=&#34;link&#34; href=&#34;../03-configuration/#store&#34; &gt;第 3 章&lt;/a&gt;），並像 client 一樣以唯讀方式開啟 store。開啟 store 時會在 lock 檔登記一個 reader，所以使用者需要 store 的讀取權限與 lock 檔的寫入權限（&lt;a class=&#34;link&#34; href=&#34;#%e8%aa%b0%e8%83%bd%e4%bd%bf%e7%94%a8-store&#34; &gt;誰能使用 store&lt;/a&gt;）；lock 檔是 0444 時，&lt;code&gt;emfor status&lt;/code&gt; 會以 &lt;code&gt;cannot open store …: Permission denied&lt;/code&gt; 停止。&lt;/p&gt;&#xA;&lt;ul&gt;&#xA;&lt;li&gt;&lt;strong&gt;daemon&lt;/strong&gt;：heartbeat 不超過 3 秒時為 &lt;code&gt;running&lt;/code&gt;，超過時為 &lt;code&gt;stale&lt;/code&gt;（daemon 卡住或已死），正常停止後為 &lt;code&gt;stopped&lt;/code&gt;。&lt;code&gt;stale&lt;/code&gt; 或 &lt;code&gt;stopped&lt;/code&gt; 時，顯示的服務只是 daemon 最後寫入的內容。&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;服務&lt;/strong&gt;：&lt;code&gt;balance&lt;/code&gt; 與 &lt;code&gt;on_all_down&lt;/code&gt;（&lt;a class=&#34;link&#34; href=&#34;../05-backend-selection/#balance-%e6%96%b9%e5%bc%8f&#34; &gt;第 5 章&lt;/a&gt;），沒有 backend 健康時顯示 &lt;code&gt;ALL DOWN&lt;/code&gt;。&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;backend&lt;/strong&gt;：狀態、距上次檢查多久、平滑後的延遲，之後依序是適用的標記：&lt;code&gt;fastest&lt;/code&gt; 服務中快的 backend 標示 &lt;code&gt;pool&lt;/code&gt;；備援 backend 標示 &lt;code&gt;backup&lt;/code&gt;（見&lt;a class=&#34;link&#34; href=&#34;../05-backend-selection/#%e5%82%99%e6%8f%b4-backend&#34; &gt;第 5 章&lt;/a&gt;）；聯防群組裡的 &lt;code&gt;local-up&lt;/code&gt; 與 &lt;code&gt;voted&lt;/code&gt;（見&lt;a class=&#34;link&#34; href=&#34;#%e8%81%af%e9%98%b2%e7%be%a4%e7%b5%84&#34; &gt;聯防群組&lt;/a&gt;）；10 分鐘內在 healthy 與 unhealthy 之間變化 5 次以上的 backend 標示 &lt;code&gt;FLAPPING (&amp;lt;n&amp;gt; changes in 10m)&lt;/code&gt;；仍是 &lt;code&gt;healthy&lt;/code&gt;、但最近一次檢查失敗的 backend 標示 &lt;code&gt;last check failed&lt;/code&gt;（連續失敗 &lt;code&gt;fall&lt;/code&gt; 次才會變成 unhealthy；在那之前，查詢通常會略過它，見&lt;a class=&#34;link&#34; href=&#34;../05-backend-selection/#%e6%aa%a2%e6%9f%a5%e9%96%8b%e5%a7%8b%e5%a4%b1%e6%95%97%e7%9a%84-backend&#34; &gt;檢查開始失敗的 backend&lt;/a&gt;，但所有 healthy backend 都在失敗時例外）；最後是最近一次失敗檢查的 reason。設定檔裡 drain 的 backend（見&lt;a class=&#34;link&#34; href=&#34;../05-backend-selection/#drain-%e4%b8%80%e5%80%8b-backend&#34; &gt;第 5 章&lt;/a&gt;）在狀態的位置顯示 &lt;code&gt;drained&lt;/code&gt;，而 &lt;code&gt;(checks: &amp;lt;狀態&amp;gt;)&lt;/code&gt;（檢查給的狀態）是最後一個標記，排在 &lt;code&gt;backup&lt;/code&gt;、&lt;code&gt;local-up&lt;/code&gt;、&lt;code&gt;voted&lt;/code&gt; 與 &lt;code&gt;FLAPPING&lt;/code&gt; 之後；它沒有 &lt;code&gt;last check failed&lt;/code&gt;，也沒有最近一次失敗檢查的 reason。一行同時有所有標記、reason 又短時約 100 欄寬（十台主機、40 個 backend 的群組中量到 97 欄）；&lt;code&gt;--watch&lt;/code&gt; 會截斷超過終端機寬度的行。&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;pre tabindex=&#34;0&#34;&gt;&lt;code&gt;  10.0.1.3:5432   healthy  0.8s ago  1.2ms  voted  last check failed  connect: Connection refused&#xA;  10.0.1.40:5432  healthy  0.8s ago  1.2ms  backup  voted&#xA;  10.0.0.13:8080  drained  0.8s ago  1.2ms  (checks: healthy)&#xA;  127.0.0.1:9     drained  0.4s ago  -      (checks: unhealthy)&#xA;&lt;/code&gt;&lt;/pre&gt;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;選項&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;效果&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;--service &amp;lt;name&amp;gt;&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;只顯示一個服務。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;--json&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;一個 JSON 物件，供 script 使用。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;--watch&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;每秒重繪、標示變化，並列出最近 10 次變化。&lt;code&gt;store:&lt;/code&gt; 與 &lt;code&gt;daemon:&lt;/code&gt; 兩行固定在上方，清單超過一個畫面時用 PgUp/PgDn、上下方向鍵與 Home/End 捲動；超過終端機寬度的行會被截斷。按 &lt;code&gt;q&lt;/code&gt; 或 Ctrl-C 結束。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;--history&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;列出每個 backend 最近 20 次狀態變化（重新啟動後仍保留）。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;結束代碼&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;何時&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;0&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;daemon 正在執行，且顯示的每個服務都有健康的 backend。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;1&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;daemon 為 stale 或 stopped，或顯示的某個服務為 &lt;code&gt;ALL DOWN&lt;/code&gt;。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;2&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;無法讀取設定檔或 store、store 格式版本不同、&lt;code&gt;--service&lt;/code&gt; 指定的服務不存在，或無法寫出輸出。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;p&gt;pipe 提早關閉（&lt;code&gt;emfor status | head -1&lt;/code&gt;）不會改變結束代碼。store 檔案被換掉時（例如 daemon 啟動時替換損壞的 store），&lt;code&gt;--watch&lt;/code&gt; 會重新開啟 store。&lt;/p&gt;&#xA;&lt;p&gt;單一不健康的 backend 不影響結束代碼，所以 &lt;code&gt;emfor status&lt;/code&gt;（或 &lt;code&gt;emfor status --service &amp;lt;name&amp;gt;&lt;/code&gt;）可以直接作為 cron 或 Nagios 類系統的監控檢查。更多內容見 &lt;a class=&#34;link&#34; href=&#34;https://github.com/embark-systems/emfor/blob/v0.6.0/docs/deploy/daemon.md#emfor-status&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;&#xA;    &gt;docs/deploy/daemon.md&lt;/a&gt;。&lt;/p&gt;&#xA;&lt;h2 id=&#34;metrics&#34;&gt;Metrics&#xA;&lt;/h2&gt;&lt;p&gt;有 &lt;code&gt;[metrics]&lt;/code&gt; table 時，daemon 在 &lt;code&gt;http://127.0.0.1:5301/metrics&lt;/code&gt; 提供 Prometheus metrics。這個 endpoint 沒有認證也沒有 TLS；請保持在 loopback 上，或用防火牆保護。&lt;/p&gt;&#xA;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;Metric&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;意義&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;emfor_backend_state{service,backend,state}&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;目前狀態為 1&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;emfor_backend_check_latency_seconds&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;平滑後的檢查延遲（healthy 的 backend）&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;emfor_backend_last_check_timestamp_seconds&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;上次檢查結束的時間&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;emfor_backend_in_pool&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;在 &lt;code&gt;fastest&lt;/code&gt; 服務的 pool 中為 1&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;emfor_backend_drain&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;設定檔裡 drain 的 backend 為 1，其他為 0；&lt;code&gt;emfor_backend_state&lt;/code&gt; 仍是檢查給的狀態&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;emfor_service_all_down&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;沒有健康的 backend 時為 1&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;emfor_backend_checks_total{result}&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;依結果分類的檢查次數：&lt;code&gt;up&lt;/code&gt;、&lt;code&gt;down&lt;/code&gt;、&lt;code&gt;error&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;emfor_backend_transitions_total{to}&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;依新狀態分類的狀態變化次數&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;emfor_store_commit_failures_total&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;失敗的 store commit 次數&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;emfor_store_last_commit_timestamp_seconds&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;上次成功 commit 的時間；應在幾秒以內&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;emfor_store_used_bytes&lt;/code&gt;、&lt;code&gt;emfor_store_map_size_bytes&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;store 使用量與 &lt;code&gt;[store] map_size&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;emfor_plugin_up&lt;/code&gt;、&lt;code&gt;emfor_plugin_restarts_total&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;plugin 健康狀況&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;emfor_dns_rate_limited_total{action}&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;有 &lt;code&gt;[dns]&lt;/code&gt; 時：超過 &lt;code&gt;rate_limit&lt;/code&gt; 的 UDP 回答，依改送什麼分類：&lt;code&gt;truncated&lt;/code&gt; 或 &lt;code&gt;dropped&lt;/code&gt;（&lt;a class=&#34;link&#34; href=&#34;../07-dns/#%e9%80%9f%e7%8e%87%e9%99%90%e5%88%b6&#34; &gt;第 7 章&lt;/a&gt;）&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;emfor_peer_up{peer}&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;有 &lt;code&gt;[peers]&lt;/code&gt; 時：該成員存活時為 1&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;emfor_peer_messages_rejected_total{reason}&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;有 &lt;code&gt;[peers]&lt;/code&gt; 時：依原因分類的丟棄訊息數：&lt;code&gt;malformed&lt;/code&gt;、&lt;code&gt;auth&lt;/code&gt;（密鑰錯誤，或無法解密的訊息）、&lt;code&gt;sender&lt;/code&gt;（不是成員，或偽造的位址）、&lt;code&gt;site&lt;/code&gt;、&lt;code&gt;stale&lt;/code&gt;（時鐘相差超過 5 秒）、&lt;code&gt;replay&lt;/code&gt;、&lt;code&gt;plaintext&lt;/code&gt;（&lt;code&gt;accept_plaintext = false&lt;/code&gt; 時收到的未加密訊息）&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;emfor_peer_notifications_total{direction}&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;有 &lt;code&gt;[peers]&lt;/code&gt; 時：故障通知 &lt;code&gt;sent&lt;/code&gt;（每個成員算一次）與 &lt;code&gt;received&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;emfor_peer_results_total{direction}&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;有 &lt;code&gt;[peers]&lt;/code&gt; 時：負責主機的檢查結果 &lt;code&gt;sent&lt;/code&gt;（每個成員算一次）與 &lt;code&gt;received&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;emfor_peer_disagreements&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;有 &lt;code&gt;[peers]&lt;/code&gt; 時：群組投票判為 down、而本機檢查通過的 backend 數&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;emfor_peer_checks_skipped_total&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;有 &lt;code&gt;[peers]&lt;/code&gt; 時：因兩台負責主機意見一致而沒有做的檢查次數&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;emfor_peer_queue_dropped_total&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;有 &lt;code&gt;[peers]&lt;/code&gt; 時：peer task 落後超過 4096 則訊息，因而沒送出的 &lt;code&gt;down&lt;/code&gt; 與 &lt;code&gt;result&lt;/code&gt; 訊息數（log 記為 &lt;code&gt;the peer task is behind&lt;/code&gt;）；應該保持 0&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;emfor_build_info{version}&lt;/code&gt;、&lt;code&gt;emfor_start_time_seconds&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;daemon 本身&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;p&gt;&lt;a class=&#34;link&#34; href=&#34;https://github.com/embark-systems/emfor/blob/v0.6.0/examples/prometheus/emfor-rules.yml&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;&#xA;    &gt;examples/prometheus/emfor-rules.yml&lt;/a&gt; 提供告警規則：endpoint 無法抓取、服務 &lt;code&gt;ALL DOWN&lt;/code&gt;、store commit 失敗、backend 不健康達 10 分鐘、flapping、大多是 error，或不再被檢查。&lt;a class=&#34;link&#34; href=&#34;https://github.com/embark-systems/emfor/blob/v0.6.0/docs/deploy/daemon.md#metrics&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;&#xA;    &gt;docs/deploy/daemon.md&lt;/a&gt; 列出每個 metric 的型別與 label。&lt;/p&gt;&#xA;&lt;h3 id=&#34;聯防群組&#34;&gt;聯防群組&#xA;&lt;/h3&gt;&lt;p&gt;聯防群組的成員之間需要能以 UDP 連到彼此的 &lt;a class=&#34;link&#34; href=&#34;../03-configuration/#peers&#34; &gt;&lt;code&gt;[peers]&lt;/code&gt;&lt;/a&gt; 的 &lt;code&gt;listen&lt;/code&gt; port（範例中為 5302），時鐘相差不能超過 5 秒（NTP）。某個成員的 &lt;code&gt;emfor_peer_up&lt;/code&gt; 一直是 0 時，看兩邊的 &lt;code&gt;emfor_peer_messages_rejected_total&lt;/code&gt;：&lt;code&gt;auth&lt;/code&gt; 表示密鑰不同，&lt;code&gt;stale&lt;/code&gt; 表示時鐘偏移，&lt;code&gt;sender&lt;/code&gt; 表示 &lt;code&gt;members&lt;/code&gt; 或 &lt;code&gt;listen&lt;/code&gt; 不符，&lt;code&gt;site&lt;/code&gt; 表示兩台主機的 &lt;code&gt;site&lt;/code&gt; 不同。0.3.0 成員那邊的 &lt;code&gt;malformed&lt;/code&gt; 表示它讀不了已升級成員的加密訊息：在它升級前，已升級的成員先設 &lt;code&gt;encrypt = false&lt;/code&gt;（見 &lt;a class=&#34;link&#34; href=&#34;../03-configuration/#peers&#34; &gt;&lt;code&gt;[peers]&lt;/code&gt;&lt;/a&gt;）。警告 &lt;code&gt;peer &amp;lt;address&amp;gt; sends plaintext messages (EMP1); set encrypt = true there&lt;/code&gt; 表示該成員仍送未加密的訊息；這些訊息照常接受，除非設了 &lt;code&gt;accept_plaintext = false&lt;/code&gt;：那時它們算成 &lt;code&gt;plaintext&lt;/code&gt;，該成員在這裡不算存活。&lt;/p&gt;&#xA;&lt;p&gt;原因會說明 &lt;code&gt;down&lt;/code&gt; 從哪裡來：&lt;code&gt;peers 2/3: &amp;lt;原因&amp;gt;&lt;/code&gt; 表示三台負責主機中有兩台看到 backend down（原因是它們的）；&lt;code&gt;local: &amp;lt;原因&amp;gt;&lt;/code&gt; 表示只有這台主機看到 down，投票沒有判 down；沒有前綴的原因表示沒有投票（存活成員少於三台，或沒有夠新的結果）。&lt;code&gt;emfor status&lt;/code&gt; 在 daemon 那一行下面顯示群組狀態：&lt;/p&gt;&#xA;&lt;pre tabindex=&#34;0&#34;&gt;&lt;code&gt;peers: 2/3 live, not live 10.0.0.7:5302&#xA;peers: check definition of api.svc.emfor differs at 10.0.0.6:5302&#xA;&lt;/code&gt;&lt;/pre&gt;&lt;p&gt;群組投票判為 down、而本機檢查通過的 backend 會標上 &lt;code&gt;local-up&lt;/code&gt;。這些值得看一下：這台主機連得到其他主機連不到的 backend（常見原因是網路分割，或其他主機上的防火牆規則），&lt;code&gt;emfor_peer_disagreements&lt;/code&gt; 會計算它們的數量。要看某個 backend 是由哪幾台決定的，請看 &lt;code&gt;emfor status --json&lt;/code&gt; 裡它的 &lt;code&gt;assigned_checkers&lt;/code&gt;（見下）。「check definition differs」那一行表示該成員這個服務的 &lt;code&gt;check&lt;/code&gt;、&lt;code&gt;check_options&lt;/code&gt; 或 &lt;code&gt;timeout&lt;/code&gt; 和這台主機不同，所以它的結果不計入；請讓設定一致。同樣的資料也在 store 的 &lt;code&gt;meta/peers&lt;/code&gt; key，以及 &lt;code&gt;emfor status --json&lt;/code&gt; 的 &lt;code&gt;peers&lt;/code&gt; 中。其中 &lt;code&gt;services_off&lt;/code&gt; 列出這台主機不參加群組的服務（&lt;code&gt;peers = false&lt;/code&gt;）；它們的 backend 不會標 &lt;code&gt;voted&lt;/code&gt;，也沒有 &lt;code&gt;assigned_checkers&lt;/code&gt;。&lt;code&gt;members&lt;/code&gt; 的每一項也有自己的 &lt;code&gt;services_off&lt;/code&gt;：該成員宣告不參加、而這台主機也有的服務。這台主機挑這些服務的負責主機時不算那個成員，&lt;code&gt;emfor status&lt;/code&gt; 也照同樣方式排除。文字輸出會在 &lt;code&gt;peers:&lt;/code&gt; 那一行之後，為每個這樣的成員加一行，只列出目前顯示的服務：&lt;/p&gt;&#xA;&lt;pre tabindex=&#34;0&#34;&gt;&lt;code&gt;peers: 10.0.0.6:5302 leaves out api.svc.emfor db.svc.emfor&#xA;&lt;/code&gt;&lt;/pre&gt;&lt;p&gt;這台主機加上沒有略過某個服務、且仍 live 的成員不到三台時，群組無法為那個服務投票：它的 backend 都不會是 voted，每個 reason 都是這台主機自己判的，沒有 &lt;code&gt;peers d/f:&lt;/code&gt; 前綴。如果每個有參加群組的服務都是這種情形，&lt;code&gt;peers:&lt;/code&gt; 那一行會以 &lt;code&gt;too few live members to vote&lt;/code&gt; 結尾：&lt;/p&gt;&#xA;&lt;pre tabindex=&#34;0&#34;&gt;&lt;code&gt;peers: 1/2 live, not live 10.0.0.7:5302, too few live members to vote&#xA;&lt;/code&gt;&lt;/pre&gt;&lt;p&gt;如果有些服務投得了票、有些投不了，這一行不會有提示；在 &lt;code&gt;assigned_checkers&lt;/code&gt;（見下）裡沒有 &lt;code&gt;checkers&lt;/code&gt; 的 backend，就是只由這台主機決定。&lt;/p&gt;&#xA;&lt;p&gt;四台以上的群組裡，不是某些 backend 負責主機的主機，&lt;code&gt;emfor_peer_checks_skipped_total&lt;/code&gt; 會增加：大部分的檢查時間讓投票決定，大約每三個 &lt;code&gt;interval&lt;/code&gt; 才自己檢查那些 backend 一次。&lt;code&gt;emfor status&lt;/code&gt; 會把那些 backend 標上 &lt;code&gt;voted&lt;/code&gt;，並在 &lt;code&gt;peers:&lt;/code&gt; 那一行最後寫出顯示的 backend 中有幾個是這台主機每次都檢查的：&lt;/p&gt;&#xA;&lt;pre tabindex=&#34;0&#34;&gt;&lt;code&gt;peers: 4/4 live, checks 12/40 backends here&#xA;&lt;/code&gt;&lt;/pre&gt;&lt;p&gt;&lt;code&gt;emfor status --json&lt;/code&gt; 在 &lt;code&gt;assigned_checkers&lt;/code&gt; 中依排名列出每個 backend 的負責主機：&lt;/p&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;&#34;&gt;&lt;code class=&#34;language-json&#34; data-lang=&#34;json&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;assigned_checkers&amp;#34;&lt;/span&gt;&lt;span style=&#34;color:#960050;background-color:#1e0010&#34;&gt;:&lt;/span&gt; [&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;  {&lt;span style=&#34;color:#f92672&#34;&gt;&amp;#34;service&amp;#34;&lt;/span&gt;: &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;api.svc.emfor&amp;#34;&lt;/span&gt;, &lt;span style=&#34;color:#f92672&#34;&gt;&amp;#34;backend&amp;#34;&lt;/span&gt;: &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;10.0.0.11:8080&amp;#34;&lt;/span&gt;,&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;   &lt;span style=&#34;color:#f92672&#34;&gt;&amp;#34;checkers&amp;#34;&lt;/span&gt;: [&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;10.0.0.5:5302&amp;#34;&lt;/span&gt;, &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;10.0.0.8:5302&amp;#34;&lt;/span&gt;, &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;10.0.0.6:5302&amp;#34;&lt;/span&gt;]}&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;]&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;daemon 沒有執行或沒有 &lt;code&gt;meta/peers&lt;/code&gt; 時它是 &lt;code&gt;null&lt;/code&gt;。status 依 &lt;code&gt;meta/peers&lt;/code&gt; 中的存活成員算出這些內容，而 daemon 每秒更新一次 &lt;code&gt;meta/peers&lt;/code&gt;，所以成員剛加入或離開時最多會落後一秒。&lt;code&gt;voted&lt;/code&gt; 只表示這台主機不是負責主機；某次檢查時間是否由投票決定，要看當下的票。&lt;code&gt;emfor_backend_checks_total&lt;/code&gt; 仍然計算每一次檢查時間，不論是否由投票決定。backend 的延遲只由這台主機自己的檢查量測，所以在這種主機上大約每三個 &lt;code&gt;interval&lt;/code&gt; 才變一次。&lt;code&gt;voted&lt;/code&gt; 的 backend 那一行的「&lt;code&gt;&amp;lt;age&amp;gt; ago&lt;/code&gt;」是結果套用的時間，不論由誰決定，所以它可能很新，而這台主機實際連線到那個 backend 可能是大約三個 &lt;code&gt;interval&lt;/code&gt; 之前。&lt;/p&gt;&#xA;&lt;h2 id=&#34;log&#34;&gt;Log&#xA;&lt;/h2&gt;&lt;p&gt;daemon 把 log 寫到 stderr：systemd 下進 journal，FreeBSD rc.d script 下進 syslog（tag &lt;code&gt;emfor&lt;/code&gt;）。以 &lt;code&gt;[log] level&lt;/code&gt; 設定等級，或用 &lt;code&gt;RUST_LOG&lt;/code&gt;（例如 &lt;code&gt;RUST_LOG=debug&lt;/code&gt;）只為某次執行設定。只有 stderr 是終端機且未設定 &lt;code&gt;NO_COLOR&lt;/code&gt; 時才會使用顏色。&lt;/p&gt;&#xA;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;等級&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;看到什麼&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;error&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;store commit 失敗、被拒絕的 reload&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;warn&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;plugin 結束、損毀的 store 被替換、在 DNS zone 之外或 port 不一致的服務、無法解析的 plugin 輸出、被丟棄的聯防訊息（每個來源與原因每分鐘一行）、&lt;code&gt;encrypt = true&lt;/code&gt; 時送明文（&lt;code&gt;EMP1&lt;/code&gt;）訊息的成員（每個成員每分鐘一行）、無法讀取的 &lt;code&gt;[peers] secret_file&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;info&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;啟動與停止、每次 backend 狀態變化與其 reason、plugin 的 stderr 內容、聯防成員變成存活或不存活、&lt;code&gt;peer … reports backend … down (…); checking now&lt;/code&gt;、&lt;code&gt;backend … of … is down at 2/3 peers but up here&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;debug&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;每次通過的檢查所花的時間、被忽略的聯防通知與原因、檢查定義不同的成員送來的結果&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;h2 id=&#34;結束代碼&#34;&gt;結束代碼&#xA;&lt;/h2&gt;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;代碼&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;意義&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;重試有用嗎？&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;0&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;正常停止（&lt;code&gt;SIGTERM&lt;/code&gt; / &lt;code&gt;SIGINT&lt;/code&gt;）&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;—&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;1&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;無法啟動：listen 位址已被使用、無法開啟 store，或另一個 emfor 持有這個 store（&lt;code&gt;&amp;lt;store&amp;gt;.writer&lt;/code&gt;）&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;沒用；先排除原因&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;2&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;設定無效，或沒有給指令&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;沒用；先用你要啟動的那個 binary 執行 &lt;code&gt;emfor check-config&lt;/code&gt;，再修正設定&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;70&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;state writer 或 DNS listener 在執行中停止了&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;有用；systemd unit 會重新啟動它&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;h2 id=&#34;磁碟上的-store&#34;&gt;磁碟上的 store&#xA;&lt;/h2&gt;&lt;p&gt;daemon 至少每秒 commit 一次 store，每次狀態變化也會 commit。預設（&lt;code&gt;[store] sync = false&lt;/code&gt;）commit 不等待磁碟，所以磁碟卡住時不會讓 heartbeat 延遲、使主機上所有應用程式都看到過期的 store。store 中沒有任何東西需要在主機當機後保留：daemon 啟動時會重寫每個服務。只有狀態歷史（&lt;code&gt;emfor status --history&lt;/code&gt;）會跨重新啟動保留。&lt;/p&gt;&#xA;&lt;p&gt;斷電後 store 可能損毀。這時 daemon 會記錄警告、把它移到 &lt;code&gt;&amp;lt;store&amp;gt;.corrupt&lt;/code&gt;，並以新的 store 啟動；執行中的應用程式會自行跟上新檔案。唯一遺失的是狀態歷史，也就是 &lt;code&gt;emfor status --history&lt;/code&gt; 顯示的每個 backend 最近 20 筆狀態變化。每次狀態變化也都記在 daemon 的 log 裡（&lt;code&gt;changed from healthy to unhealthy&lt;/code&gt; 等），要查當機前發生了什麼，請看 log。設定 &lt;code&gt;sync = true&lt;/code&gt; 會讓每次 commit 都寫入磁碟，但要承擔上述的風險。&lt;/p&gt;&#xA;&lt;p&gt;不要原地修改 store 檔：不要用 &lt;code&gt;cp&lt;/code&gt; 蓋過去、不要 &lt;code&gt;truncate&lt;/code&gt;、也不要用 shell 重導向（&lt;code&gt;&amp;gt; state.mdb&lt;/code&gt;）。daemon 和所有應用程式都透過記憶體映射讀它，檔案在它們開著時變短，這些 process 都會因 &lt;code&gt;SIGBUS&lt;/code&gt; 結束。要換成另一個檔案，請先寫在 store 旁邊，再用 &lt;code&gt;mv&lt;/code&gt; 蓋到 store 的路徑上，執行中的應用程式就會跟上新檔案。開檔時就已經比 LMDB 記錄的長度短的 store（例如斷電後）會當成損壞處理：daemon 把它移到 &lt;code&gt;&amp;lt;store&amp;gt;.corrupt&lt;/code&gt;；在有正常的 store 之前，查詢回 &lt;code&gt;UNAVAILABLE&lt;/code&gt;（訊息含 &lt;code&gt;truncated&lt;/code&gt;）；&lt;code&gt;emfor status&lt;/code&gt; 結束碼為 2。LMDB 本身也可能讓 store 比它記錄的短幾頁（頁面在寫入前又被釋放）；daemon 每次 commit 後都會把檔案補足長度，所以這只影響舊版 emfor 寫出的 store：升級後第一次啟動時可能被移走，只損失狀態歷史。&lt;/p&gt;&#xA;&lt;p&gt;commit 在自己的執行緒上執行，所以慢的磁碟不會拖慢 DNS 回答、metrics 或檢查。請留意 &lt;code&gt;emfor_store_used_bytes&lt;/code&gt; 與 &lt;code&gt;map_size&lt;/code&gt; 的比例：store 滿了之後 commit 會失敗，client 很快就會看到過期的 store。&lt;/p&gt;&#xA;&lt;h3 id=&#34;把-store-放在記憶體&#34;&gt;把 store 放在記憶體&#xA;&lt;/h3&gt;&lt;p&gt;store 裡沒有任何東西需要在重開機後保留，所以可以放在 tmpfs 上。這樣大約每秒一次的 commit 都不會寫到磁碟，就算設定 &lt;code&gt;sync = true&lt;/code&gt;，磁碟卡住也不會延遲 commit；斷電後也不會留下損壞的檔案，daemon 只會以新的 store 啟動。代價是狀態歷史：每次重開機都會清空，不只是當機時（只重啟 daemon 會保留）。&lt;/p&gt;&#xA;&lt;p&gt;把 tmpfs 直接掛在 store 所在的目錄（&lt;code&gt;/var/lib/emfor&lt;/code&gt;；用 FreeBSD port 時是 &lt;code&gt;/var/db/emfor&lt;/code&gt;），這樣 &lt;code&gt;[store] path&lt;/code&gt; 和 &lt;code&gt;EMFOR_STORE&lt;/code&gt; 都不用改。大小至少要等於 &lt;code&gt;[store] map_size&lt;/code&gt;（預設 &lt;code&gt;64MiB&lt;/code&gt;）；只有實際用到的頁面會佔記憶體，幾個服務只需要幾十 KiB。&lt;/p&gt;&#xA;&lt;ul&gt;&#xA;&lt;li&gt;&#xA;&lt;p&gt;systemd：在 &lt;code&gt;/etc/fstab&lt;/code&gt; 加上&lt;/p&gt;&#xA;&lt;pre tabindex=&#34;0&#34;&gt;&lt;code&gt;tmpfs  /var/lib/emfor  tmpfs  size=64m,mode=0755,nosuid,nodev,noexec  0 0&#xA;&lt;/code&gt;&lt;/pre&gt;&lt;p&gt;並用 &lt;code&gt;systemctl edit emfor&lt;/code&gt; 在 &lt;code&gt;[Unit]&lt;/code&gt; 下加上 &lt;code&gt;RequiresMountsFor=/var/lib/emfor&lt;/code&gt;，讓 daemon 等掛好之後才啟動。&lt;code&gt;StateDirectory=emfor&lt;/code&gt; 每次啟動時都會把目錄交給 &lt;code&gt;emfor&lt;/code&gt; 使用者。&lt;/p&gt;&#xA;&lt;/li&gt;&#xA;&lt;li&gt;&#xA;&lt;p&gt;FreeBSD：在 &lt;code&gt;/etc/fstab&lt;/code&gt; 加上&lt;/p&gt;&#xA;&lt;pre tabindex=&#34;0&#34;&gt;&lt;code&gt;tmpfs  /var/db/emfor  tmpfs  rw,size=64m,mode=0755,uid=&amp;lt;emfor 的 uid&amp;gt;  0 0&#xA;&lt;/code&gt;&lt;/pre&gt;&lt;p&gt;uid 填 &lt;code&gt;id -u emfor&lt;/code&gt; 印出的數字，讓每次開機後目錄都屬於 &lt;code&gt;emfor&lt;/code&gt;。&lt;/p&gt;&#xA;&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;p&gt;不要把 store 放在 systemd 的 &lt;code&gt;RuntimeDirectory=&lt;/code&gt;（&lt;code&gt;/run/emfor&lt;/code&gt;）：daemon 每次停止時它都會刪掉整個目錄，連重啟 daemon 都會清空歷史，執行中的應用程式也會停在已刪除的檔案上。&lt;/p&gt;&#xA;&lt;p&gt;這已在 Debian 容器中、&lt;code&gt;/var/lib/emfor&lt;/code&gt; 掛上 tmpfs 的情況下驗證過：一個服務的 store 佔 32 KiB，&lt;code&gt;emfor status&lt;/code&gt; 讀得到，重啟 daemon 後歷史仍在。上面的 systemd 與 FreeBSD 設定尚未在實機上跑過。&lt;/p&gt;&#xA;&lt;h2 id=&#34;誰能使用-store&#34;&gt;誰能使用 store&#xA;&lt;/h2&gt;&lt;p&gt;應用程式讀取資料檔，並在 lock 檔 &lt;code&gt;&amp;lt;store&amp;gt;-lock&lt;/code&gt; 中登記讀取，所以每個應用程式使用者都需要 store 的讀取權限與 lock 檔的寫入權限。預設值（&lt;code&gt;file_mode = &amp;quot;0644&amp;quot;&lt;/code&gt;、&lt;code&gt;lock_file_mode = &amp;quot;0666&amp;quot;&lt;/code&gt;）讓每個本機使用者都能這麼做，但也讓任何能寫 lock 檔的本機使用者可以卡住 daemon 的 commit 或干擾查詢。只有在每個本機使用者都可信任的主機上才保留預設值。否則，為你的應用程式建立一個群組：&lt;/p&gt;&#xA;&lt;ol&gt;&#xA;&lt;li&gt;建立一個群組，例如 &lt;code&gt;emfor-clients&lt;/code&gt;，把每個應用程式使用者加進去。&lt;/li&gt;&#xA;&lt;li&gt;把它設為 daemon 的群組。systemd 下：&lt;code&gt;systemctl edit emfor&lt;/code&gt;，加上 &lt;code&gt;Group=emfor-clients&lt;/code&gt; 並設定 &lt;code&gt;StateDirectoryMode=0750&lt;/code&gt;。FreeBSD 用 port 時：&lt;code&gt;chgrp emfor-clients /var/db/emfor &amp;amp;&amp;amp; chmod 0750 /var/db/emfor&lt;/code&gt;。&lt;/li&gt;&#xA;&lt;li&gt;在 &lt;code&gt;[store]&lt;/code&gt; 中設定 &lt;code&gt;file_mode = &amp;quot;0640&amp;quot;&lt;/code&gt; 與 &lt;code&gt;lock_file_mode = &amp;quot;0660&amp;quot;&lt;/code&gt;。&lt;/li&gt;&#xA;&lt;li&gt;對既有的 store 與 lock 檔執行 &lt;code&gt;chgrp emfor-clients&lt;/code&gt;，然後重新啟動 daemon（它每次啟動都會設定權限）。&lt;/li&gt;&#xA;&lt;/ol&gt;&#xA;&lt;h2 id=&#34;用-drain-做滾動部署&#34;&gt;用 drain 做滾動部署&#xA;&lt;/h2&gt;&lt;p&gt;要一台一台部署一個 service 的 backend，又不想切斷正在跑的請求：先用 &lt;code&gt;drain = true&lt;/code&gt;（&lt;a class=&#34;link&#34; href=&#34;../05-backend-selection/#drain-%e4%b8%80%e5%80%8b-backend&#34; &gt;第 5 章&lt;/a&gt;）把那台 backend 從選擇中拿掉，等它的請求結束，停止、部署、啟動，等它的檢查通過，再放回去。emfor 負責第一步和最後一步，中間顯示檢查的結果；等待要你自己做，因為 emfor 不在資料路徑上，看不到任何一個請求。&lt;/p&gt;&#xA;&lt;p&gt;&lt;code&gt;conf.d&lt;/code&gt; 的檔案無法只改別的檔案已定義的 service 的某一台 backend：清單是整個被取代，所以那個檔案要把整份 &lt;code&gt;backends&lt;/code&gt; 清單重寫一遍。請讓 service 有自己的檔案、每台 backend 一行，然後改那一行：&lt;/p&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;&#34;&gt;&lt;code class=&#34;language-toml&#34; data-lang=&#34;toml&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#75715e&#34;&gt;# /etc/emfor/conf.d/20-api.toml&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;[&lt;span style=&#34;color:#a6e22e&#34;&gt;services&lt;/span&gt;.&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;api.svc.emfor&amp;#34;&lt;/span&gt;]&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;check&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;tcp&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;backends&lt;/span&gt; = [&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;  { &lt;span style=&#34;color:#a6e22e&#34;&gt;addr&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;10.0.0.11:8080&amp;#34;&lt;/span&gt; },&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;  { &lt;span style=&#34;color:#a6e22e&#34;&gt;addr&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;10.0.0.12:8080&amp;#34;&lt;/span&gt; },&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;]&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;&lt;a class=&#34;link&#34; href=&#34;https://github.com/embark-systems/emfor/blob/v0.6.0/examples/deploy/emfor-drain.sh&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;&#xA;    &gt;examples/deploy/emfor-drain.sh&lt;/a&gt; 做一台 backend 的這幾步。開始之前：&lt;/p&gt;&#xA;&lt;ul&gt;&#xA;&lt;li&gt;沒有任何套件會安裝這支腳本。請複製到 emfor 的主機（給 &lt;code&gt;on&lt;/code&gt;、&lt;code&gt;off&lt;/code&gt;、&lt;code&gt;wait-ready&lt;/code&gt; 用）與 backend 的主機（給 &lt;code&gt;wait-idle&lt;/code&gt; 用）。&lt;/li&gt;&#xA;&lt;li&gt;在 emfor 的主機上以 root 執行：以 root 執行的 &lt;code&gt;emfor check-config&lt;/code&gt; 只接受 root 擁有的 conf.d 檔案，而且腳本會 reload emfor。&lt;/li&gt;&#xA;&lt;li&gt;需要 &lt;code&gt;jq&lt;/code&gt;；&lt;code&gt;wait-idle&lt;/code&gt; 還需要 &lt;code&gt;ss&lt;/code&gt;（Linux、iproute2）。&lt;/li&gt;&#xA;&lt;li&gt;reload 指令是 &lt;code&gt;systemctl reload emfor&lt;/code&gt;；要用別的，設 &lt;code&gt;EMFOR_RELOAD&lt;/code&gt;（FreeBSD：&lt;code&gt;service emfor reload&lt;/code&gt;，檔案在 &lt;code&gt;/usr/local/etc/emfor/conf.d&lt;/code&gt;）。&lt;/li&gt;&#xA;&lt;li&gt;它呼叫 &lt;code&gt;emfor check-config&lt;/code&gt; 與 &lt;code&gt;emfor status&lt;/code&gt; 時不帶 &lt;code&gt;--config&lt;/code&gt;，所以用的是編在 emfor 裡的預設設定檔路徑。要用別的路徑，設 &lt;code&gt;EMFOR_CONFIG=/path/to/emfor.toml&lt;/code&gt;。&lt;/li&gt;&#xA;&lt;li&gt;每台 backend 必須是一行，寫成剛好 &lt;code&gt;{ addr = &amp;quot;10.0.0.11:8080&amp;quot; },&lt;/code&gt;，&lt;code&gt;}&lt;/code&gt; 之前有一個空格。遇到它改不了的那一行，腳本會停下來、不動檔案。它把新的那一行寫到一份副本，用副本取代原檔，執行 &lt;code&gt;check-config&lt;/code&gt;，檢查被拒絕就把舊檔放回去；之後才 reload。&lt;/li&gt;&#xA;&lt;li&gt;它用位址在 &lt;code&gt;emfor status --json&lt;/code&gt; 裡找 backend，找到的是名稱順序第一個有那個位址的 service。兩個 service 共用一個位址時，設 &lt;code&gt;EMFOR_SERVICE=&amp;lt;name&amp;gt;&lt;/code&gt;。&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;&#34;&gt;&lt;code class=&#34;language-sh&#34; data-lang=&#34;sh&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#75715e&#34;&gt;# 在執行 emfor 的主機上：在 backend 那一行加 drain = true、執行 emfor check-config、&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#75715e&#34;&gt;# reload，等到 `emfor status` 顯示它被 drain。&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;emfor-drain.sh on /etc/emfor/conf.d/20-api.toml 10.0.0.11:8080&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#75715e&#34;&gt;# 在 10.0.0.11 上：等到連到 8080 埠的連線都有 3 秒沒有傳輸資料。&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;emfor-drain.sh wait-idle &lt;span style=&#34;color:#ae81ff&#34;&gt;8080&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;deploy-and-restart-api&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#75715e&#34;&gt;# 回到 emfor 的主機：等到這台 backend 的檢查連續 10 秒都是 healthy，再拿掉 drain 並 reload。&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;emfor-drain.sh wait-ready 10.0.0.11:8080 &lt;span style=&#34;color:#ae81ff&#34;&gt;120&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;emfor-drain.sh off /etc/emfor/conf.d/20-api.toml 10.0.0.11:8080&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;&lt;code&gt;wait-ready&lt;/code&gt; 保證什麼：剛停掉的 backend 要等 &lt;code&gt;fall&lt;/code&gt; 次檢查失敗之後才不再是 &lt;code&gt;healthy&lt;/code&gt;（預設 &lt;code&gt;interval&lt;/code&gt; 2 秒、&lt;code&gt;fall&lt;/code&gt; 3，約 6 秒），而被 drain 的 backend 會藏起最近一次檢查的結果（store 只顯示檢查給的狀態）。所以 &lt;code&gt;wait-ready ADDR [秒數 [SETTLE]]&lt;/code&gt; 不會一看到 &lt;code&gt;healthy&lt;/code&gt; 就返回：要有一次比這個指令更晚完成的檢查，而且檢查連續 SETTLE 秒（預設 10）都是 &lt;code&gt;healthy&lt;/code&gt; 才返回；沒有被 drain 的 backend 還要求最近一次檢查通過。SETTLE 必須比該 service 的 &lt;code&gt;fall&lt;/code&gt; x &lt;code&gt;interval&lt;/code&gt; 加 &lt;code&gt;timeout&lt;/code&gt; 長；改了那些設定就要調大。它不計算 &lt;code&gt;rise&lt;/code&gt;，也不看應用程式怎麼處理請求：通過 &lt;code&gt;tcp&lt;/code&gt; 檢查、卻回 500 的 backend，它仍視為準備好了。&lt;/p&gt;&#xA;&lt;p&gt;一次只處理一台，兩台之間看一下 &lt;code&gt;emfor status&lt;/code&gt;（service 是 &lt;code&gt;ALL DOWN&lt;/code&gt; 時它的結束狀態是 1）：backend 全被 drain 的 service 什麼也不回答。&lt;code&gt;drain&lt;/code&gt; 是單一主機設定的一部分（&lt;a class=&#34;link&#34; href=&#34;../05-backend-selection/#drain-%e4%b8%80%e5%80%8b-backend&#34; &gt;第 5 章&lt;/a&gt;），所以每台應用程式主機都跑 emfor 時，第一步與最後一步要在每一台上做。把好幾台主機的 emfor 都當作 name server 的 HAProxy，這幾台的 &lt;code&gt;drain&lt;/code&gt; 也必須一致，而且只用一個本機的 name server 比較好（&lt;a class=&#34;link&#34; href=&#34;../07-dns-recipes/#%e6%90%ad%e9%85%8d-haproxy-%e4%bd%bf%e7%94%a8&#34; &gt;第 7 章的 HAProxy&lt;/a&gt;）。&lt;/p&gt;&#xA;&lt;p&gt;等待是為了什麼，以下是 &lt;code&gt;tests/deploy/run.sh&lt;/code&gt; 在 nginx 1.30.6 與 1.31.8（用 emfor 的 SRV 回答當 upstream，&lt;a class=&#34;link&#34; href=&#34;../07-dns-recipes/#%e6%90%ad%e9%85%8d-nginx-%e4%bd%bf%e7%94%a8&#34; &gt;第 7 章&lt;/a&gt;）看到的：&lt;/p&gt;&#xA;&lt;ul&gt;&#xA;&lt;li&gt;backend 被 drain 時正在跑的請求會跑完（一個 1200 位元組、約 6 秒傳完的回應完整收到）。不 drain 就停掉 backend，同一個請求在 146 位元組處被切斷。&lt;/li&gt;&#xA;&lt;li&gt;新的請求在幾秒內就不再到被 drain 的 backend（nginx 每秒重新查詢一次）。讀 store 的 client 是下一次 lookup；問 DNS 的 client 可能把答案快取到 TTL 結束。&lt;/li&gt;&#xA;&lt;li&gt;nginx 會重試被停掉的 backend 拒絕的請求，所以不 drain 就停止，在測試裡沒有丟掉新的請求（64 到 96 個 POST 中 0 個）。drain 的好處在於正在跑的請求，以及不會重試的 client；後者沒有試過。&lt;/li&gt;&#xA;&lt;li&gt;proxy 為了下一個請求而保持開著的連線，drain 之後仍然開著，所以「連到那個埠的連線歸零」不會來：nginx 1.30 預設會保持與 upstream 的閒置連線，等待結束時還有 1 到 2 條開著。因此 &lt;code&gt;wait-idle&lt;/code&gt; 等的是一段安靜的時間，預設 3 秒（第三個參數，單位毫秒），資料取自 &lt;code&gt;ss -i&lt;/code&gt;。一個沉默超過這段時間的請求（long poll 或事件串流）在它看來像是閒置：把時間調長，或在應用程式裡計算請求數。&lt;/li&gt;&#xA;&lt;li&gt;預設的 &lt;code&gt;interval&lt;/code&gt; 與 &lt;code&gt;fall&lt;/code&gt; 下的 &lt;code&gt;wait-ready&lt;/code&gt;：測試停掉一台被 drain 的 backend，馬上看 &lt;code&gt;wait-ready&lt;/code&gt;；那時檢查仍說 &lt;code&gt;healthy&lt;/code&gt;，而 &lt;code&gt;wait-ready&lt;/code&gt; 要等 backend 重新啟動、檢查連續通過 10 秒之後才返回（停止後 26 秒，backend 是在停止後 12 秒啟動的）。測試設定檔的其餘部分用 &lt;code&gt;interval = &amp;quot;200ms&amp;quot;&lt;/code&gt; 與 &lt;code&gt;fall = 1&lt;/code&gt;，停掉的 backend 在不到一秒內就顯示 &lt;code&gt;unhealthy&lt;/code&gt;，這些時間值會藏起這個問題，所以這個案例用預設值。測試也檢查：腳本改不了那一行時不動檔案，&lt;code&gt;check-config&lt;/code&gt; 拒絕新檔案時把舊檔放回去。&lt;/li&gt;&#xA;&lt;li&gt;&lt;code&gt;off&lt;/code&gt; 讓 backend 立刻回到選擇中，不重新計算 &lt;code&gt;rise&lt;/code&gt;，也不啟動慢啟動；部署期間被重啟、在 drain 時恢復的 backend，從它的檢查通過那一刻起升權，所以很短的部署之後它可能還在 &lt;code&gt;slow_start&lt;/code&gt; 之內（&lt;a class=&#34;link&#34; href=&#34;../05-backend-selection/#%e6%85%a2%e5%95%9f%e5%8b%95slow-start&#34; &gt;第 5 章&lt;/a&gt;）。&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;p&gt;沒有試過：HAProxy（它同樣會重試，也有自己的 session）、HTTPS、自己維護連線池到 backend 的 client（drain 不會關掉池裡的連線）、多台 emfor 主機。腳本與測試只在 Linux 上跑過。腳本的較早版本（&lt;code&gt;wait-ready&lt;/code&gt; 還不會等穩定、也還沒有 &lt;code&gt;EMFOR_CONFIG&lt;/code&gt;、&lt;code&gt;EMFOR_SERVICE&lt;/code&gt; 與放回舊檔之前）在 FreeBSD 15.1（套件裡的 nginx 1.30.6 與 &lt;code&gt;jq&lt;/code&gt;）上，把 &lt;code&gt;wait-idle&lt;/code&gt; 換成固定等 8 秒，手動執行測試通過；現在的腳本沒有在那裡跑過。&lt;code&gt;wait-idle&lt;/code&gt; 需要 Linux 的 &lt;code&gt;ss&lt;/code&gt;，在別處會直接停下並說明：請等一段固定時間，至少是最長的請求加上 proxy 重新查詢所需的時間，或在應用程式裡計算請求數。&lt;code&gt;tests/deploy/inside.sh&lt;/code&gt; 本身也呼叫 &lt;code&gt;ss&lt;/code&gt;、並寫入 &lt;code&gt;/etc/nginx/nginx.conf&lt;/code&gt;，所以在 FreeBSD 上跑它需要先改。Integrations workflow 每週在 Linux 上執行一次，測試或腳本有改動時也會執行。&lt;/p&gt;&#xA;&lt;h2 id=&#34;從-nagiosicinga-或-zabbix-監看-emfor&#34;&gt;從 Nagios、Icinga 或 Zabbix 監看 emfor&#xA;&lt;/h2&gt;&lt;p&gt;兩支小腳本把 emfor 接到使用 Nagios 外掛慣例的監控系統（結束狀態 0 OK、1 WARNING、2 CRITICAL、3 UNKNOWN，第一行文字，&lt;code&gt;|&lt;/code&gt; 後面是 perfdata）。它們是給你複製的範例，在 &lt;a class=&#34;link&#34; href=&#34;https://github.com/embark-systems/emfor/blob/v0.6.0/examples/nagios/check_emfor.sh&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;&#xA;    &gt;examples/nagios/&lt;/a&gt;。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;監看 emfor：&lt;code&gt;check_emfor.sh&lt;/code&gt;。&lt;/strong&gt; 它讀 &lt;code&gt;emfor status --json&lt;/code&gt;（需要 &lt;code&gt;jq&lt;/code&gt;），給出 Nagios 的狀態：&lt;/p&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;&#34;&gt;&lt;code class=&#34;language-console&#34; data-lang=&#34;console&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;$ check_emfor.sh -s web.svc.emfor&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;EMFOR WARNING - web.svc.emfor: 2 of 3 healthy (127.0.0.1:7002 WARNING - slow on 7002) | &amp;#39;web.svc.emfor_healthy&amp;#39;=2;3;1;0;3&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;$ echo $?&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;1&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;ul&gt;&#xA;&lt;li&gt;CRITICAL：daemon 是 stale 或 stopped，或某個 service 的健康 backend 少於 &lt;code&gt;-c&lt;/code&gt; 個（預設 1：全部故障，或全部被 drain）。&lt;/li&gt;&#xA;&lt;li&gt;WARNING：健康的少於 &lt;code&gt;-w&lt;/code&gt; 個（預設：每一個沒有被 drain 的 backend）。&lt;/li&gt;&#xA;&lt;li&gt;UNKNOWN：&lt;code&gt;emfor&lt;/code&gt; 或 &lt;code&gt;jq&lt;/code&gt; 無法執行、讀不到 store，或 service 不存在。&lt;/li&gt;&#xA;&lt;li&gt;被 drain 的 backend 不計入（它是刻意被拿掉的），但會在文字裡點名。&lt;code&gt;-s&lt;/code&gt; 選一個 service（預設全部），&lt;code&gt;-C&lt;/code&gt; 指定寫著 store 的設定檔。&lt;/li&gt;&#xA;&lt;li&gt;監控程式所用的使用者必須能讀 store、也能寫它的 lock 檔（&lt;a class=&#34;link&#34; href=&#34;#%e8%aa%b0%e8%83%bd%e4%bd%bf%e7%94%a8-store&#34; &gt;誰能使用 store&lt;/a&gt;）；採用建議的 &lt;code&gt;lock_file_mode = &amp;quot;0660&amp;quot;&lt;/code&gt; 時，這個使用者必須在那個群組裡。用 NRPE 或 SSH 時，腳本在有 store 的那台主機上執行。&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;p&gt;&lt;strong&gt;把 Nagios 外掛當成檢查：&lt;code&gt;emfor-exec.sh&lt;/code&gt;。&lt;/strong&gt; emfor 的 &lt;a class=&#34;link&#34; href=&#34;../04-health-checks/#exec&#34; &gt;&lt;code&gt;exec&lt;/code&gt; 檢查&lt;/a&gt;不經 shell 啟動程式，並把 backend 放在環境變數（&lt;code&gt;EMFOR_IP&lt;/code&gt;、&lt;code&gt;EMFOR_PORT&lt;/code&gt;），所以設定檔裡沒辦法給外掛 &lt;code&gt;-H $EMFOR_IP&lt;/code&gt;。&lt;code&gt;emfor-exec.sh&lt;/code&gt; 就是做這件事並執行外掛：&lt;/p&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;&#34;&gt;&lt;code class=&#34;language-toml&#34; data-lang=&#34;toml&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;[&lt;span style=&#34;color:#a6e22e&#34;&gt;services&lt;/span&gt;.&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;web.svc.emfor&amp;#34;&lt;/span&gt;]&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;check&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;exec&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;backends&lt;/span&gt; = [&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;10.0.0.11:80&amp;#34;&lt;/span&gt;, &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;10.0.0.12:80&amp;#34;&lt;/span&gt;]&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;interval&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;10s&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;timeout&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;5s&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;check_options&lt;/span&gt; = { &lt;span style=&#34;color:#a6e22e&#34;&gt;command&lt;/span&gt; = [&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;/usr/local/libexec/emfor-exec.sh&amp;#34;&lt;/span&gt;,&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;    &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;/usr/local/libexec/nagios/check_http&amp;#34;&lt;/span&gt;, &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;-u&amp;#34;&lt;/span&gt;, &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;/healthz&amp;#34;&lt;/span&gt;] }&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;它執行 &lt;code&gt;check_http -H &amp;lt;ip&amp;gt; -p &amp;lt;port&amp;gt; -u /healthz&lt;/code&gt;，並回傳外掛的結束狀態；外掛用別的旗標時，用 &lt;code&gt;--host-flag&lt;/code&gt; 與 &lt;code&gt;--port-flag&lt;/code&gt; 換掉。emfor 怎麼看這個結果：0 是 up，&lt;strong&gt;1（WARNING）是 down&lt;/strong&gt;，2（CRITICAL）是 down，3（UNKNOWN）是 error：狀態一開始不變，只有連續 error 超過 &lt;code&gt;fall&lt;/code&gt; x &lt;code&gt;interval&lt;/code&gt; 之後才變成 &lt;code&gt;unknown&lt;/code&gt;（&lt;a class=&#34;link&#34; href=&#34;../04-health-checks/#risefall-%e8%88%87-error&#34; &gt;第 4 章&lt;/a&gt;）；外掛輸出的第一行是 reason，在 &lt;code&gt;timeout&lt;/code&gt; 內沒有結束的外掛是 down。&lt;code&gt;--warning up&lt;/code&gt; 把 WARNING 當成 up。每個 backend 的每次檢查都會啟動一個行程，所以選 &lt;code&gt;interval&lt;/code&gt; 時要把這點算進去（&lt;a class=&#34;link&#34; href=&#34;../04-health-checks/#exec&#34; &gt;第 4 章&lt;/a&gt;）。&lt;/p&gt;&#xA;&lt;p&gt;&lt;code&gt;tests/nagios/run.sh&lt;/code&gt; 在 Docker 裡檢查這兩支腳本，外掛用一個替身，它依檔案內容說 ok、warn、crit、unknown 或 hang。沒試過：Monitoring Plugins 或 Nagios Plugins 套件裡的真正外掛、Nagios 或 Icinga 本體、NRPE、Zabbix（它的 &lt;code&gt;UserParameter&lt;/code&gt; 可以執行 &lt;code&gt;check_emfor.sh&lt;/code&gt; 並取用它的文字）、FreeBSD。&lt;/p&gt;&#xA;&lt;h2 id=&#34;執行多個-daemon&#34;&gt;執行多個 daemon&#xA;&lt;/h2&gt;&lt;p&gt;每個 store 只有一個寫入者：daemon 鎖住 &lt;code&gt;&amp;lt;store&amp;gt;.writer&lt;/code&gt;，使用相同 &lt;code&gt;[store] path&lt;/code&gt; 的第二個 daemon 會以 1 結束。要在同一台主機上執行兩個 daemon（測試用），請給它們不同的 store 路徑、DNS port 與 metrics port。&lt;/p&gt;&#xA;&lt;h2 id=&#34;升級&#34;&gt;升級&#xA;&lt;/h2&gt;&lt;p&gt;從同一個發行版安裝 daemon 與所有 client 函式庫，順序如下：&lt;/p&gt;&#xA;&lt;ol&gt;&#xA;&lt;li&gt;升級主機上的 client 函式庫（以及 &lt;code&gt;emfor status&lt;/code&gt;），並重新啟動應用程式讓它們載入新的函式庫：執行中的應用程式一直用它啟動時載入的那一版。比 daemon 舊的 client 可能每次查詢都以 &lt;code&gt;INCOMPATIBLE&lt;/code&gt; 失敗（0.4.0 起 store 格式是版本 2，見 &lt;a class=&#34;link&#34; href=&#34;../06-clients/#store-%e6%a0%bc%e5%bc%8f%e7%89%88%e6%9c%ac&#34; &gt;store 格式版本&lt;/a&gt;），而且較舊的 client 仍可能在 open service 的最後一層選到被 drain 的 backend（&lt;a class=&#34;link&#34; href=&#34;../05-backend-selection/#drain-%e4%b8%80%e5%80%8b-backend&#34; &gt;drain 一個 backend&lt;/a&gt;）。&lt;/li&gt;&#xA;&lt;li&gt;重新啟動之前，先用新的 binary 執行 &lt;code&gt;emfor check-config&lt;/code&gt;。0.5.0 會拒絕 0.4.0 接受的選項（高於 &lt;code&gt;24h&lt;/code&gt; 的 &lt;code&gt;interval&lt;/code&gt;、低於 &lt;code&gt;10ms&lt;/code&gt; 的 &lt;code&gt;timeout&lt;/code&gt; 等，見 &lt;a class=&#34;link&#34; href=&#34;https://github.com/embark-systems/emfor/blob/v0.6.0/CHANGELOG.md&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;&#xA;    &gt;CHANGELOG.md&lt;/a&gt;）。設定無效時，&lt;code&gt;systemctl restart emfor&lt;/code&gt; 會讓 daemon 停著（啟動前的檢查失敗，unit 最後是 &lt;code&gt;failed&lt;/code&gt;，要 &lt;code&gt;systemctl reset-failed emfor&lt;/code&gt; 才能再啟動）：見 daemon 指南的 &lt;a class=&#34;link&#34; href=&#34;https://github.com/embark-systems/emfor/blob/v0.6.0/docs/deploy/daemon.md#running-under-systemd&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;&#xA;    &gt;Restarts&lt;/a&gt;。&lt;/li&gt;&#xA;&lt;li&gt;安裝 daemon 並重新啟動。&lt;/li&gt;&#xA;&lt;/ol&gt;&#xA;&lt;p&gt;會改變做法的版本說明：0.4.0 寫入 store 格式版本 2，並預設加密 peer 訊息（聯防群組一台一台升級，升級時先設 &lt;code&gt;encrypt = false&lt;/code&gt;，見&lt;a class=&#34;link&#34; href=&#34;#%e8%81%af%e9%98%b2%e7%be%a4%e7%b5%84&#34; &gt;聯防群組&lt;/a&gt;）；0.5.0 更嚴格地驗證設定。&lt;/p&gt;&#xA;&lt;p&gt;重新啟動之後，已經在用新函式庫的應用程式會跟上重新啟動後 daemon 的 store，不必再重新啟動。&lt;/p&gt;&#xA;&lt;h3 id=&#34;重新啟動時應用程式會看到什麼&#34;&gt;重新啟動時應用程式會看到什麼&#xA;&lt;/h3&gt;&lt;p&gt;查詢從不等待 daemon：它一定從 store 得到答案。但重新啟動前後有一小段時間，store 分不出好的和壞的 backend：&lt;/p&gt;&#xA;&lt;ul&gt;&#xA;&lt;li&gt;&lt;strong&gt;daemon 停止期間。&lt;/strong&gt; 正常停止後 store 立刻是 stale（heartbeat 為 0）；被 kill 的話，client 會再相信舊狀態最多 3 秒，之後才視為 stale。stale 的 store 裡每個 backend 都是候選：&lt;code&gt;open&lt;/code&gt; 服務回任何一個，&lt;code&gt;closed&lt;/code&gt; 服務以 &lt;code&gt;ALL_DOWN&lt;/code&gt; 失敗。&lt;/li&gt;&#xA;&lt;li&gt;&lt;strong&gt;啟動後的最初 0.2 到 0.4 秒。&lt;/strong&gt; daemon 把每個 backend 標成 &lt;code&gt;unknown&lt;/code&gt;，並大約每 200 ms 檢查一次。在第一批結果出來之前，它們全都是候選：&lt;code&gt;open&lt;/code&gt; 回任何一個 backend，&lt;code&gt;closed&lt;/code&gt; 在它的某個 backend 變成 healthy 之前以 &lt;code&gt;ALL_DOWN&lt;/code&gt; 失敗。&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;p&gt;實測方式是 daemon 立刻再啟動（SIGTERM 之後、SIGKILL 之後各測）：每種情況重複 20 次，一台主機（Debian 容器）、loopback、預設設定的 &lt;code&gt;tcp&lt;/code&gt; 檢查、兩個服務各有四個 backend 且其中兩個是壞的，client 每毫秒查詢一次。最後一個錯誤答案出現在訊號後約 0.25 秒（中位數；最久約 0.4 秒）。在這段時間裡，&lt;code&gt;open&lt;/code&gt; 的答案有一半是壞掉的 backend，每次 &lt;code&gt;closed&lt;/code&gt; 查詢都以 &lt;code&gt;ALL_DOWN&lt;/code&gt; 失敗。範例 systemd unit 每次啟動前會執行的 &lt;code&gt;emfor check-config&lt;/code&gt; 約 1 ms。daemon 停了 2 秒的話，這段時間是 2.2 到 2.4 秒。backend 全部正常的服務不受影響，因為這時任何一個 backend 都是好答案。其他硬體、網路、interval 與檢查會得到不同的數字。&lt;/p&gt;&#xA;&lt;p&gt;可以這樣處理：&lt;/p&gt;&#xA;&lt;ul&gt;&#xA;&lt;li&gt;主機在 load balancer 後面時，先把它移出 rotation，等進行中的請求結束再重新啟動，等 &lt;code&gt;emfor status&lt;/code&gt; 的結束代碼為 0（daemon 正在執行，且顯示的每個服務都有健康的 backend；見 &lt;a class=&#34;link&#34; href=&#34;#emfor-status&#34; &gt;emfor status&lt;/a&gt;）再放回去。不經過 load balancer 的工作（批次工作、queue worker、會重新連線的連線池）在重新啟動期間仍會查詢。&lt;/li&gt;&#xA;&lt;li&gt;設定 &lt;code&gt;on_all_down = &amp;quot;closed&amp;quot;&lt;/code&gt; 的服務、使用 &lt;code&gt;failover&lt;/code&gt; 而第一個 backend 是壞的服務，以及有備援 backend 的服務，受影響最大；使用它們的主機請照上面的方式做。&lt;/li&gt;&#xA;&lt;li&gt;先安裝新的套件，再重新啟動。不要「停止 daemon、安裝、再啟動」：那樣空窗就和安裝一樣長。&lt;/li&gt;&#xA;&lt;li&gt;一次只重新啟動一台主機。&lt;/li&gt;&#xA;&lt;li&gt;只改設定不需要重新啟動：用 reload，檢查沒有改變的 backend 會保留狀態（見 &lt;a class=&#34;link&#34; href=&#34;../03-configuration/#reload-%e6%9c%83%e6%94%b9%e8%ae%8a%e4%bb%80%e9%ba%bc&#34; &gt;reload 會改變什麼&lt;/a&gt;）。&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;p&gt;&lt;strong&gt;從 0.1.x 升級到 0.2.0&lt;/strong&gt;：daemon 現在要用指令啟動。重新啟動前先修改服務定義：&lt;/p&gt;&#xA;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;0.1.x&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;0.2.0&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;emfor --config X&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;emfor server --config X&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;emfor --check-config --config X&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;emfor check-config --config X&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;p&gt;store 格式與 plugin 協定沒有改變。請以新的範例取代 0.1.x 版 systemd unit 與 rc.d script 的複本。所有變更見 &lt;a class=&#34;link&#34; href=&#34;https://github.com/embark-systems/emfor/blob/v0.6.0/CHANGELOG.md&#34;  target=&#34;_blank&#34; rel=&#34;noopener&#34;&#xA;    &gt;CHANGELOG.md&lt;/a&gt;。&lt;/p&gt;&#xA;</description>
        </item><item>
            <title>9. 疑難排解</title>
            <link>https://embark.systems/emfor/09-troubleshooting/</link>
            <pubDate>Mon, 01 Jan 0001 00:00:00 +0000</pubDate>
            <guid>https://embark.systems/emfor/09-troubleshooting/</guid>
            <description>&lt;p&gt;先執行 &lt;code&gt;emfor status&lt;/code&gt;：它顯示 daemon 是否在執行、每個 backend 的狀態，以及最近一次失敗檢查的 reason。接著看 daemon 的 log（&lt;code&gt;journalctl -u emfor&lt;/code&gt;，FreeBSD 上看 syslog）。&lt;/p&gt;&#xA;&lt;h2 id=&#34;daemon-無法啟動&#34;&gt;daemon 無法啟動&#xA;&lt;/h2&gt;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;訊息或結束代碼&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;原因&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;處理&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;結束代碼 2，列出設定錯誤&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;設定無效。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;emfor check-config&lt;/code&gt; 會列出每個錯誤與其 TOML 路徑。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;結束代碼 2，印出用法&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;沒有給指令（0.1.x 的用法）。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;使用 &lt;code&gt;emfor server&lt;/code&gt;。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;--check-config was replaced by &amp;quot;emfor check-config&amp;quot;&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;0.1.x 的命令列。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;見&lt;a class=&#34;link&#34; href=&#34;../08-operations/#%e5%8d%87%e7%b4%9a&#34; &gt;升級&lt;/a&gt;。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;結束代碼 1，指出某個位址&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;[dns]&lt;/code&gt; 或 &lt;code&gt;[metrics]&lt;/code&gt; 的 listen 位址已被使用，或需要權限（53 port）。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;釋放該 port，或改用其他 port。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;結束代碼 1，指出 &lt;code&gt;&amp;lt;store&amp;gt;.writer&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;已有另一個 emfor 使用這個 store。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;停止它，或改用其他 &lt;code&gt;[store] path&lt;/code&gt;。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;結束代碼 1，無法開啟 store&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;目錄不存在、daemon 的使用者無法寫入，或 lock 檔屬於其他使用者。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;以正確的擁有者建立目錄；見 &lt;a class=&#34;link&#34; href=&#34;#lock-%e6%aa%94%e5%b1%ac%e6%96%bc%e5%85%b6%e4%bb%96%e4%bd%bf%e7%94%a8%e8%80%85&#34; &gt;lock 檔屬於其他使用者&lt;/a&gt;。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;plugins.&amp;quot;x&amp;quot;.command: ...&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;plugin 無法啟動或沒有完成 handshake。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;手動執行該指令；檢查路徑與權限。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;h2 id=&#34;每次查詢都失敗&#34;&gt;每次查詢都失敗&#xA;&lt;/h2&gt;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;錯誤&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;原因&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;處理&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;UNAVAILABLE&lt;/code&gt;，檔案不存在&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;daemon 從未執行過，或 &lt;code&gt;EMFOR_STORE&lt;/code&gt; 與 &lt;code&gt;[store] path&lt;/code&gt; 不同。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;啟動 daemon；設定 &lt;code&gt;EMFOR_STORE&lt;/code&gt;。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;UNAVAILABLE&lt;/code&gt;，permission denied&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;應用程式使用者無法讀取 store 或無法寫入 &lt;code&gt;&amp;lt;store&amp;gt;-lock&lt;/code&gt;。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;見&lt;a class=&#34;link&#34; href=&#34;../08-operations/#%e8%aa%b0%e8%83%bd%e4%bd%bf%e7%94%a8-store&#34; &gt;誰能使用 store&lt;/a&gt;。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;UNAVAILABLE&lt;/code&gt;，提到 LMDB 格式或發行版&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;libemfor&lt;/code&gt; 與 daemon 來自不同的 emfor 發行版。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;兩者從同一發行版安裝。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;UNAVAILABLE&lt;/code&gt;，提到 &lt;code&gt;EMFOR_MAX_STALENESS&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;這個變數的值無效。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;使用整數加上 &lt;code&gt;ms&lt;/code&gt; 或 &lt;code&gt;s&lt;/code&gt;。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;UNAVAILABLE&lt;/code&gt;，提到 &lt;code&gt;truncated&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;store 檔比 LMDB 記錄的長度短：被原地修改過，或斷電時少了結尾。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;重啟 daemon，它會把檔案移到 &lt;code&gt;&amp;lt;store&amp;gt;.corrupt&lt;/code&gt; 並建立新的 store；不要原地修改 store（見&lt;a class=&#34;link&#34; href=&#34;../08-operations/#%e7%a3%81%e7%a2%9f%e4%b8%8a%e7%9a%84-store&#34; &gt;磁碟上的 store&lt;/a&gt;）。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;INCOMPATIBLE&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;store 的格式版本不同。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;安裝與 daemon 同一發行版的 client。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;NOT_FOUND&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;執行中的設定裡沒有這個名稱的服務。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;檢查拼字，並確認 reload 已套用（&lt;code&gt;emfor status&lt;/code&gt;）。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;h2 id=&#34;某個服務-all-down&#34;&gt;某個服務 ALL DOWN&#xA;&lt;/h2&gt;&lt;ol&gt;&#xA;&lt;li&gt;用 &lt;code&gt;emfor status --service &amp;lt;name&amp;gt;&lt;/code&gt; 看 reason。&lt;/li&gt;&#xA;&lt;li&gt;如果每個 backend 都是同樣看起來像本機問題的 reason（TLS、CA 檔、&lt;code&gt;connect: Network is unreachable&lt;/code&gt;），問題多半在檢查端主機，而不是 backend。&lt;/li&gt;&#xA;&lt;li&gt;如果 daemon 那一行顯示 &lt;code&gt;stale&lt;/code&gt; 或 &lt;code&gt;stopped&lt;/code&gt;，壞的不是 backend，而是 daemon。在它恢復執行之前，每個 &lt;code&gt;closed&lt;/code&gt; 的服務都會失敗。重新啟動它並查看 log。&lt;/li&gt;&#xA;&lt;li&gt;檢查 check 本身：從這台主機用 &lt;code&gt;curl&lt;/code&gt; 或 &lt;code&gt;nc&lt;/code&gt;，以相同的路徑、port 與選項連到 backend 試試。&lt;/li&gt;&#xA;&lt;/ol&gt;&#xA;&lt;h2 id=&#34;backend-反覆變化flapping&#34;&gt;backend 反覆變化（flapping）&#xA;&lt;/h2&gt;&lt;p&gt;&lt;code&gt;emfor status&lt;/code&gt; 中的 &lt;code&gt;FLAPPING&lt;/code&gt; 或 &lt;code&gt;EmforBackendFlapping&lt;/code&gt; 告警，表示在 healthy 與 unhealthy 之間頻繁變化。常見原因：&lt;code&gt;timeout&lt;/code&gt; 太接近 backend 平常的回應時間，或 backend 過載。調高 &lt;code&gt;timeout&lt;/code&gt;（最多到 &lt;code&gt;interval&lt;/code&gt;）、調高 &lt;code&gt;fall&lt;/code&gt; 與 &lt;code&gt;rise&lt;/code&gt;，或檢查 backend。&lt;code&gt;emfor status --history --service &amp;lt;name&amp;gt;&lt;/code&gt; 會顯示何時、為何變化。&lt;/p&gt;&#xA;&lt;h2 id=&#34;檢查結果是-error&#34;&gt;檢查結果是 error&#xA;&lt;/h2&gt;&lt;p&gt;&lt;code&gt;error&lt;/code&gt; 不改變 backend 的狀態，但 backend 只收到 error 達 &lt;code&gt;fall × interval&lt;/code&gt; 時會回到 &lt;code&gt;unknown&lt;/code&gt;。常見的 reason：&lt;/p&gt;&#xA;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;reason 開頭&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;原因&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;plugin &amp;lt;name&amp;gt; unavailable&lt;/code&gt;、&lt;code&gt;plugin exited&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;plugin 當掉、不再回應，或正在重新啟動；從 log 看它的結束狀態或 &lt;code&gt;stopped answering&lt;/code&gt;。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;plugin &amp;lt;name&amp;gt; busy: it is not reading its requests&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;plugin 不再讀 stdin，已有 1024 個請求在等它。連續 3 個請求沒有回應時它會被重新啟動；若持續出現，表示 plugin 卡在讀取請求的迴圈之外。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;plugin did not answer within timeout&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;plugin 太慢，或一次只處理一個檢查。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;password_file: &lt;/code&gt;、&lt;code&gt;ca_file: &lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;daemon 的使用者無法讀取該檔案。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;exit code N&lt;/code&gt;（exec，N 不是 1 或 2）&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;script 以預期外的方式失敗。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;p&gt;&lt;code&gt;emfor status --history&lt;/code&gt; 裡 reason 為 &lt;code&gt;check task restarted&lt;/code&gt;、變成 &lt;code&gt;unknown&lt;/code&gt; 的紀錄不是檢查結果：該 backend 的檢查 task 因為 bug 停止後被重新啟動，log 中會有一行 &lt;code&gt;check task of backend ... stopped&lt;/code&gt; 的錯誤。請附上那一行回報。原本就是 &lt;code&gt;unknown&lt;/code&gt; 的 backend 不會留下歷史紀錄，但在下一次檢查之前，&lt;code&gt;emfor status&lt;/code&gt; 會顯示同樣的 reason。&lt;/p&gt;&#xA;&lt;h2 id=&#34;dns-無法解析&#34;&gt;DNS 無法解析&#xA;&lt;/h2&gt;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;症狀&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;原因&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;處理&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;dig @127.0.0.1 -p 5300&lt;/code&gt; 沒有回應&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;沒有 &lt;code&gt;[dns]&lt;/code&gt; table，或 listen 位址不同。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;看 &lt;code&gt;emfor status&lt;/code&gt;（daemon 那一行會顯示 &lt;code&gt;dns ...&lt;/code&gt;）。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;REFUSED&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;名稱在 zone 之外，或查詢的 class 不是 &lt;code&gt;IN&lt;/code&gt;（&lt;code&gt;dig ... CH&lt;/code&gt;）。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;把服務命名在 zone 之下，或修改 &lt;code&gt;zone&lt;/code&gt;；以 class &lt;code&gt;IN&lt;/code&gt; 查詢。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;NXDOMAIN&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;沒有這個名稱的服務。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;檢查名稱。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;SERVFAIL&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;沒有健康的 backend 且 &lt;code&gt;on_all_down = &amp;quot;closed&amp;quot;&lt;/code&gt;；或會驗證的 unbound 沒有設定 &lt;code&gt;domain-insecure&lt;/code&gt;。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;見&lt;a class=&#34;link&#34; href=&#34;#%e6%9f%90%e5%80%8b%e6%9c%8d%e5%8b%99-all-down&#34; &gt;某個服務 ALL DOWN&lt;/a&gt;；修正 unbound 設定。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;直接查詢可以，&lt;code&gt;getent hosts&lt;/code&gt; 不行&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;主機的 resolver 沒有轉送這個 zone。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;照&lt;a class=&#34;link&#34; href=&#34;../07-dns/#%e5%be%9e%e4%b8%bb%e6%a9%9f%e7%9a%84-resolver-%e8%bd%89%e9%80%81&#34; &gt;第 7 章&lt;/a&gt;設定。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;故障的 backend 仍被回傳&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;resolver 或應用程式的快取。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;見&lt;a class=&#34;link&#34; href=&#34;../07-dns/#%e5%bf%ab%e5%8f%96&#34; &gt;快取&lt;/a&gt;。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;h2 id=&#34;daemon-在執行store-卻看起來過期&#34;&gt;daemon 在執行，store 卻看起來過期&#xA;&lt;/h2&gt;&lt;p&gt;&lt;code&gt;emfor status&lt;/code&gt; 顯示 &lt;code&gt;stale&lt;/code&gt;，或 client 的行為像是所有 backend 都 down 了，但 daemon 行程還活著：&lt;/p&gt;&#xA;&lt;ul&gt;&#xA;&lt;li&gt;&lt;code&gt;emfor_store_commit_failures_total&lt;/code&gt; 持續增加，log 中出現 &lt;code&gt;MDB_MAP_FULL&lt;/code&gt;：store 滿了。調高 &lt;code&gt;[store] map_size&lt;/code&gt; 並重新啟動。&lt;/li&gt;&#xA;&lt;li&gt;commit 因其他原因失敗：log 會說明。&lt;/li&gt;&#xA;&lt;li&gt;系統時鐘往前跳：在下一次 commit（約一秒後）之前，heartbeat 看起來會是舊的。&lt;/li&gt;&#xA;&lt;li&gt;有本機使用者持有 store 的寫入鎖（lock 檔可被寫入）；見&lt;a class=&#34;link&#34; href=&#34;../08-operations/#%e8%aa%b0%e8%83%bd%e4%bd%bf%e7%94%a8-store&#34; &gt;誰能使用 store&lt;/a&gt;。&lt;/li&gt;&#xA;&lt;/ul&gt;&#xA;&lt;h2 id=&#34;lock-檔屬於其他使用者&#34;&gt;lock 檔屬於其他使用者&#xA;&lt;/h2&gt;&lt;p&gt;如果 lock 檔 &lt;code&gt;&amp;lt;store&amp;gt;-lock&lt;/code&gt; 在應用程式執行期間被刪除，第一個開啟 store 的行程會以自己的身分重建它，而以另一個使用者執行的 daemon 可能就無法開啟 store。先停止應用程式，或修正該檔案的擁有者與權限（&lt;code&gt;chown emfor&lt;/code&gt;、&lt;code&gt;chmod&lt;/code&gt; 成 &lt;code&gt;lock_file_mode&lt;/code&gt;），再啟動 daemon。絕不要單獨刪除 lock 檔。&lt;/p&gt;&#xA;&lt;h2 id=&#34;reload-沒有生效&#34;&gt;reload 沒有生效&#xA;&lt;/h2&gt;&lt;p&gt;reload 是全有或全無。在 log 中找 &lt;code&gt;reload rejected&lt;/code&gt; 與錯誤訊息，或執行 &lt;code&gt;emfor check-config&lt;/code&gt;。&lt;code&gt;[store]&lt;/code&gt;、&lt;code&gt;[dns] listen&lt;/code&gt;、&lt;code&gt;[metrics] listen&lt;/code&gt; 與 &lt;code&gt;[peers] listen&lt;/code&gt; 的變更一定要重新啟動。&lt;/p&gt;&#xA;&lt;h2 id=&#34;重新啟動後成員互相丟棄訊息&#34;&gt;重新啟動後成員互相丟棄訊息&#xA;&lt;/h2&gt;&lt;p&gt;daemon 剛重新啟動後，&lt;code&gt;emfor_peer_messages_rejected_total{reason=&amp;quot;auth&amp;quot;}&lt;/code&gt; 上升，&lt;code&gt;emfor_peer_up&lt;/code&gt; 有一段時間變成 0：表示當時正在更換密鑰，而重新啟動的 daemon 只知道新密鑰。等每個成員的 &lt;code&gt;secret_file&lt;/code&gt; 都換成新密鑰後就會停止。設定 &lt;code&gt;[peers] previous_secret_file&lt;/code&gt; 可以避免（見 &lt;a class=&#34;link&#34; href=&#34;../03-configuration/#peers&#34; &gt;&lt;code&gt;[peers]&lt;/code&gt;&lt;/a&gt;）。其他原因見&lt;a class=&#34;link&#34; href=&#34;../08-operations/#%e8%81%af%e9%98%b2%e7%be%a4%e7%b5%84&#34; &gt;聯防群組&lt;/a&gt;。&lt;/p&gt;&#xA;</description>
        </item><item>
            <title>10. 從 HAProxy 或 Consul 搬過來</title>
            <link>https://embark.systems/emfor/10-migrating/</link>
            <pubDate>Mon, 01 Jan 0001 00:00:00 +0000</pubDate>
            <guid>https://embark.systems/emfor/10-migrating/</guid>
            <description>&lt;p&gt;這一章寫給已經用 HAProxy 或 Consul 讓應用程式避開壞掉的 backend、現在想知道同樣的工作在 emfor 裡長什麼樣子的人。它把兩者各一份看起來真實的設定翻成 &lt;code&gt;emfor.toml&lt;/code&gt;，說明哪些東西沒有對應，最後介紹一個不碰流量、與現有方案並排試用 emfor 的做法。&lt;/p&gt;&#xA;&lt;p&gt;請先讀&lt;a class=&#34;link&#34; href=&#34;../01-concepts/&#34; &gt;第 1 章&lt;/a&gt;：整個架構的樣貌差異很大，只靠逐行翻譯會誤導你。&lt;/p&gt;&#xA;&lt;h2 id=&#34;emfor-適合取代嗎&#34;&gt;emfor 適合取代嗎？&#xA;&lt;/h2&gt;&lt;p&gt;HAProxy 與 Consul 做的事裡，emfor 只做一件：從應用程式所在的主機檢查一份固定的 backend 清單，並告訴應用程式該用哪一台。它不在流量的路徑上，也沒有中央伺服器。&lt;/p&gt;&#xA;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;HAProxy&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;Consul&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;emfor&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;流量走哪裡&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;經過 HAProxy（多一跳）&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;直接到 backend&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;直接到 backend&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;誰決定用哪個 backend&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;HAProxy，每條連線都由它決定&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;應用程式，依 DNS 的回答&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;應用程式，依本機 store（client 函式庫或 &lt;code&gt;emfor lookup&lt;/code&gt;）或 DNS 的回答&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;檢查在哪裡跑&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;在 HAProxy 裡&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;在執行該服務的節點上的 Consul agent&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;在每台應用程式主機上，對每個 backend 檢查&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;有哪些 backend&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;設定檔&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;服務自己註冊&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;每台主機的設定檔&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;中央伺服器&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;沒有&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;有（要有 quorum 的 server）&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;沒有&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;p&gt;所以 emfor 適合的情況是：backend 是已知的一份位址清單（虛擬機、實體機、資料庫、AAA server），而且應用程式能問 emfor 該連哪裡：用 client 函式庫、用 shell 指令，或透過 DNS。&lt;/p&gt;&#xA;&lt;p&gt;它取代不了 proxy 對流量本身做的事：最少連線、重試、排隊、TLS 終結、依 URL 或 header 路由、連線數限制，以及被動健康檢查（因為真實請求失敗而把 server 標成 down）。如果你需要這些，請保留 HAProxy，並看&lt;a class=&#34;link&#34; href=&#34;#%e6%b2%92%e6%9c%89%e5%b0%8d%e6%87%89%e7%9a%84%e6%9d%b1%e8%a5%bf&#34; &gt;沒有對應的東西&lt;/a&gt;。&lt;/p&gt;&#xA;&lt;h2 id=&#34;從-haproxy-搬過來&#34;&gt;從 HAProxy 搬過來&#xA;&lt;/h2&gt;&lt;p&gt;像這樣的 HAProxy backend：&lt;/p&gt;&#xA;&lt;pre tabindex=&#34;0&#34;&gt;&lt;code&gt;backend api&#xA;    balance roundrobin&#xA;    option httpchk GET /healthz&#xA;    http-check expect status 200&#xA;    default-server inter 2s fall 3 rise 2&#xA;    server api1 10.0.0.11:8080 check&#xA;    server api2 10.0.0.12:8080 check weight 3&#xA;    server api3 10.0.1.11:8080 check backup slowstart 30s&#xA;&lt;/code&gt;&lt;/pre&gt;&lt;p&gt;在 &lt;code&gt;emfor.toml&lt;/code&gt; 裡會變成這個服務：&lt;/p&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;&#34;&gt;&lt;code class=&#34;language-toml&#34; data-lang=&#34;toml&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;[&lt;span style=&#34;color:#a6e22e&#34;&gt;services&lt;/span&gt;.&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;api.svc.emfor&amp;#34;&lt;/span&gt;]&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;check&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;http&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;balance&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;weighted&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;interval&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;2s&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;fall&lt;/span&gt; = &lt;span style=&#34;color:#ae81ff&#34;&gt;3&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;rise&lt;/span&gt; = &lt;span style=&#34;color:#ae81ff&#34;&gt;2&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;slow_start&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;30s&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;backends&lt;/span&gt; = [&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;  &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;10.0.0.11:8080&amp;#34;&lt;/span&gt;,&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;  { &lt;span style=&#34;color:#a6e22e&#34;&gt;addr&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;10.0.0.12:8080&amp;#34;&lt;/span&gt;, &lt;span style=&#34;color:#a6e22e&#34;&gt;weight&lt;/span&gt; = &lt;span style=&#34;color:#ae81ff&#34;&gt;3&lt;/span&gt; },&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;  { &lt;span style=&#34;color:#a6e22e&#34;&gt;addr&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;10.0.1.11:8080&amp;#34;&lt;/span&gt;, &lt;span style=&#34;color:#a6e22e&#34;&gt;backup&lt;/span&gt; = &lt;span style=&#34;color:#66d9ef&#34;&gt;true&lt;/span&gt; },&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;]&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;[&lt;span style=&#34;color:#a6e22e&#34;&gt;services&lt;/span&gt;.&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;api.svc.emfor&amp;#34;&lt;/span&gt;.&lt;span style=&#34;color:#a6e22e&#34;&gt;check_options&lt;/span&gt;]&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;path&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;/healthz&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;expect_status&lt;/span&gt; = [&lt;span style=&#34;color:#ae81ff&#34;&gt;200&lt;/span&gt;]&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;逐行對照：&lt;/p&gt;&#xA;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;HAProxy&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;emfor&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;說明&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;backend api&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;[services.&amp;quot;api.svc.emfor&amp;quot;]&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;服務名稱是類似主機名稱的字串，同時也是 DNS 名稱（&lt;a class=&#34;link&#34; href=&#34;../03-configuration/#servicesname&#34; &gt;第 3 章&lt;/a&gt;）。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;server api1 10.0.0.11:8080&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;backends&lt;/code&gt; 的一個項目&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;只能寫 IP 位址，不能寫主機名稱：emfor 不依賴 DNS 去找它的 backend。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;check&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;check = &amp;quot;http&amp;quot;&lt;/code&gt;（或 &lt;code&gt;&amp;quot;tcp&amp;quot;&lt;/code&gt;）&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;整個服務共用一個 &lt;code&gt;check&lt;/code&gt;。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;inter 2s&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;interval = &amp;quot;2s&amp;quot;&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;預設都是 2 秒。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;fall 3&lt;/code&gt; / &lt;code&gt;rise 2&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;fall = 3&lt;/code&gt; / &lt;code&gt;rise = 2&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;預設分別都是 3 與 2（&lt;a class=&#34;link&#34; href=&#34;../04-health-checks/#risefall-%e8%88%87-error&#34; &gt;rise、fall 與 error&lt;/a&gt;）。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;option httpchk GET /healthz&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;path = &amp;quot;/healthz&amp;quot;&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;emfor 一律送 &lt;code&gt;GET&lt;/code&gt;。HAProxy 不帶參數時送 &lt;code&gt;OPTIONS /&lt;/code&gt;；emfor 不設 &lt;code&gt;path&lt;/code&gt; 就送 &lt;code&gt;GET /&lt;/code&gt;（&lt;a class=&#34;link&#34; href=&#34;../04-health-checks/#http&#34; &gt;http 檢查&lt;/a&gt;）。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;http-check expect status 200&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;expect_status = [200]&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;沒有設的話，200 到 399 的狀態碼都算 &lt;code&gt;up&lt;/code&gt;；HAProxy 的預設也接受 2xx 與 3xx。範圍寫成 &lt;code&gt;&amp;quot;200-299&amp;quot;&lt;/code&gt;。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;http-check send ... hdr Host x&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;host_header = &amp;quot;x&amp;quot;&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;只能設 &lt;code&gt;Host&lt;/code&gt; header。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;weight 3&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;{ addr = &amp;quot;...&amp;quot;, weight = 3 }&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;1 到 100，而且只有 &lt;code&gt;balance = &amp;quot;weighted&amp;quot;&lt;/code&gt;（以及有 key 的 &lt;code&gt;sticky&lt;/code&gt;）會用到。HAProxy 的權重最高到 256，0 表示把 server 拿掉：emfor 會拒絕 &lt;code&gt;weight = 0&lt;/code&gt; 與 &lt;code&gt;weight = 256&lt;/code&gt;（&lt;code&gt;weight must be from 1 to 100&lt;/code&gt;），所以請把權重重新換算到 1 至 100，要表示 0 就用 &lt;code&gt;drain = true&lt;/code&gt;（見最後一個表）。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;backup&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;backup = true&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;只有在沒有其他 backend 通過檢查時才會用到備援（&lt;a class=&#34;link&#34; href=&#34;../05-backend-selection/#%e5%82%99%e6%8f%b4-backend&#34; &gt;備援 backend&lt;/a&gt;）。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;slowstart 30s&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;slow_start = &amp;quot;30s&amp;quot;&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;恢復的 backend 會分到逐漸增加的流量，分十個階段（&lt;a class=&#34;link&#34; href=&#34;../05-backend-selection/#%e6%85%a2%e5%95%9f%e5%8b%95slow-start&#34; &gt;慢啟動&lt;/a&gt;）。設在服務上，不是設在單一 backend。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;balance roundrobin&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;balance = &amp;quot;round-robin&amp;quot;&lt;/code&gt; 或 &lt;code&gt;&amp;quot;weighted&amp;quot;&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;HAProxy 的 round robin 會考慮權重；emfor 的 &lt;code&gt;round-robin&lt;/code&gt; 不會。用了權重就要用 &lt;code&gt;weighted&lt;/code&gt;。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;balance first&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;balance = &amp;quot;failover&amp;quot;&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;依設定順序取第一台健康的 backend。沒設 &lt;code&gt;maxconn&lt;/code&gt; 時 HAProxy 的 &lt;code&gt;first&lt;/code&gt; 做的事相同；設了的話，第一台滿了它就換下一台，emfor 沒有連線數限制。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;balance source&lt;/code&gt;、&lt;code&gt;balance uri&lt;/code&gt;、&lt;code&gt;balance hdr&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;balance = &amp;quot;sticky&amp;quot;&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;key 由應用程式提供：&lt;code&gt;lookup(name, key)&lt;/code&gt;。同一個 key 在 backend 健康時會得到同一台（&lt;a class=&#34;link&#34; href=&#34;../05-backend-selection/&#34; &gt;第 5 章&lt;/a&gt;）。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;balance leastconn&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;無&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;emfor 看不到連線數；見下面。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;check port 8081&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;無&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;emfor 檢查的是 backend 自己的位址與 port。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;agent-check&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;plugin 或 &lt;code&gt;exec&lt;/code&gt; 檢查&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;沒有 agent 協定；把檢查寫成 &lt;a class=&#34;link&#34; href=&#34;../04-health-checks/#exec&#34; &gt;plugin 或 &lt;code&gt;exec&lt;/code&gt; 檢查&lt;/a&gt;。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;maxconn&lt;/code&gt;、排隊、&lt;code&gt;observe layer7&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;無&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;見下面。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;p&gt;接著，應用程式改成連 emfor 告訴它的位址，而不是連 HAProxy。挑適合它的方式：&lt;/p&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;&#34;&gt;&lt;code class=&#34;language-console&#34; data-lang=&#34;console&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;$ emfor lookup api.svc.emfor&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;10.0.0.11:8080&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;$ curl &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;http://&lt;/span&gt;&lt;span style=&#34;color:#66d9ef&#34;&gt;$(&lt;/span&gt;emfor lookup api.svc.emfor&lt;span style=&#34;color:#66d9ef&#34;&gt;)&lt;/span&gt;&lt;span style=&#34;color:#e6db74&#34;&gt;/healthz&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;或是用它那個語言的 client 函式庫（&lt;a class=&#34;link&#34; href=&#34;../06-clients/&#34; &gt;第 6 章&lt;/a&gt;），或是 DNS 名稱 &lt;code&gt;api.svc.emfor&lt;/code&gt;：這要在設定檔加上 &lt;code&gt;[dns]&lt;/code&gt; table（上面的範例沒有，而且有這個 table 才會啟動 DNS server），並讓主機的 resolver 轉送那個 zone（&lt;a class=&#34;link&#34; href=&#34;../07-dns/&#34; &gt;第 7 章&lt;/a&gt;）。要知道的限制：A 與 AAAA 回答不帶 port，所以 port 要由應用程式自己保管（或改問 SRV）；會快取答案的 runtime 或 resolver 會讓改動晚一個快取時間才生效（&lt;a class=&#34;link&#34; href=&#34;../07-dns/#%e5%bf%ab%e5%8f%96&#34; &gt;快取&lt;/a&gt;）；而 &lt;code&gt;emfor lookup&lt;/code&gt; 是一個每個行程印出一個 backend 的指令，所以連到 &lt;code&gt;$(emfor lookup ...)&lt;/code&gt; 的程式需要一個小的 wrapper，每次連線都執行一次（&lt;a class=&#34;link&#34; href=&#34;../06-clients/#%e5%be%9e-shell-%e6%9f%a5%e8%a9%a2emfor-lookup&#34; &gt;第 6 章&lt;/a&gt;）。&lt;/p&gt;&#xA;&lt;h3 id=&#34;與-haproxy-並排試用&#34;&gt;與 HAProxy 並排試用&#xA;&lt;/h3&gt;&lt;p&gt;emfor 不碰流量，所以可以先在 HAProxy 旁邊跑：&lt;/p&gt;&#xA;&lt;ol&gt;&#xA;&lt;li&gt;把服務寫進 &lt;code&gt;emfor.toml&lt;/code&gt;（用 deb 或 rpm 時，寫進 &lt;code&gt;/etc/emfor/conf.d/&lt;/code&gt; 的檔案，套件的主設定檔會讀那裡），用 &lt;code&gt;emfor check-config&lt;/code&gt; 檢查設定。&lt;/li&gt;&#xA;&lt;li&gt;啟動 daemon（deb 在安裝時就已啟動；改了檔案之後用 &lt;code&gt;systemctl reload emfor&lt;/code&gt;），把 &lt;code&gt;emfor status&lt;/code&gt; 與 HAProxy 的 stats 頁面比對：健康與不健康的 backend 應該相同，&lt;code&gt;emfor status&lt;/code&gt; 裡的 reason 會說明檢查為什麼失敗。&lt;/li&gt;&#xA;&lt;li&gt;用 &lt;code&gt;emfor lookup api.svc.emfor --explain&lt;/code&gt; 看應用程式會拿到什麼、為什麼（&lt;a class=&#34;link&#34; href=&#34;../06-clients/#%e5%be%9e-shell-%e6%9f%a5%e8%a9%a2emfor-lookup&#34; &gt;第 6 章&lt;/a&gt;）。&lt;/li&gt;&#xA;&lt;li&gt;一次只把一個應用程式搬到 emfor，同時看 &lt;a class=&#34;link&#34; href=&#34;../08-operations/#metrics&#34; &gt;metrics&lt;/a&gt; 與 &lt;code&gt;emfor status --watch&lt;/code&gt;。&lt;/li&gt;&#xA;&lt;li&gt;等到沒有任何應用程式再使用某個 backend 時，才把它從 HAProxy 的設定移除。&lt;/li&gt;&#xA;&lt;/ol&gt;&#xA;&lt;h3 id=&#34;保留-haproxy讓-emfor-提供它的清單&#34;&gt;保留 HAProxy，讓 emfor 提供它的清單&#xA;&lt;/h3&gt;&lt;p&gt;你不一定要搬應用程式。HAProxy 可以繼續處理流量，保有它的重試、排隊、TLS 與路由，只是改從 emfor 的 SRV 回答取得 server 清單，讓 emfor 的檢查決定誰在清單裡（設定寫在&lt;a class=&#34;link&#34; href=&#34;../07-dns-recipes/#%e6%90%ad%e9%85%8d-haproxy-%e4%bd%bf%e7%94%a8&#34; &gt;第 7 章的 HAProxy&lt;/a&gt;：一個 &lt;code&gt;server-template&lt;/code&gt;，加上指向 emfor DNS server 的 &lt;code&gt;resolvers&lt;/code&gt;，所以設定檔需要 &lt;code&gt;[dns]&lt;/code&gt; table，服務名稱也必須在它的 zone 之下）。你得到的是：任何 emfor 的檢查（例如資料庫 plugin）取代 &lt;code&gt;check&lt;/code&gt; 來決定健康，&lt;code&gt;drain = true&lt;/code&gt; 只要 reload emfor 就能把 server 拿掉、不必 reload HAProxy，而且每台主機上的&lt;a class=&#34;link&#34; href=&#34;../03-configuration/#peers&#34; &gt;聯防群組&lt;/a&gt;可以對 backend 投票。&lt;/p&gt;&#xA;&lt;p&gt;沒有跟過來的部分，以 HAProxy 3.4.7 與 2.8.31 試過的為準：HAProxy 忽略回答裡的 priority 與 weight，所以 &lt;code&gt;failover&lt;/code&gt;、&lt;code&gt;weighted&lt;/code&gt; 與 &lt;code&gt;backup = true&lt;/code&gt; 在那裡沒有作用（請保留 HAProxy 自己的 &lt;code&gt;backup&lt;/code&gt; 與 &lt;code&gt;weight&lt;/code&gt;）；template 的 slot 數限制了 backend 的數量；而 &lt;code&gt;SERVFAIL&lt;/code&gt; 之後 HAProxy 會在 &lt;code&gt;hold other&lt;/code&gt;（預設 30 秒）之後丟掉它的 server 並回 503。每個 HAProxy 只用一個 name server，就是同一台主機上的 emfor。沒有試過：超過 27 個 backend 走 UDP，以及長時間執行。&lt;/p&gt;&#xA;&lt;h2 id=&#34;從-consul-搬過來&#34;&gt;從 Consul 搬過來&#xA;&lt;/h2&gt;&lt;p&gt;一個帶 HTTP 檢查的 Consul 服務，由執行它的節點上的 agent 註冊：&lt;/p&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;&#34;&gt;&lt;code class=&#34;language-hcl&#34; data-lang=&#34;hcl&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#66d9ef&#34;&gt;service&lt;/span&gt; {&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;  name &lt;span style=&#34;color:#f92672&#34;&gt;=&lt;/span&gt; &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;api&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;  port &lt;span style=&#34;color:#f92672&#34;&gt;=&lt;/span&gt; &lt;span style=&#34;color:#ae81ff&#34;&gt;8080&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;  &lt;span style=&#34;color:#66d9ef&#34;&gt;check&lt;/span&gt; {&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;    http                     &lt;span style=&#34;color:#f92672&#34;&gt;=&lt;/span&gt; &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;http://localhost:8080/healthz&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;    interval                 &lt;span style=&#34;color:#f92672&#34;&gt;=&lt;/span&gt; &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;10s&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;    timeout                  &lt;span style=&#34;color:#f92672&#34;&gt;=&lt;/span&gt; &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;1s&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;    success_before_passing   &lt;span style=&#34;color:#f92672&#34;&gt;=&lt;/span&gt; &lt;span style=&#34;color:#ae81ff&#34;&gt;2&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;    failures_before_critical &lt;span style=&#34;color:#f92672&#34;&gt;=&lt;/span&gt; &lt;span style=&#34;color:#ae81ff&#34;&gt;3&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;  }&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;}&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;同樣的工作在 emfor 裡，是一個列出各個節點的服務，由提出查詢的那台主機去檢查它們：&lt;/p&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;&#34;&gt;&lt;code class=&#34;language-toml&#34; data-lang=&#34;toml&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;[&lt;span style=&#34;color:#a6e22e&#34;&gt;services&lt;/span&gt;.&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;api.service.consul&amp;#34;&lt;/span&gt;]&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;check&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;http&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;interval&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;10s&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;timeout&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;1s&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;rise&lt;/span&gt; = &lt;span style=&#34;color:#ae81ff&#34;&gt;2&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;fall&lt;/span&gt; = &lt;span style=&#34;color:#ae81ff&#34;&gt;3&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;backends&lt;/span&gt; = [&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;10.0.0.11:8080&amp;#34;&lt;/span&gt;, &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;10.0.0.12:8080&amp;#34;&lt;/span&gt;, &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;10.0.1.11:8080&amp;#34;&lt;/span&gt;]&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;[&lt;span style=&#34;color:#a6e22e&#34;&gt;services&lt;/span&gt;.&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;api.service.consul&amp;#34;&lt;/span&gt;.&lt;span style=&#34;color:#a6e22e&#34;&gt;check_options&lt;/span&gt;]&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;path&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;/healthz&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;expect_status&lt;/span&gt; = [&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;200-299&amp;#34;&lt;/span&gt;]&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;[&lt;span style=&#34;color:#a6e22e&#34;&gt;dns&lt;/span&gt;]&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;zone&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;service.consul&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;服務叫 &lt;code&gt;api.service.consul&lt;/code&gt;，zone 是 &lt;code&gt;service.consul&lt;/code&gt;，所以只要主機的 resolver 把那個 zone 轉送給 emfor 而不是 Consul（&lt;a class=&#34;link&#34; href=&#34;../07-dns/&#34; &gt;第 7 章&lt;/a&gt;），查 &lt;code&gt;api.service.consul&lt;/code&gt; 的程式就照舊能用。（你也可以保留 emfor 自己的 zone &lt;code&gt;svc.emfor&lt;/code&gt;，改用新的名稱。）&lt;/p&gt;&#xA;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;Consul&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;emfor&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;說明&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;service { name, port }&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;一個服務與它的 &lt;code&gt;backends&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;沒有註冊這回事：backend 清單寫在每台主機的設定檔裡，由安裝設定的工具（Ansible、Puppet、範本）產生。新增節點就是改檔案再 reload（&lt;a class=&#34;link&#34; href=&#34;../03-configuration/#reload-%e6%9c%83%e6%94%b9%e8%ae%8a%e4%bb%80%e9%ba%bc&#34; &gt;reload 會改變什麼&lt;/a&gt;）。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;check { http = ... }&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;check = &amp;quot;http&amp;quot;&lt;/code&gt; 與 &lt;code&gt;check_options&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;URL 被拆開：位址是 backend 的，路徑是 &lt;code&gt;path&lt;/code&gt;。Consul 的檢查通常在節點本機跑（&lt;code&gt;localhost&lt;/code&gt;）；emfor 是從應用程式主機連到 backend 的位址，所以防火牆要放行。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;check { tcp = ... }&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;check = &amp;quot;tcp&amp;quot;&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;check { grpc = ... }&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;emfor-check&lt;/code&gt; 的 &lt;code&gt;grpc&lt;/code&gt; plugin&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;見 &lt;a class=&#34;link&#34; href=&#34;../04-health-checks/#plugin-%e8%88%87-emfor-check&#34; &gt;plugin&lt;/a&gt;。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;check { args = [...] }&lt;/code&gt;（script）&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;check = &amp;quot;exec&amp;quot;&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;interval&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;interval&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;Consul 沒有預設值；emfor 的預設是 2 秒。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;timeout&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;timeout&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;Consul 對 HTTP 與 TCP 的預設是 10 秒；emfor 的是 1 秒，而且不能超過 &lt;code&gt;interval&lt;/code&gt;。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;success_before_passing&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;rise&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;Consul 的預設是 0，也就是第一個結果就決定。emfor 拒絕 &lt;code&gt;rise = 0&lt;/code&gt;（&lt;code&gt;rise must be at least 1&lt;/code&gt;）：&lt;code&gt;rise = 1&lt;/code&gt; 是同樣的效果，emfor 的預設是 2。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;failures_before_critical&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;fall&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;Consul 的預設是 0，也就是第一個結果就決定。emfor 拒絕 &lt;code&gt;fall = 0&lt;/code&gt;（&lt;code&gt;fall must be at least 1&lt;/code&gt;）：&lt;code&gt;fall = 1&lt;/code&gt; 是同樣的效果，emfor 的預設是 3。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;method&lt;/code&gt;、&lt;code&gt;header&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;無&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;emfor 送 &lt;code&gt;GET&lt;/code&gt;；header 只能設 &lt;code&gt;Host&lt;/code&gt;（&lt;code&gt;host_header&lt;/code&gt;）。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;tls_skip_verify = true&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;tls_verify = false&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;搭配 &lt;code&gt;scheme = &amp;quot;https&amp;quot;&lt;/code&gt;。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;狀態 &lt;code&gt;passing&lt;/code&gt;、&lt;code&gt;warning&lt;/code&gt;、&lt;code&gt;critical&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;healthy&lt;/code&gt;、&lt;code&gt;unhealthy&lt;/code&gt;、&lt;code&gt;unknown&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;Consul 的 HTTP 檢查在 200 到 299 為 &lt;code&gt;passing&lt;/code&gt;、429 為 &lt;code&gt;warning&lt;/code&gt;、其他為 &lt;code&gt;critical&lt;/code&gt;；emfor 沒有 &lt;code&gt;warning&lt;/code&gt;：用 &lt;code&gt;expect_status&lt;/code&gt; 設定你接受的狀態碼。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;status&lt;/code&gt;（初始為 &lt;code&gt;critical&lt;/code&gt;）&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;從 &lt;code&gt;unknown&lt;/code&gt; 開始&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;backend 通過 &lt;code&gt;rise&lt;/code&gt; 次檢查後才變成 &lt;code&gt;healthy&lt;/code&gt;；在那之前，&lt;code&gt;open&lt;/code&gt; 的服務仍會回傳一個位址（&lt;a class=&#34;link&#34; href=&#34;../05-backend-selection/#%e6%b2%92%e6%9c%89%e4%bb%bb%e4%bd%95-backend-%e5%81%a5%e5%ba%b7%e6%99%82&#34; &gt;第 5 章&lt;/a&gt;）。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;consul maint -enable&lt;/code&gt;、&lt;code&gt;enable_maintenance&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;backend 上的 &lt;code&gt;drain = true&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;然後 reload；見 &lt;a class=&#34;link&#34; href=&#34;../05-backend-selection/#drain-%e4%b8%80%e5%80%8b-backend&#34; &gt;drain 一個 backend&lt;/a&gt;。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;deregister_critical_service_after&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;無&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;清單是靜態的，沒有東西會把 backend 反註冊。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;TTL 與 alias 檢查&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;無&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;emfor 只執行它自己的檢查。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;api.service.consul&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;服務名稱，搭配 &lt;code&gt;[dns] zone&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;見上面。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;_api._tcp.service.consul&lt;/code&gt;（SRV）&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;_&amp;lt;任意&amp;gt;._tcp.&amp;lt;服務名稱&amp;gt;&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;emfor 的 SRV 名稱包含完整的服務名稱，例如 &lt;code&gt;_http._tcp.api.service.consul&lt;/code&gt;（&lt;a class=&#34;link&#34; href=&#34;../07-dns/&#34; &gt;第 7 章&lt;/a&gt;）。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;tag、datacenter&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;&lt;code&gt;site&lt;/code&gt; 與 &lt;code&gt;balance = &amp;quot;locality&amp;quot;&lt;/code&gt;&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;backend 可以有 &lt;code&gt;site&lt;/code&gt;，主機會優先選自己 site 的 backend（&lt;a class=&#34;link&#34; href=&#34;../05-backend-selection/&#34; &gt;第 5 章&lt;/a&gt;）。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;p&gt;Consul 會讀一個放服務檔案的目錄，一個服務一個檔案。emfor 用 &lt;code&gt;include_dir&lt;/code&gt; 也能這樣做：把 &lt;code&gt;include_dir = &amp;quot;conf.d&amp;quot;&lt;/code&gt; 寫在 &lt;code&gt;emfor.toml&lt;/code&gt; 的第一行、任何 table 之前（寫在 &lt;code&gt;[dns]&lt;/code&gt; 之後會是錯誤，&lt;code&gt;dns.include_dir: unknown key&lt;/code&gt;），建立那個目錄，再在裡面一個服務放一個檔案，例如 &lt;code&gt;/etc/emfor/conf.d/10-web.toml&lt;/code&gt;：&lt;/p&gt;&#xA;&lt;div class=&#34;highlight&#34;&gt;&lt;pre tabindex=&#34;0&#34; style=&#34;color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;-webkit-text-size-adjust:none;&#34;&gt;&lt;code class=&#34;language-toml&#34; data-lang=&#34;toml&#34;&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;[&lt;span style=&#34;color:#a6e22e&#34;&gt;services&lt;/span&gt;.&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;web.svc.emfor&amp;#34;&lt;/span&gt;]&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;check&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;http&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;backends&lt;/span&gt; = [&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;10.0.0.21:8080&amp;#34;&lt;/span&gt;, &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;10.0.0.22:8080&amp;#34;&lt;/span&gt;]&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;[&lt;span style=&#34;color:#a6e22e&#34;&gt;services&lt;/span&gt;.&lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;web.svc.emfor&amp;#34;&lt;/span&gt;.&lt;span style=&#34;color:#a6e22e&#34;&gt;check_options&lt;/span&gt;]&#xA;&lt;/span&gt;&lt;/span&gt;&lt;span style=&#34;display:flex;&#34;&gt;&lt;span&gt;&lt;span style=&#34;color:#a6e22e&#34;&gt;path&lt;/span&gt; = &lt;span style=&#34;color:#e6db74&#34;&gt;&amp;#34;/healthz&amp;#34;&lt;/span&gt;&#xA;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;目錄與裡面的檔案不能讓 group 或其他人寫入，擁有者必須是 root 或執行 emfor 的使用者（&lt;a class=&#34;link&#34; href=&#34;../03-configuration/#%e6%8a%8a%e8%a8%ad%e5%ae%9a%e6%8b%86%e5%88%b0%e7%9b%ae%e9%8c%84&#34; &gt;權限&lt;/a&gt;）。&lt;code&gt;emfor check-config&lt;/code&gt; 會列出讀過的檔案，reload 會把它們全部重讀（&lt;a class=&#34;link&#34; href=&#34;../03-configuration/#%e6%8a%8a%e8%a8%ad%e5%ae%9a%e6%8b%86%e5%88%b0%e7%9b%ae%e9%8c%84&#34; &gt;第 3 章&lt;/a&gt;）。和 Consul 不同，emfor 不做註冊：檔案就是 backend 的清單。&lt;/p&gt;&#xA;&lt;h3 id=&#34;與-consul-並排試用&#34;&gt;與 Consul 並排試用&#xA;&lt;/h3&gt;&lt;p&gt;步驟和 HAProxy 那節一樣：寫好設定、跑 &lt;code&gt;emfor check-config&lt;/code&gt;、在 Consul agent 旁邊啟動 daemon、把 &lt;code&gt;emfor status&lt;/code&gt; 顯示的健康狀態與 &lt;code&gt;consul catalog&lt;/code&gt; 及 Consul UI 比對，然後一次搬一個應用程式。兩邊不一致的地方正是有用的資訊：它表示這個 backend 從應用程式看過去，與從 Consul agent 看過去是不一樣的。&lt;/p&gt;&#xA;&lt;h2 id=&#34;沒有對應的東西&#34;&gt;沒有對應的東西&#xA;&lt;/h2&gt;&lt;table&gt;&#xA;&#x9;&lt;thead&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;你用的功能&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;th&gt;在 emfor 裡&lt;/th&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/thead&gt;&#xA;&#x9;&lt;tbody&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;最少連線、連線數限制、排隊&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;沒有。emfor 不在資料路徑上，看不到連線。這部分請保留 HAProxy。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;proxy 的重試與逾時&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;由應用程式重試。client 每次查詢回傳一個位址，所以服務是 &lt;code&gt;sticky&lt;/code&gt; 或 &lt;code&gt;failover&lt;/code&gt; 時，重試會拿到同一個 backend，直到它的下一次檢查失敗為止（大約一個 &lt;code&gt;interval&lt;/code&gt;）；用 &lt;code&gt;round-robin&lt;/code&gt; 時，同一個行程的重試會拿下一個候選。backend 在第一次檢查失敗時就會被排除在候選之外，不必等 &lt;code&gt;fall&lt;/code&gt; 次檢查把它標成 down（&lt;a class=&#34;link&#34; href=&#34;../05-backend-selection/#%e6%aa%a2%e6%9f%a5%e9%96%8b%e5%a7%8b%e5%a4%b1%e6%95%97%e7%9a%84-backend&#34; &gt;第 5 章&lt;/a&gt;）。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;被動健康檢查（&lt;code&gt;observe layer7&lt;/code&gt;）&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;沒有：只有主動檢查。失敗的 backend 由下一次檢查發現；在&lt;a class=&#34;link&#34; href=&#34;../03-configuration/#peers&#34; &gt;聯防群組&lt;/a&gt;裡，某個成員看到 backend 從 &lt;code&gt;healthy&lt;/code&gt; 變成 &lt;code&gt;unhealthy&lt;/code&gt;（&lt;code&gt;fall&lt;/code&gt; 次檢查失敗之後）會通知其他成員，它們隨即重新檢查那個 backend，並每 200ms 檢查一次，最多 &lt;code&gt;fall&lt;/code&gt; 次。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;為了維護把 backend 拿下來（&lt;code&gt;disabled&lt;/code&gt;、&lt;code&gt;maint&lt;/code&gt;、&lt;code&gt;drain&lt;/code&gt;）&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;在 backend 上寫 &lt;code&gt;drain = true&lt;/code&gt; 再 reload（&lt;a class=&#34;link&#34; href=&#34;../05-backend-selection/#drain-%e4%b8%80%e5%80%8b-backend&#34; &gt;第 5 章&lt;/a&gt;）：它不會被選到，檢查照跑。&lt;code&gt;weight = 0&lt;/code&gt; 會被拒絕（&lt;code&gt;weight must be from 1 to 100&lt;/code&gt;），也沒有執行期的指令（&lt;code&gt;set server ... state drain&lt;/code&gt;）：只能改設定檔。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;依 URL、header 或 cookie 路由，TLS 終結&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;沒有。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;Consul 的註冊、tag 與 key-value store&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;沒有。backend 清單就是設定。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;多個設定檔（&lt;code&gt;haproxy -f dir&lt;/code&gt;）&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;一個主設定檔，加上用 &lt;code&gt;include_dir&lt;/code&gt; 指定的一個放片段的目錄（&lt;a class=&#34;link&#34; href=&#34;../03-configuration/#%e6%8a%8a%e8%a8%ad%e5%ae%9a%e6%8b%86%e5%88%b0%e7%9b%ae%e9%8c%84&#34; &gt;第 3 章&lt;/a&gt;）。片段不能再 include 別的目錄，&lt;code&gt;backends&lt;/code&gt; 這類清單是整份取代、不會合併。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&#x9;&#x9;&lt;tr&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;集中檢視所有檢查&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&#x9;&#x9;&lt;td&gt;每台主機各有自己的。用 &lt;a class=&#34;link&#34; href=&#34;../08-operations/#metrics&#34; &gt;metrics&lt;/a&gt; 搭配 Prometheus。&lt;/td&gt;&#xA;&#x9;&#x9;&#x9;&lt;/tr&gt;&#xA;&#x9;&lt;/tbody&gt;&#xA;&lt;/table&gt;&#xA;&lt;p&gt;表裡寫「請保留 HAProxy」的地方，也可以兩者並用：emfor 在幾個 HAProxy 實例之間選擇，每個 HAProxy 再在它的 server 之間選擇。&lt;/p&gt;&#xA;</description>
        </item></channel>
</rss>
