EST. 2026 — บันทึกงานเซิร์ฟเวอร์จริง SYSADMIN · SECURITY · AI · DIRECTADMIN เล่มที่ 01
THE SYSADMIN ALMANAC
หน้าหลัก / Security / allow-list บอทจาก config ไฟล์เดียว ทำไม Cloudflare ต้องอยู่ csf.ignore
Security

allow-list บอทจาก config ไฟล์เดียว ทำไม Cloudflare ต้องอยู่ csf.ignore

โดย Ton-Or ·21 พ.ย. 2026·อ่าน 12 นาที
allow-list บอทจาก config ไฟล์เดียว ทำไม Cloudflare ต้องอยู่ csf.ignore

รายการอนุญาตที่ไม่มีเหตุผลกำกับทุกบรรทัดคือรายการที่สักวันจะมีคนแปลกหน้าอยู่ข้างใน บทความนี้เล่าวิธียุบให้เหลือไฟล์เดียว และเหตุผลที่ edge ของ CDN ต้องเป็น ignore ไม่ใช่ allow

สรุปใน 1 นาที

อาการ/ปัญหา
รายการบอทที่ไม่ควรโดนแบนกระจายอยู่หลายที่ และ Cloudflare Workers เปิด TCP ไปพอร์ตไหนก็ได้
ใครควรอ่าน
ผู้ดูแลเซิร์ฟเวอร์ที่ใช้ CSF และต้องกันบอทดีกับ Cloudflare ไม่ให้โดนแบน
ทางแก้แบบสั้น
เก็บรายการบอทในไฟล์ config ไฟล์เดียวพร้อมตัวกันพัง min=N ให้สคริปต์รายวันเขียนเข้า csf.ignore กับ csf.rignore และวาง Cloudflare ใน csf.ignore ไม่ใช่ csf.allow
ข้ามไปขั้นตอน

พอดีมีเว็บหลายเว็บบนเซิร์ฟเวอร์เดียวกันที่พึ่งทราฟฟิกจากการค้นหา ผู้ดูแลอยากให้บอตที่สำคัญ ทั้งเสิร์ชเอนจิน ตัวช่วย AI ที่ค้นเว็บ เครื่องมือ SEO และตัวสร้างพรีวิวลิงก์ ไม่โดนไฟร์วอลล์แบนกลางทาง รอบแรกผมทำเป็นสคริปต์ตัวเดียวที่ฝังแหล่ง IP ไว้ในโค้ด (เรื่อง Googlebot ที่เคยโดนแบนถาวร เล่าไว้แล้ว) ใช้ได้ แต่ทุกครั้งที่ต้องเพิ่มหรือเอาเจ้าไหนออก ผมต้องไปแก้โค้ด และรายการที่ฝังอยู่ในโค้ดไม่มีที่ให้เขียนว่าทำไมเจ้านั้นถึงไม่อยู่ในรายการ

บทความนี้เลยเป็นรอบสอง รายการอยู่ในไฟล์ config ไฟล์เดียว สคริปต์รายวันอ่านแล้วเขียนเข้าไฟร์วอลล์ และผมให้น้ำหนักกับสิ่งที่จงใจไม่ใส่เท่ากับสิ่งที่ใส่ เนื้อหาในบทความนี้ผมใช้ชื่อกลางๆ กับตัวอย่างไอพีสำหรับเอกสาร เพราะรายการจริงของเซิร์ฟเวอร์เป็นเรื่องที่ไม่ควรเปิดเผย

ไฟล์ config ไฟล์เดียว

หนึ่งบรรทัดคือหนึ่งแหล่ง รูปแบบ name kind args [min=N] [noda] บรรทัดที่ขึ้นต้นด้วย # คือปิดอยู่ และคอมเมนต์เหนือบรรทัดเป็นที่เขียนเหตุผล ซึ่งผมถือว่าสำคัญที่สุดของไฟล์นี้

# sources.conf  (ตัวอย่างกลางๆ ไม่ใช่รายการจริง)
# name      kind    args                                         options
search-a    json    https://vendor-a.example/ranges.json         min=5
search-b    text    https://vendor-b.example/cidr.txt            min=3
tool-c      static  198.51.100.0/25
social-d    asn     AS64500                                      min=5
nolist-e    rdns    .crawl.vendor-e.example
edge-f      text    https://cdn-f.example/v4.txt https://cdn-f.example/v6.txt  min=10 noda

# ปิดไว้ตั้งใจ: crawler ที่ใช้ฝึกโมเดลอย่างเดียว
#train-g    json    https://vendor-g.example/ranges.json         min=5

ความหมายของ kind ที่ผมใช้ห้าแบบ

  1. json ไฟล์รายการ prefix ของผู้ให้บริการเอง ในรูป {"prefixes":[{"ipv4Prefix":"..."}]} ซึ่งเสิร์ชเอนจินหลายเจ้าใช้รูปแบบนี้
  2. text ไฟล์ข้อความ CIDR บรรทัดละหนึ่งช่วง
  3. static เขียนช่วง IP ไว้ในไฟล์เลย สำหรับเจ้าที่เผยแพร่แค่ subnet เดียว
  4. asn เลข AS ของเครือข่ายที่เป็นของผู้ให้บริการเอง ดึงช่วงที่ AS นั้นประกาศใน BGP จริง
  5. rdns ต่อท้ายชื่อโฮสต์ สำหรับบอตที่ไม่มีรายการ IP แต่ตรวจกลับด้วย DNS ได้ เขียนลง csf.rignore ให้ lfd ตรวจแบบ forward-confirmed reverse DNS

ตัวเลือก min=N กับ noda ผมอธิบายในหัวข้อต่อไป ส่วนวิธีใช้คือ แก้ไฟล์ ไม่แก้สคริปต์ แล้วรันสคริปต์ด้วย --dry-run ดูก่อนทุกครั้ง

แต่ละแบบดึงมายังไง และตัวกันพัง min=N

ถ้าแหล่งใดแหล่งหนึ่งเปลี่ยนรูปแบบ JSON หรือเซิร์ฟเวอร์ของเขาล่มตอนที่สคริปต์รัน ผลที่น่ากลัวที่สุดไม่ใช่ error แต่คือรายการว่างที่ถูกเขียนทับของเมื่อวาน แล้วบอตทั้งเจ้าถูกแบนในคืนเดียว ผมเลยมีกฎข้อเดียวคือ ดึงล้มหรือได้ช่วง IP น้อยกว่า min ให้ถือว่าการดึงเสีย แล้วใช้ cache ของเมื่อวานต่อ

sources.confname kind argsmin=N nodaงานรายวัน 04:20json text staticasn rdnsตรวจรายแหล่งล้มหรือน้อยกว่า min= ใช้ cache เมื่อวานcsf.ignoreช่วง IPwhitelist แผงควบคุม(ยกเว้นแหล่ง noda)csf.rignorerDNS (lfd เท่านั้น)restart lfd เฉพาะเมื่อ ignore หรือ rignore เปลี่ยนข้างเคียง: real_ip ของ nginx -> diff -> nginx -t -> reload หรือคืนไฟล์เดิม
ไฟล์เดียวเป็นแหล่งความจริง สคริปต์ไม่มีรายชื่อฝังอยู่ในตัว
def load_source(src, cache):
    try:
        ranges = FETCHERS[src.kind](src)          # json / text / static / asn
    except Exception as e:
        log.warning("%s: fetch failed (%s) -> keep yesterday", src.name, e)
        return cache.read(src.name)

    if len(ranges) < src.min:
        log.warning("%s: %d ranges < min=%d -> keep yesterday", src.name, len(ranges), src.min)
        return cache.read(src.name)

    cache.write(src.name, ranges)                 # ผ่านด่านแล้วค่อยทับ cache
    return ranges

ผมตั้ง min ให้ต่ำกว่าจำนวนจริงพอสมควร แต่ไม่ใช่ศูนย์ ถ้าตั้งสูงเกินไปเจ้าที่ลดช่วง IP ลงตามธรรมชาติจะถูกมองเป็นพัง และถ้าตั้งต่ำเกินไปก็ไม่ช่วยอะไร ส่วนค่าที่เหมาะต้องดูจากจำนวนที่แต่ละเจ้าประกาศจริงของเขา

เรื่อง asn ผมเลือกดึงจากข้อมูลช่วงที่ AS ประกาศใน BGP จริง (บริการของ RIPEstat) ไม่ใช้วัตถุ IRR เด็ดขาด เหตุผลคือ IRR เป็นข้อมูลที่ใครก็ลงทะเบียนเองได้ ถ้ารับมาเป็นแหล่งที่เชื่อถือ ก็เท่ากับยอมให้คนแปลกหน้าเขียนรายการอนุญาตของเรา ส่วน noda ใช้กับแหล่งที่ต้องการให้เขียนแค่ csf.ignore ไม่ต้องเข้าไวต์ลิสต์ของแผงควบคุม

ผลลัพธ์เขียนเป็นบล็อกที่มีเครื่องหมายต้นปลายในไฟล์ปลายทาง สคริปต์แตะเฉพาะข้างในบล็อกนั้น บรรทัดที่คนเพิ่มไว้เองนอกบล็อกไม่หาย และ restart ตัว lfd เมื่อไฟล์ ignore หรือ rignore เปลี่ยนจริงเท่านั้น ตั้งเวลาให้รันวันละครั้งตอนเช้ามืด หน้าตาของไฟล์ปลายทางหลังสคริปต์เขียนแล้วเป็นแบบนี้ ส่วนที่คนเขียนเองอยู่เหนือบล็อก ส่วนที่สคริปต์เขียนอยู่ในบล็อก

# /etc/csf/csf.ignore  (ตัวอย่างกลางๆ)
127.0.0.1
# BEGIN bot-allowlist (managed) -- อย่าแก้ในบล็อกนี้ ไปแก้ที่ sources.conf
198.51.100.0/25      # tool-c
203.0.113.0/24       # search-a
# END bot-allowlist (managed)
import re

BEGIN = "# BEGIN bot-allowlist (managed)"
END   = "# END bot-allowlist (managed)"

def replace_block(text: str, lines: list[str]) -> str:
    block = BEGIN + "\n" + "\n".join(lines) + "\n" + END
    pat = re.compile(re.escape(BEGIN) + r".*?" + re.escape(END), re.S)
    return pat.sub(lambda m: block, text) if pat.search(text) else text.rstrip("\n") + "\n" + block + "\n"
# crontab ของ root  (ใช้พาธเต็มทั้งหมด)
20 4 * * * /usr/local/sbin/allowlist-sync.py >> /var/log/allowlist-sync.log 2>&1

มีเรื่องหนึ่งที่ผมเจอระหว่างทำรอบนี้ ตัวสคริปต์รุ่นแรกเรียก csf แบบไม่มีพาธเต็ม ซึ่งใน cron ไม่เจอเพราะ PATH ของ cron ไม่มี /usr/sbin ขั้นสแกน temp ban กับขั้น unban เลยล้มเงียบทุกวัน เหลือแค่บรรทัด WARN ในล็อก แก้ด้วยการใช้พาธเต็ม เรื่อง PATH ของ cron ผมเขียนไว้แล้วใน cron ที่ล้มเงียบเพราะ redirect ล็อก ตรงนี้เลยพูดแค่ประโยคเดียว

พนักงานเฝ้าประตูถือคลิปบอร์ดรายชื่อแขกที่ดึงจากจดหมายเชิญทางการทุกวัน และเชือกกั้นป้ายห้ามเข้าสำหรับรถบัสปาร์ตี้ที่น่าสงสัย
รายชื่อมาจากจดหมายเชิญทางการของแต่ละเจ้า ใครไม่มีรายชื่อก็ไม่มีสิทธิ์ผ่านประตูนี้

ที่ไม่ใส่ สำคัญเท่ากับที่ใส่

รายการอนุญาตที่ยาวขึ้นเรื่อยๆ โดยไม่มีใครถามว่า "ทำไมต้องใส่" คือรายการที่สักวันจะมีคนแปลกหน้าอยู่ข้างใน ผมเลยเขียนกฎเลือกไว้ในคอมเมนต์ของไฟล์ และตัวเองยึดตามนั้นทุกครั้งที่จะเพิ่มบรรทัด

ใส่ (ignore = ไม่แบน)ตั้งใจไม่ใส่เสิร์ชเอนจินที่มีรายการทางการfetcher บนแพลตฟอร์มคลาวด์ลูกค้าคลาวด์ทุกคนรันโค้ดได้AI search และ fetcher ที่มีรายการcrawler สำหรับฝึกโมเดลอย่างเดียวปิดไว้ตั้งใจเครื่องมือ SEO ที่มีรายการผู้ให้บริการที่ไม่มีรายการทางการและไม่มี rDNS ให้ตรวจตัวสร้างพรีวิวลิงก์ (ผ่านเลข AS)วัตถุ IRR ที่ใครก็ลงทะเบียนเองได้ไม่ใช้เป็นแหล่งข้อมูลedge ของ CDN: csf.ignore เท่านั้นใส่ edge CDN ไว้ใน csf.allowเปิดทุกพอร์ตให้ใครก็ใช้ Workersignore = ไม่แบน แต่ไฟร์วอลล์ยังใช้กฎเดิมallow = เปิดทุกพอร์ตให้ IP นั้น
สิ่งที่ไม่ใส่ มีเหตุผลเขียนกำกับไว้ในไฟล์ทุกบรรทัด

ส่วนตัวผมยึดสามข้อ ข้อแรก ใส่เฉพาะเจ้าที่เผยแพร่รายการทางการเอง หรือเป็นเครือข่ายของเขาเอง ข้อสอง ถ้าช่วง IP นั้นเป็นของแพลตฟอร์มคลาวด์ที่ลูกค้าทุกคนรันโค้ดได้ ไม่ใส่ เพราะการอนุญาตทั้งช่วงคือการอนุญาตคนแปลกหน้า ตัวอย่างที่ชัดคือ fetcher ที่รันบนแพลตฟอร์มแอปของคลาวด์เจ้าใหญ่ซึ่งใครก็เช่าได้ ข้อสาม เจ้าที่ไม่มีทั้งรายการ IP ไม่มี rDNS ให้ตรวจ ไม่ใส่ จะเสียดายแค่ไหนก็ตาม

ส่วน crawler ที่เก็บข้อมูลไปฝึกโมเดลอย่างเดียว ผมปิดบรรทัดไว้ตั้งใจ แต่เก็บบรรทัดไว้ในไฟล์ในรูปคอมเมนต์ เพื่อวันหน้าถ้าเปลี่ยนใจแค่เอา # ออก ตามใจเจ้าของเว็บเลยว่าจะเปิดหรือปิด ผมแค่ไม่อยากให้เป็นการเปิดโดยไม่ได้ตัดสินใจ

ภาพเทียบ ซ้ายคือโน้ตกระดาษที่เขียนไอพีมือและขีดฆ่า ขวาคือไฟล์ config เดียวที่จัดเป็นหมวดพร้อมตรา in sync สีเขียว
จากโน้ตแปะที่ขีดฆ่าเต็มไปหมด เหลือไฟล์เดียวที่แยกหมวดและบอกได้ว่าซิงก์ตรงไหม

Cloudflare ต้องอยู่ csf.ignore ไม่ใช่ csf.allow

นี่คือข้อที่ผมอยากให้คนจำไปที่สุด ทั้งสองไฟล์ดูเหมือนทำสิ่งเดียวกันคือ "อย่าแบน IP นี้" แต่ความหมายต่างกันมาก

csf.ignore

แค่ไม่แบน

lfd จะไม่บล็อก IP นี้เวลาเจอพฤติกรรมน่าสงสัย แต่ไฟร์วอลล์ยังใช้กฎเดิม พอร์ตที่ปิดอยู่ก็ยังปิดสำหรับ IP นี้

csf.allow

เปิดทุกพอร์ต

ไฟร์วอลล์ปล่อย IP นี้เข้าได้ทุกพอร์ต รวมถึง SSH และพอร์ตจัดการอื่นๆ

# /etc/csf/csf.ignore   lfd ไม่แบน แต่พอร์ตยังเป็นไปตามกฎเดิม
203.0.113.0/24

# /etc/csf/csf.allow    เปิดทุกพอร์ตให้ IP นี้  <-- ห้ามใส่ edge ของ CDN ที่นี่
# 203.0.113.0/24

เหตุผลที่ edge ของ Cloudflare ต้องอยู่ฝั่ง ignore คือ Cloudflare Workers เปิดการเชื่อมต่อ TCP ขาออกไปที่โฮสต์และพอร์ตไหนก็ได้ ถ้าใส่ช่วง IP ของ Cloudflare ไว้ใน csf.allow ก็เท่ากับว่าใครก็ตามที่เขียน Worker แล้วเชื่อมต่อออกมา จะต่อเข้าพอร์ต SSH ของเซิร์ฟเวอร์เราได้จากที่อยู่ที่ไฟร์วอลล์ไว้ใจ ส่วน csf.ignore ที่ไม่เปิดพอร์ตอะไรเพิ่มปลอดภัยกว่าเป็นคนละเรื่อง ผมเลยทำให้เป็นกฎในไฟล์ config ว่าแหล่งชนิดนี้ไปได้ทางเดียว

allow กับ ignore ไม่ใช่คำพ้องกัน

ถ้ารายการ IP ที่ไว้ใจมาจากเครือข่ายที่คนทั่วไปเช่าใช้ได้ เช่น CDN แพลตฟอร์มคลาวด์ หรือบริการ serverless อย่าใส่ใน csf.allow เด็ดขาด ใช้ csf.ignore เท่านั้น แล้วอย่าลืมว่าไฟล์นี้เป็นนโยบายของเซิร์ฟเวอร์หนึ่งเครื่อง ก่อนนำไปใช้กับเครื่องอื่นต้องอ่านเอกสารของ CSF และทดสอบให้เข้าใจพฤติกรรมก่อน

อีกเรื่องที่ควรรู้ ผู้ใช้ VPN สำหรับผู้บริโภคบางเจ้าออกอินเทอร์เน็ตผ่านที่อยู่ของ Cloudflare เหมือนกัน ผมเคยเห็น temp ban บนที่อยู่ที่ดูเป็นของ Cloudflare ตรวจแล้วเป็นผู้ใช้ VPN ที่ยิง xmlrpc รัวจนโดนกฎกันฟลัด ซึ่งก็ถูกต้องแล้ว ผมเลยปล่อยให้แบนต่อ ไม่ไปขุดออก การไม่แบน IP ของ edge เลยไม่ได้แปลว่าไม่แบนคนข้างหลัง edge ทั้งหมด

ซิงก์รายการ real_ip ของ nginx ให้ตรงกับของจริง

อีกขั้นที่รันรายวันคู่กันคือรายการช่วง IP ของ Cloudflare ที่ nginx ใช้ตั้ง set_real_ip_from เพื่อให้เห็น IP ของผู้เยี่ยมชมจริง ไฟล์นี้ปกติเขียนโดยระบบ build ของแผงควบคุมและจะถูกเขียนใหม่ทุกครั้งที่ build ถ้า Cloudflare ประกาศช่วงใหม่ ไฟล์ก็ตกรุ่นโดยไม่มีใครรู้ ผมเลยเขียนสคริปต์เล็กที่เทียบช่วงที่ประกาศอยู่กับไฟล์ ถ้าไม่ต่างก็พิมพ์ว่า in sync แล้วจบ ถ้าต่างถึงเขียนไฟล์ใหม่ แล้วต้องผ่าน nginx -t ถึงจะ reload ไม่ผ่านก็คืนไฟล์เดิมทันที

#!/bin/bash
# sync-realip.sh  (ตัวอย่างกลางๆ) เขียนไฟล์ใหม่เฉพาะเมื่อชุดช่วง IP เปลี่ยนจริง
set -euo pipefail
CONF=/etc/nginx/realip-edge.conf
NEW=$(mktemp)

{ curl -fsS https://cdn-f.example/v4.txt; echo; curl -fsS https://cdn-f.example/v6.txt; echo; } \
  | grep -E '^[0-9a-f:.]+/[0-9]+$' | sort -u | sed 's/^/set_real_ip_from /; s/$/;/' > "$NEW"

[ "$(wc -l < "$NEW")" -ge 10 ] || { echo "too few ranges, abort"; exit 1; }

if diff -q <(sort "$CONF") <(sort "$NEW") >/dev/null; then echo "in sync"; exit 0; fi

cp -a "$CONF" "$CONF.bak"
install -m 644 "$NEW" "$CONF"
if nginx -t 2>/dev/null; then systemctl reload nginx; echo "updated"
else cp -a "$CONF.bak" "$CONF"; echo "nginx -t failed, restored"; exit 1; fi

สังเกตว่าด่านจำนวนขั้นต่ำเป็นหลักการเดียวกับ min=N ข้างบน คือแหล่งที่ดึงมาเสียต้องไม่ถูกเขียนทับของที่ใช้ได้ ผมใช้หลักนี้ซ้ำกับทุกสคริปต์ที่แก้ค่าของเครื่องจริง

ผลตรวจวันแรกหลังเปิดใช้

หลังเปิดใช้ผมสุ่มดู log ทั้งวันเพื่อเช็กว่ารายการใหม่ไม่ได้เปิดช่องให้ใครโดยไม่ตั้งใจ เจอสิ่งที่น่าสนใจสองข้อ

  • มีคำขอจำนวนหนึ่งต่อวันที่อ้างตัวเป็น Googlebot แล้วถูก ModSecurity ตอบ 406 ทั้งหมด พอไล่ดูต้นทางเป็นช่วง IP ของ VM บนคลาวด์ที่กวาดหาไฟล์ .env กับ .htpasswd ซึ่งถูกบล็อกถูกต้องแล้ว ส่วน Googlebot ตัวจริงโดน ModSecurity แค่ครั้งเดียว และ sitemap ตอบ 200
  • ไวต์ลิสต์หยุดแค่การแบนด้วย IP เท่านั้น ModSecurity ยังตรวจทุกคำขออยู่เหมือนเดิม ซึ่งเป็นสิ่งที่ผมต้องการ
  1. แก้ไฟล์ sources.conf เพิ่มหรือคอมเมนต์บรรทัด พร้อมเขียนเหตุผลไว้ในคอมเมนต์เหนือบรรทัด
  2. รันสคริปต์ด้วย --dry-run ดูว่าจำนวนช่วง IP ต่อแหล่งสมเหตุสมผล
  3. ตรวจว่าไม่มีแหล่งไหนถูกรายงานว่า keep yesterday โดยไม่คาดคิด
  4. รันจริงหนึ่งรอบ แล้วดูว่า lfd restart เฉพาะเมื่อไฟล์เปลี่ยนจริง
  5. เปิดล็อกวันถัดไป ดูคำขอที่อ้างตัวเป็นบอตแต่โดน 406 ว่ามาจากช่วง IP ที่เราตั้งใจไม่ไว้ใจหรือเปล่า
5 แบบชนิดแหล่ง IP
1 ไฟล์เป็นแหล่งความจริง
04:20เวลารันรายวัน
min=Nกันรายการว่างทับ
หลักร้อยคำขอปลอมต่อวัน ถูก 406
0 พอร์ตที่ ignore เปิดเพิ่ม

ถ้าเทียบกับ ไวต์ลิสต์ของเมล ที่ผมเขียนไว้ก่อนหน้า อันนั้นเป็นอีกเรื่อง คือยอมให้ผู้ส่งเมลที่ถูกต้องผ่าน ส่วนบทความนี้พูดถึงเฉพาะบอตเว็บ

สรุปแบบสั้นที่สุด ผมว่ารายการอนุญาตที่ดีต้องมีสามอย่างครับ คือเขียนที่เดียว มีเหตุผลกำกับทุกบรรทัด และมีกฎชัดว่าอะไรไม่อนุญาต ส่วนวิธีแบ่งหมวดหรือตั้ง min เท่าไหร่ ตามความเหมาะสมของแต่ละเครื่องได้เลย เดี๋ยวกลับมาแก้เพิ่มให้ภายหลังครับ

อยากให้เราทำให้ไหม?

ให้เราช่วยติดตั้ง ตั้งค่า ย้ายระบบ หรือแก้ปัญหาเซิร์ฟเวอร์ เพื่อให้คุณมีเวลาไปทำงานที่สำคัญกว่า

คุยเรื่องงานกับเรา

เคยเจองานแบบนี้ไหม? ติดตรงไหน?

มาแลกวิธีกันต่อในบอร์ด LinuxThai

→ คุยต่อในบอร์ด

ความคิดเห็น 0

ยังไม่มีความคิดเห็น — เป็นคนแรกเลย