Crawler & Analysis: weschooldownload

โจทย์เริ่มต้นคือเขียนโปรแกรม JavaScript ไต่หน้า Apache/IIS directory listing ที่ https://www.bookmarkpro2.online/weschooldownload/ ไล่ทุกโฟลเดอร์ ดาวน์โหลดไฟล์ที่ไม่ซ้ำกัน และสร้างผังต้นไม้ (tree) ของทุกอย่างให้สวยงามด้วยดีไซน์ Material 3 Expressive + Google Sans

ระหว่างทางขอบเขตขยายขึ้นเรื่อย ๆ ตามที่คุยกัน: จากโหลดเฉพาะ PDF → รวมไฟล์ทั้งหมดไว้โฟลเดอร์เดียว → โหลดไฟล์ทุกประเภท → วิเคราะห์เนื้อหาคู่มือเพื่อสรุปว่ามีกี่ระบบและทำอะไรได้ → ประเมินข้อด้อยของระบบ และรายงานฉบับนี้

• 1

  สร้าง Crawler + Tree HTML

  เขียน crawler.js ไต่ทุกโฟลเดอร์ โหลด PDF ที่ไม่ซ้ำ (เช็คด้วย SHA-256) และ build-html.js สร้างผังต้นไม้ Material 3 — รอบแรกเจอบั๊ก HTML entity (&) ทำให้ 9 ไฟล์ 404 แก้แล้วโหลด PDF ครบ 69 ไฟล์

• 2

  รวม PDF ไว้โฟลเดอร์เดียว

  สร้าง all-pdfs/ เอา PDF ทั้ง 69 ไฟล์มาไว้ระดับเดียวกัน จัดการชื่อชนกัน 5 ไฟล์ด้วยการต่อท้ายชื่อโฟลเดอร์ต้นทาง

• 3

  ดาวน์โหลดไฟล์ทุกประเภท

  ปรับ crawler ให้โหลดทุกไฟล์ (exe, zip, rar, รูป, txt…) ไฟล์ PDF เดิมอ่านจากดิสก์ไม่โหลดซ้ำ — ได้ไฟล์ไม่ซ้ำ 183 ไฟล์ รวม 6.55 GB

• 4

  วิเคราะห์คู่มือ + สรุประบบ

  สกัดข้อความจาก PDF ทั้ง 69 เล่ม + ไฟล์ readme พบว่าเป็นชุดซอฟต์แวร์ทะเบียน–วัดผลโรงเรียนของ WeSchool Team มี 6 ระบบหลัก + 2 รุ่นเก่า เขียนเป็น Markdown และหน้าเว็บ

• 5

  วิเคราะห์ข้อด้อย

  ประเมินจุดอ่อนเชิงสถาปัตยกรรม ความปลอดภัย และการบำรุงรักษา พร้อมจัดอันดับความรุนแรง

• description

  รายงานฉบับนี้

  รวบทุกอย่างเป็นรายงานหน้าเดียว

เขียนด้วย Node.js ล้วน ไม่ต้องลง dependency ภายนอก (ใช้ fetch, crypto, fs ในตัว)

travel_explore crawler.js — ตัวไต่เว็บ

• ไต่เฉพาะใต้ base URL เท่านั้น (ไม่หลุดออกนอกขอบเขต) ป้องกันวนซ้ำด้วยชุด visited
• ทำงานขนานจำกัด 6 งานพร้อมกัน (Semaphore) + retry 3 ครั้งเมื่อพลาด
• เช็คไฟล์ซ้ำด้วย SHA-256 ของเนื้อไฟล์ ไม่ใช่แค่ชื่อ — ไฟล์เนื้อหาเหมือนกันแม้คนละที่ก็โหลดครั้งเดียว
• รองรับชื่อไฟล์ภาษาไทยและถอด HTML entity เช่น & ที่ Apache ใส่มาในลิงก์
• ไฟล์ที่มีบนดิสก์แล้วอ่านมา hash แทนการโหลดใหม่ — รันซ้ำกี่รอบก็โหลดเฉพาะของใหม่

account_tree build-html.js — สร้างผังต้นไม้

• สร้าง tree.html แบบ interactive: พับ/กางโฟลเดอร์ ค้นหา ขยาย/ย่อทั้งหมด
• ไอคอนแยกชนิดไฟล์ (PDF, zip/rar, exe, รูป, เอกสาร) + badge บอกจำนวนไฟล์/PDF ต่อโฟลเดอร์
• ป้ายกำกับไฟล์ซ้ำ (hover ดูต้นทาง) และไฟล์ที่โหลดไม่ได้

content_copy การกันซ้ำได้ผลจริง

พบไฟล์เนื้อหาซ้ำ 34 ไฟล์ เช่น AccessRuntime_2013_x86_en-us.exe (236 MB) ซ้ำถึง 8 ที่ — การเช็ค SHA-256 ช่วยประหยัดพื้นที่ไปเกือบ 2 GB

error_outline 6 ไฟล์ที่โหลดไม่ได้ = ปัญหาฝั่งเซิร์ฟเวอร์

ตรวจสอบยืนยันแล้วว่าไม่ใช่บั๊กของเรา: ไฟล์ rarreg.key / winrar.lng (4 ไฟล์) เซิร์ฟเวอร์ตอบ 404 ทั้งที่มีชื่อใน listing — และไฟล์ shortcut .url 2 ไฟล์ที่ชื่อบนเซิร์ฟเวอร์เป็น encoding เพี้ยน (mojibake) ตอบ HTTP 400

ทั้งหมดเป็นชุดซอฟต์แวร์งานทะเบียน–วัดผลโรงเรียนของ WeSchool Team เป็นโปรแกรม Windows ฐานข้อมูล Microsoft Access (ต้องใช้ Access Runtime) บางส่วนเป็นเว็บ (IIS/ASP.NET) ทุกอย่างหมุนรอบระบบหลักคือ Secondary'56

storage ① ฐานข้อมูล Microsoft Access — รากของความเปราะ

เป็นฐานข้อมูลแบบไฟล์เดียว ไม่ใช่ client–server การเขียนไม่ atomic จริง ถ้าถูกขัดจังหวะ (ไฟดับ/เน็ตกระตุก) ไฟล์ corrupt ทั้งก้อน มีเพดาน 2 GB และรองรับผู้ใช้พร้อมกันจำกัด — หลักฐานคือทุกระบบมีคู่มือ "Repair Database" เป็นกิจวัตร

lan ② แชร์ไฟล์ Access ผ่าน LAN — เร่งให้ ① พังเร็ว

วางไฟล์บนเครื่องหนึ่งแล้วแชร์ให้เครื่องอื่นเปิดผ่าน SMB การล็อกพึ่ง file locking ของ Windows — แพ็กเก็ตหายจังหวะ commit = corrupt ทันที ยิ่งคนใช้มากยิ่งช้าทวีคูณ (ไม่มี server-side query)

lock ③ ความปลอดภัยข้อมูลนักเรียน (PII) — หลายชั้นพร้อมกัน

• ความลับเก็บเป็น plaintext — SchoolLicense.txt, FreshyCode.txt, รหัสผ่านงานย่อย.txt
• รหัสผ่านเริ่มต้น = วันเดือนปีเกิด (ข้อมูลกึ่งสาธารณะ)
• หน้า Admin เดา URL ได้ — /adminF.aspx, /adminteacher.aspx
• แจกจ่ายผ่าน HTTP เปล่า (http://122.154.174.36/) ไม่มี HTTPS, directory listing เปิดโล่ง

เก็บข้อมูลส่วนบุคคลของเด็ก (PDPA) แต่ไม่มีมาตรการคุ้มครองที่เหมาะสม

schedule ④ License แบบหมุนเวลาเครื่อง

เมื่อผู้ใช้ Registrar หมดอายุ คู่มือบอกให้ ปรับนาฬิกา Windows ย้อนหลัง — ทำให้วันที่ในข้อมูล (เวลาเรียน/วันออกเอกสาร) เพี้ยน และสะท้อนว่ากลไก license ออกแบบผิดหลัก (อิงเวลา client ล้วน)

account_tree ⑤ ระบบแตกกระจาย ขนข้อมูลด้วยมือ

6 ระบบทับซ้อนกัน แยกชุดติดตั้ง/โฟลเดอร์ ข้อมูลต้องโอนข้ามระบบด้วยมือตลอด (Import/Export) → เกิดข้อมูลไม่ตรงกัน ไม่มี single source of truth

build ⑥ อัปเดต/สำรองพึ่งวินัยคน  ·  ⑦ เทคโนโลยีหมดอายุ

อัปเดต = ก๊อปไฟล์ทับเอง ไม่มี rollback · path ฮาร์ดโค้ด C:\Student2551_V3 · สำรองพึ่งคนจำ · ผูกกับ Access Runtime, Windows Server 2012 (หมดซัพพอร์ตแล้ว), Windows-only · แถม WinRAR พร้อม license key (เสี่ยงลิขสิทธิ์)