การค้นหาด้วย AI · SEO เชิงเทคนิค
ทำไมเว็บไซต์ของคุณจึงประสบความสำเร็จบน Google แต่ AI กลับมองไม่เห็น
เว็บไซต์ของคุณอาจติดอันดับดีบน Google ได้รับเครื่องหมายสีเขียวในเครื่องมือ SEO และยังคงแทบมองไม่เห็นสำหรับการค้นหาด้วย AI และ AI agent ChatGPT, Claude, Perplexity และ Gemini ไม่ได้มองเห็นเว็บในแบบเดียวกับ Google ในบทความนี้เราจะพาไปดูสามเหตุผลว่าทำไม AI จึงมองไม่เห็นหน้าเว็บของคุณ วิธีที่คุณทดสอบได้ด้วยตนเอง และทำไม HTML ที่เซิร์ฟเวอร์สร้างขึ้นจึงเป็นทางออกของปัญหานี้
โดยสรุป: หากเนื้อหาสำคัญของคุณ (หัวข้อ ข้อความ ราคา ข้อมูล Schema) เพิ่งถูกโหลดในเบราว์เซอร์ด้วย JavaScript บอท AI หลายตัวจะเห็นหน้าเว็บว่างเปล่า เช่นเดียวกับกรณีที่ไฟร์วอลล์หรือ CDN บล็อกบอท AI ไว้ และเครื่องมือ SEO ของคุณอาจไม่บอกอะไรเกี่ยวกับเรื่องนี้เลย
Google และการค้นหาด้วย AI อ่านเว็บด้วยวิธีที่ต่างกัน Googlebot เรนเดอร์ JavaScript และผ่านไฟร์วอลล์ได้ในกรณีส่วนใหญ่ ส่วน บอท AI ส่วนใหญ่ไม่รัน JavaScript แต่อ่านเฉพาะ HTML ดิบที่เซิร์ฟเวอร์ส่งกลับมา และอาจถูกบล็อกตั้งแต่ที่ไฟร์วอลล์หรือ CDN
ด้วยเหตุนี้เว็บไซต์จึงอาจประสบความสำเร็จบน Google แต่กลับมองไม่เห็นสำหรับ AI เครื่องมือ SEO ทั่วไปมักไม่สังเกตเรื่องนี้ เพราะมันอ่านเพียงไฟล์ robots.txt เป็นหลัก ไม่ใช่เนื้อหาที่ถูกส่งให้บอทจริง ๆ
ทางออกคือ เนื้อหาสำคัญและข้อมูล Schema ต้องมีอยู่พร้อมแล้วใน HTML ที่เซิร์ฟเวอร์ส่งกลับมา (SSR หรือเว็บสแตติก) และบอท AI ต้องไม่ถูกบล็อก Novavalo สร้าง HTML สแตติกแบบนี้โดยเฉพาะ เว็บไซต์ที่สร้างด้วย Novavalo จึงมองเห็นได้ทั้งสำหรับ Google และ AI
บอทต่าง ๆ มีไว้เพื่อวัตถุประสงค์ต่างกัน
บริษัท AI ไม่ได้มีบอทเพียงตัวเดียว แต่มี บอทแยกกันหลายตัวสำหรับงานต่างกัน: ตัวหนึ่งเก็บข้อมูลเพื่อฝึกโมเดล อีกตัวสร้างดัชนีการค้นหา และอีกตัวดึงหน้าเว็บในจังหวะที่ผู้ใช้ร้องขอ เว็บไซต์ของคุณอาจอนุญาตตัวหนึ่งและบล็อกอีกตัวโดยไม่รู้ตัว
ตัวอย่างเช่น OpenAI และ Anthropic ต่างก็ใช้งานบอทหลายตัว ทางฝั่ง OpenAI GPTBot เก็บข้อมูลฝึกโมเดล OAI-SearchBot สร้างผลการค้นหา และ ChatGPT-User ดึงหน้าเว็บตามคำขอแบบเรียลไทม์ของผู้ใช้ ส่วน Anthropic เช่นกัน ClaudeBot เก็บข้อมูล Claude-SearchBot ตรวจหน้าเว็บเพื่อการค้นหา และ Claude-User ดึงหน้าเว็บเมื่อมีคนถาม Claude เกี่ยวกับที่อยู่นั้น ๆ
Google เป็นข้อยกเว้นในเรื่องนี้ มันไม่ได้มีบอท AI แยกต่างหากในแบบเดียวกัน แต่ Googlebot แบบดั้งเดิมทำหน้าที่เบื้องหลังให้กับผล AI Overview และฟีเจอร์ AI เป็นส่วนใหญ่ด้วย ด้วยเหตุนี้สิ่งที่ใช้ได้กับ Google จึงไม่ได้ใช้ได้กับผู้เล่น AI รายอื่นโดยอัตโนมัติ: Google เข้าถึงอยู่แล้ว ขณะที่บอท AI แยกต่างหากต้องถูกอนุญาตให้เข้ามาเป็นการเฉพาะ และต้องสามารถอ่านหน้าเว็บได้
ไฟร์วอลล์และ CDN บล็อกบอทตั้งแต่ก่อน robots.txt
ชั้นป้องกัน เช่น Cloudflare ไฟร์วอลล์แบบ WAF หรือการตั้งค่าบล็อกของเว็บโฮสติง อาจ ปฏิเสธบอท AI ตั้งแต่ระดับ IP ก่อนที่บอทจะได้อ่านไฟล์ robots.txt ด้วยซ้ำ ในกรณีนี้บอทจะไม่ได้หน้าเว็บเลย ไม่ว่าเนื้อหาของคุณจะดีเพียงใด
บริการ CDN และความปลอดภัยหลายรายเริ่มบล็อกบอท AI ที่เป็นที่รู้จักเป็นค่าเริ่มต้นหรือด้วยการคลิกเพียงครั้งเดียว มันอาจเป็นการเลือกอย่างตั้งใจ แต่บ่อยครั้งมันค้างอยู่โดยบังเอิญหรือถูกตั้งค่าไว้โดยคนอื่น ผลลัพธ์คือ ผู้เข้าชมที่เป็นมนุษย์และ Googlebot เข้าถึงหน้าเว็บได้ แต่ ClaudeBot เป็นต้น กลับได้รับการบล็อกเป็นคำตอบ
ในกรณีตัวอย่างจริง ChatGPT เข้าถึงเว็บไซต์ได้ แต่ Claude ของ Anthropic ถูกบล็อกอยู่ที่ไฟร์วอลล์ของเซิร์ฟเวอร์ สำหรับผู้ใช้ เรื่องนี้ปรากฏออกมาในรูปที่ผู้ช่วย AI ตัวหนึ่งเล่าเกี่ยวกับบริษัทได้ ขณะที่อีกตัวหาข้อมูลอะไรไม่พบเลย เครื่องมือ SEO ทั่วไปไม่เผยปัญหานี้ เพราะ มันอ่านเพียงไฟล์ robots.txt ซึ่งไม่มีการบล็อกปรากฏอยู่: การบล็อกเกิดขึ้นที่ระดับเครือข่ายตั้งแต่ก่อนหน้านั้นมาก
robots.txt ไม่ได้ผลเสมอไป
อีกเรื่องที่น่าประหลาดใจคือ robots.txt ไม่ได้มีผลผูกมัดกับบอททุกตัว บอทที่เคลื่อนไหวตามคำขอของผู้ใช้มักข้ามข้อห้ามไป OpenAI เองระบุว่า เนื่องจาก คำขอของ ChatGPT-User เริ่มต้นโดยมนุษย์ กฎใน robots.txt จึงอาจไม่มีผลกับมัน
นี่ไม่ใช่เพียงทฤษฎี จากการศึกษาในวงการพบว่า ChatGPT-User เข้าถึงหน้าเว็บได้ประมาณครึ่งหนึ่งของเว็บไซต์ในยุโรปที่ระบุชัดเจนว่าห้ามมันไว้ในไฟล์ robots.txt บทเรียนในทางปฏิบัติจึงเป็นสองทาง: คุณไว้ใจไม่ได้ว่า robots.txt จะบล็อก agent แบบเรียลไทม์ได้ และในอีกด้านหนึ่งคุณก็อย่าคิดไปเองว่าแค่อนุญาตใน robots.txt จะเพียงพอที่จะทำให้เว็บของคุณมองเห็นได้สำหรับ AI การมองเห็นจะชี้ขาดก็ต่อเมื่อบอทเข้าถึงหน้าเว็บได้และสามารถอ่านเนื้อหาได้เท่านั้น
JavaScript และการเรนเดอร์: ประเด็นทางเทคนิคที่สำคัญที่สุด
Googlebot รันและเรนเดอร์ JavaScript ได้ แต่ บอท AI ส่วนใหญ่ไม่รัน JavaScript เลย พวกมันอ่านเฉพาะ HTML ที่เซิร์ฟเวอร์ส่งกลับมา หากเนื้อหาสำคัญถูกนำเข้ามาในเบราว์เซอร์ด้วย JavaScript ภายหลัง บอท AI ก็จะเห็นหน้าเว็บว่างเปล่าในทางปฏิบัติ
นี่คือข้อค้นพบทางเทคนิคที่สำคัญที่สุดของบทความ จากการศึกษาขนาดใหญ่ของ Vercel และ MERJ (ธันวาคม 2024) พบว่า GPTBot, OAI-SearchBot, ClaudeBot และ PerplexityBot ไม่รัน JavaScript พวกมันอาจดาวน์โหลดไฟล์ JavaScript (เป็นส่วนหนึ่งของข้อมูลที่ดึงมา) แต่ไม่ได้รันมัน ดังนั้นเนื้อหาที่โค้ดจะเพิ่มเข้ามาภายหลังจึงถูกซ่อนไว้จากพวกมัน Googlebot และ agent บางตัวที่ทำงานบนเบราว์เซอร์เป็นข้อยกเว้นที่เรนเดอร์หน้าเว็บ
ในทางปฏิบัติ ปัญหาเกิดขึ้นเมื่อหน้าเว็บถูกสร้างด้วยเฟรมเวิร์กฝั่งไคลเอนต์ที่หนักหน่วง หรือเมื่อราคา ข้อมูลสินค้า ข้อความ หรือข้อมูล Schema ถูกฉีดเข้ามาในหน้าเว็บภายหลังผ่าน Google Tag Manager หรือสคริปต์อื่น สำหรับมนุษย์และ Google หน้าเว็บดูเต็มสมบูรณ์ แต่สำหรับบอท AI โครงที่เซิร์ฟเวอร์ส่งกลับมากลับแทบว่างเปล่า ทางออกคือ เนื้อหาต้องมีอยู่พร้อมแล้วใน HTML ที่เซิร์ฟเวอร์สร้างขึ้น ไม่ว่าจะเป็นแบบเรนเดอร์ฝั่งเซิร์ฟเวอร์ (SSR) หรือเว็บสแตติก
โครงของหน้าเว็บแทบว่างเปล่าเป็น <div id="root"></div> และหัวข้อ ข้อความ กับราคาจะปรากฏก็ต่อเมื่อเบราว์เซอร์รัน JavaScript บอท AI จะอ่านได้เพียงโครงเปล่า
หัวข้อ H1 เนื้อหา ราคา และ application/ld+json อยู่ใน HTML ที่เซิร์ฟเวอร์ส่งกลับมาโดยตรง บอทเห็นเนื้อหาเดียวกับมนุษย์ โดยไม่ต้องใช้ JavaScript
คุณจะทดสอบได้อย่างไรว่า AI เห็นหน้าเว็บของคุณ?
คุณไม่จำเป็นต้องมีเครื่องมือพิเศษ ด้วยการตรวจสามอย่าง คุณก็เห็นได้อย่างรวดเร็วว่า AI เห็นเนื้อหาในหน้าเว็บของคุณหรือไม่
สามวิธีทดสอบการมองเห็นสำหรับ AI
- ตรวจซอร์สโค้ด เปิด ดูซอร์สโค้ดของหน้า (View Source) ในเบราว์เซอร์ ไม่ใช่มุมมอง DOM ใน DevTools แล้วหาว่าหัวข้อ H1 เนื้อหา ราคา และ
application/ld+jsonอยู่ใน HTML โดยตรงหรือไม่ หากสิ่งเหล่านี้ไม่มีในซอร์สโค้ด มันก็ไม่มีสำหรับบอท AI เช่นกัน - ถามโมเดลโดยตรง ขอให้ ChatGPT, Claude และ Perplexity ดึงข้อมูลแบบเรียลไทม์จากที่อยู่เว็บของคุณโดยตรง แล้วดูว่าพวกมันได้เนื้อหาหรือไม่ หากโมเดลใดหาอะไรไม่พบ แสดงว่ามันเจอการบล็อกหรือปัญหาการเรนเดอร์
- ดูบันทึกของเซิร์ฟเวอร์และ CDN ตรวจจากบันทึก (log) ของเซิร์ฟเวอร์และแผงควบคุมของ CDN (เช่น มุมมอง AI ของ Cloudflare) ว่าบอท AI ได้รับคำตอบเป็น 200 OK หรือถูกบล็อกอย่าง 403 หรือ 429 รหัสการบล็อกบ่งบอกว่าบอทถูกปฏิเสธตั้งแต่ระดับเครือข่ายแล้ว
จำเป็นต้องมี llms.txt และไฟล์มหัศจรรย์ใหม่ ๆ หรือไม่?
ไฟล์แยกต่างหากแบบใหม่ เช่น llms.txt ไม่จำเป็นเสมอไป ผู้เล่น AI รายใหญ่ยังไม่ผูกมัดกับมัน และไฟล์เดี่ยว ๆ ไม่ได้แก้ปัญหาที่บอทเข้าหน้าเว็บไม่ได้หรือมองไม่เห็นเนื้อหา ประมาณ 80 เปอร์เซ็นต์ของ SEO แบบเดิมยังใช้ได้อยู่
กล่าวอีกอย่าง พื้นฐานสำคัญยังคงเป็นหลัก: การเข้าถึงได้เชิงเทคนิค โครงสร้างหน้าเว็บที่ชัดเจน การลิงก์ภายในอย่างสมเหตุสมผล และความน่าเชื่อถือ (E-E-A-T คือ ประสบการณ์ ความเชี่ยวชาญ อำนาจ และความไว้วางใจได้) การเปลี่ยนแปลงที่ใหญ่ที่สุดในยุค AI คือ เนื้อหาสำคัญและข้อมูล Schema ของหน้าเว็บต้องอ่านได้จาก HTML โดยตรง โดยไม่ต้องให้เบราว์เซอร์รัน JavaScript และบอทต้องถูกอนุญาตให้เข้าหน้าเว็บได้ เมื่อเรื่องนี้เรียบร้อยแล้ว ไฟล์มหัศจรรย์แยกต่างหากจะเป็นได้อย่างมากก็แค่การปรับจูนละเอียด
| ปัจจัย | Googlebot | บอท AI ส่วนใหญ่ |
|---|---|---|
| รัน JavaScript | ใช่ เรนเดอร์หน้าเว็บ | ไม่ อ่านเฉพาะ HTML ที่เซิร์ฟเวอร์ส่งมา |
| ผ่านไฟร์วอลล์ได้ในกรณีส่วนใหญ่ | โดยทั่วไปใช่ | มักถูกบล็อก ที่ระดับ IP หรือ CDN |
| ปฏิบัติตาม robots.txt | ใช่ | ไม่แน่นอน คำขอจากผู้ใช้มักข้ามไป |
| เห็นเนื้อหาที่โหลดด้วย JS เท่านั้น | ใช่ (หลังการเรนเดอร์) | มองไม่เห็น |
Novavalo แก้ปัญหานี้อย่างไร
ปัญหาที่อธิบายมาข้างต้นเกิดขึ้นเป็นส่วนใหญ่จากวิธีที่เว็บไซต์ถูกสร้างขึ้นในเชิงเทคนิค แนวทางของ Novavalo ขจัดปัญหาเหล่านั้นตั้งแต่ต้น เพราะหน้าเว็บถูกสร้างเสร็จไว้บนเซิร์ฟเวอร์
เว็บไซต์ที่มองเห็นได้ทั้งสำหรับ Google และ AI
Novavalo สร้าง HTML สแตติกที่ประกอบเสร็จไว้บนเซิร์ฟเวอร์ ซึ่งบอท AI อ่านได้:
- เนื้อหามีอยู่พร้อมแล้วใน HTML หัวข้อ ข้อความ ราคา และข้อมูล Schema อยู่ในคำตอบของเซิร์ฟเวอร์ตั้งแต่แรก ไม่ได้ซ่อนอยู่หลัง JavaScript
- ไม่มีการบล็อกบอทที่ไม่จำเป็น หน้าเว็บถูกส่งผ่าน CDN ที่รวดเร็ว โดยที่บอท AI เข้าถึงได้เช่นเดียวกับ Google
- ข้อมูลเชิงโครงสร้างอัตโนมัติ ทุกหน้าถูกสร้างการระบุ Schema ที่เหมาะสม ซึ่ง AI อ่านและอ้างอิงได้
- การทดสอบการมองเห็นแบบ GEO/AEO คุณตรวจได้ด้วยภาษาเข้าใจง่ายว่าการค้นหาด้วย AI มองเห็นธุรกิจของคุณอย่างไร และรับข้อเสนอแนะในการแก้ไข
คำถามที่พบบ่อย
ทำไมเว็บไซต์ของฉันจึงปรากฏบน Google แต่ไม่ปรากฏในการค้นหาด้วย AI?
Googlebot เรนเดอร์ JavaScript และบ่อยครั้งไฟร์วอลล์ก็ปล่อยให้ผ่าน Google จึงเห็นหน้าเว็บ ส่วนบอท AI ส่วนใหญ่ไม่รัน JavaScript แต่อ่านเฉพาะ HTML ดิบที่เซิร์ฟเวอร์ส่งกลับมา และอาจถูกบล็อกที่ไฟร์วอลล์หรือ CDN ตั้งแต่ก่อนจะได้อ่านหน้าเว็บ หากเนื้อหาเพิ่งถูกสร้างขึ้นในเบราว์เซอร์ หรือบอทถูกบล็อก AI ก็จะเห็นหน้าเว็บว่างเปล่า
บอท AI รัน JavaScript หรือไม่?
ส่วนใหญ่ไม่รัน จากการศึกษาขนาดใหญ่พบว่า GPTBot, OAI-SearchBot, ClaudeBot และ PerplexityBot ไม่รัน JavaScript แต่อ่านเฉพาะ HTML ที่เซิร์ฟเวอร์ส่งกลับมา พวกมันอาจดาวน์โหลดไฟล์ JavaScript แต่ไม่ได้รันมัน Googlebot เป็นข้อยกเว้นเพราะมันเรนเดอร์ JavaScript
ทำไมเครื่องมือ SEO จึงขึ้นเขียว ทั้งที่ AI มองไม่เห็นหน้าเว็บ?
เครื่องมือ SEO ทั่วไปมักตรวจเฉพาะไฟล์ robots.txt และความสามารถในการจัดทำดัชนี มันไม่สังเกตว่าไฟร์วอลล์หรือ CDN บล็อกบอท AI ที่ระดับ IP และไม่รู้ว่าเนื้อหาสำคัญเพิ่งถูกโหลดด้วย JavaScript ภายหลัง เครื่องมือจึงอาจแสดงว่าทุกอย่างเรียบร้อย ทั้งที่สำหรับบอท AI หน้าเว็บกลับว่างเปล่าหรือถูกบล็อก
ฉันจะทดสอบได้อย่างไรว่า AI เห็นหน้าเว็บของฉัน?
เปิดซอร์สโค้ดของหน้าเว็บ (ดูซอร์สโค้ดของหน้า) แล้วตรวจว่าหัวข้อ H1 เนื้อหา ราคา และสคีมา application/ld+json อยู่ใน HTML โดยตรงหรือไม่ จากนั้นลองขอให้ ChatGPT, Claude หรือ Perplexity ดึงข้อมูลจากที่อยู่เว็บของคุณโดยตรง แล้วดูว่าสำเร็จหรือไม่ สุดท้ายตรวจจากบันทึก (log) ของเซิร์ฟเวอร์หรือ CDN ว่าบอท AI ได้รับคำตอบเป็น 200 OK หรือถูกบล็อกอย่าง 403 หรือ 429
ฉันจำเป็นต้องมีไฟล์ llms.txt หรือไม่?
ไม่จำเป็นเสมอไป ผู้เล่น AI รายใหญ่ยังไม่ผูกมัดกับไฟล์ llms.txt และมันไม่ได้มาแทนพื้นฐานสำคัญ ประมาณ 80 เปอร์เซ็นต์ของ SEO แบบเดิมยังใช้ได้อยู่ ทั้งการเข้าถึงได้ โครงสร้างที่ชัดเจน การลิงก์ภายใน และความน่าเชื่อถือ (E-E-A-T) การเปลี่ยนแปลงที่สำคัญที่สุดคือ เนื้อหาสำคัญและข้อมูล Schema ต้องอ่านได้จาก HTML โดยตรงโดยไม่ต้องใช้ JavaScript
เว็บไซต์ของ Novavalo มองเห็นได้สำหรับ AI หรือไม่?
ใช่ Novavalo สร้าง HTML สแตติกที่ประกอบเสร็จไว้บนเซิร์ฟเวอร์ โดยมีหัวข้อ ข้อความ ราคา และข้อมูล Schema อยู่พร้อมโดยไม่ต้องพึ่ง JavaScript หน้าเว็บถูกส่งผ่าน CDN ที่รวดเร็วโดยไม่มีการบล็อก IP ของบอท AI บอท AI จึงเห็นเนื้อหาเดียวกับที่มนุษย์เห็น
มองเห็นได้ในการค้นหาด้วย AI ด้วยเช่นกัน
ให้ AI สร้างเว็บไซต์ให้ธุรกิจของคุณ เว็บที่เนื้อหามีอยู่พร้อมแล้วใน HTML ของเซิร์ฟเวอร์ และที่ทั้ง Google กับการค้นหาด้วย AI มองเห็น คุณจะเห็นผลลัพธ์ในไม่กี่นาที
เริ่มฟรี →หมายเหตุความโปร่งใส: บทความนี้จัดทำขึ้นด้วยความช่วยเหลือของ AI และกองบรรณาธิการ Novavalo เป็นผู้รับผิดชอบเนื้อหา บทความนี้เป็นข้อมูลทั่วไปเกี่ยวกับการค้นหาด้วย AI และ SEO เชิงเทคนิค บอทและแนวปฏิบัติของมันเปลี่ยนแปลงอย่างรวดเร็ว โปรดตรวจสอบข้อมูลล่าสุดจากแหล่งข้อมูลทางการด้านล่างเสมอ