เมื่อวาน ได้รับเมล์จาก google เค้าแจ้งว่า โปรแกรมรวบรวมข้อมูลโฆษณา AdSense ไม่สามารถเข้าถึงไซต์ของคุณได้เป็นจำนวนมาก โดยเราพบว่าขณะนี้ AdSense crawler มีปัญหาในการรวบรวมข้อมูลบางส่วนในไซต์ ???? dot com ของคุณ กล่าวโดยละเอียดคือ เราพบว่า 3120 (ตั้ง 3พันกว่าหน้าเลยเหรอ) ไม่สามารถทำตามคำขอรวบรวมข้อมูลได้ในช่วง 4 วันของสัปดาห์ที่แล้ว ซึ่งน่าจะมีสาเหตุมาจากไฟล์ robots.txt ของคุณ จุดสำคัญคือไฟล์นี้ได้บล็อกไม่ให้โปรแกรมรวบรวมข้อมูลโฆษณา AdSense ของเราเข้าถึงบางส่วนในไซต์ของคุณ ด้วยเหตุนี้ โฆษณา AdSense ของคุณจึงตรงเป้าหมายน้อยลงและสร้างรายได้ได้น้อยลงโดยเฉลี่ย
อย่างไรก็ตาม คุณสามารถแก้ปัญหานี้ได้แล้วตั้งแต่วันนี้ โดยการแก้ไขไฟล์ robots.txt และอนุญาตให้โปรแกรมรวบรวมข้อมูลโฆษณา AdSense สามารถดูเนื้อหาในไซต์ของคุณ ในการทำเช่นนั้น ให้ค้นหาไฟล์ robots.txt ซึ่งอยู่ที่ ???? dot com/robots.txt แล้วเพิ่มโค้ดสองบรรทัดต่อไปนี้ไว้ที่ด้านบนสุด:
User-agent: Mediapartners-Google
Disallow:
การแก้ปัญหานี้จะอนุญาตให้โปรแกรมรวบรวมข้อมูลของเรา สามารถแสดงโฆษณาไปยังหน้าเว็บในไซต์ของคุณได้มากขึ้น ทำให้ผู้ใช้เห็นโฆษณาที่ตรงเป้าหมายยิ่งขึ้น และส่งผลให้คุณมีโอกาสได้รับรายได้เพิ่มขึ้นด้วย โปรดทราบว่าการเปลี่ยนแปลงนี้จะไม่ส่งผลต่อการจัดลำดับในการค้นหาของ Google แต่อย่างใด การเพิ่มสองบรรทัดนี้ลงในไฟล์ robots.txt จะช่วยให้เราสามารถแสดงโฆษณาที่มีคุณภาพและเกี่ยวข้องยิ่งขึ้นไปยังหน้าเว็บที่มีโค้ด AdSense ติดตั้งอยู่แล้ว หน้าเว็บที่ไม่มีโค้ด AdSense จะไม่ได้รับผลกระทบ จาก ทีมงาน Google AdSense
ก็ถือเป็นความรู้และเทคนิคการใช้ robots.txt ยังไงผมก็จะลองเพิ่มไอ้บรรทัดด้านบนดู เผื่อว่ามันจะมีผลติดตามในทุกๆ หน้ามากขึ้น แต่เอ ผมก็สงสัย ผมไม่ได้ lock อะไรไว้นี่หว่า ทำไมมันถึงติดตามไม่ได้ตั้ง 3 พันกว่าหน้าแน่ะ งงแฮะ