อ่านบทความเบื้องหลัง Paywalls โดยปลอมตัวเป็น Googlebot

อินเทอร์เน็ตอยู่ที่จุดเปลี่ยน การเพิ่มขึ้นอย่างต่อเนื่องของการปิดกั้นทำให้หมดรูปแบบรายได้ที่ต้องอาศัยดอลลาร์โฆษณาเพื่อใช้งานเว็บไซต์และธุรกิจ

โดยเฉพาะเว็บไซต์ข่าวได้เริ่มทดลองกับวิธีการกระจายแหล่งรายได้และทางเลือกหนึ่งที่โดดเด่นที่เว็บไซต์เช่น The Wall Street Journal, Financial Times, The New York Times หรือ The Washington Post ล้วนแล้วแต่เป็นระบบ paywall

มี paywall ประเภทต่าง ๆ แต่มีทั้งหมดเหมือนกันว่าพวกเขาบล็อกการเข้าถึงเนื้อหาไม่ว่าโดยตรงหรือหลังจากที่มีการอ่านบทความจำนวนหนึ่งบนไซต์

ผู้เข้าชมจะถูกขอให้สมัครเป็นสมาชิกของเว็บไซต์เพื่ออ่านบทความต่อไป

มันอาจสมเหตุสมผลจากมุมมองทางธุรกิจและอาจมีกำไรมากกว่าการต่อสู้กับผู้ใช้ที่เรียกใช้ adblockers แต่มีข้อเสียสำหรับเว็บไซต์ paywalled และผู้ใช้ที่ถูกบล็อก

ไซต์สูญเสียผู้เยี่ยมชมเป็นเปอร์เซ็นต์หากพวกเขาใช้ระบบ paywall มันไม่ชัดเจนว่าจริง ๆ แล้วเปอร์เซ็นต์สูงและอาจแตกต่างกันไปในแต่ละไซต์ แต่มีแนวโน้มสูงกว่าเปอร์เซ็นต์ของผู้เยี่ยมชมที่สมัครเป็นสมาชิกไซต์หลังจากถูกนำเสนอพร้อมตัวเลือกในการสมัครเพื่ออ่านบทความที่ต้องการ

หลอกลวงเบราว์เซอร์ของคุณ

มันเป็นความลับที่ไซต์ข่าวอนุญาตให้เข้าถึงตัวรวบรวมข่าวสารและเครื่องมือค้นหา หากคุณตรวจสอบ Google News หรือค้นหาตัวอย่างคุณจะพบบทความจากเว็บไซต์ที่มี paywall อยู่ในรายการ

ในอดีตไซต์ข่าวอนุญาตให้เข้าถึงผู้เยี่ยมชมที่มาจากผู้รวบรวมข่าวสำคัญ ๆ เช่น Reddit, Digg หรือ Slashdot แต่การฝึกฝนนั้นดูเหมือนจะดีเหมือนตายในปัจจุบัน

เคล็ดลับอีกประการหนึ่งในการวางชื่อบทความลงในเครื่องมือค้นหาเพื่ออ่านเรื่องที่แคชไว้โดยตรงดูเหมือนจะไม่ทำงานอย่างถูกต้องอีกต่อไปรวมถึงบทความในเว็บไซต์ที่มี paywall มักจะไม่ถูกแคชอีกต่อไป

อัปเดต : The Wall Street Journal ประกาศว่าจะเสียบรูที่อธิบายไว้ด้านล่าง คุณยังสามารถอ่านบทความเบื้องหลัง paywall ของเว็บไซต์ได้อย่างไรก็ตามโดยใช้วิธีการต่อไปนี้:

  1. กด F12 เมื่อคุณอยู่ในหน้าบทความที่มีบทความตัดออกและคำขอให้สมัครสมาชิกเพื่ออ่านแบบเต็ม
  2. เปิดแท็บคอนโซล
  3. วาง javascript: window.location = "// m.facebook.com/l.php?u="+encodeURIComponent(window.location.href);
  4. กด Enter

หน้าควรโหลดซ้ำและโหลดบทความเต็ม คุณสามารถโพสต์ลิงก์บทความบน Facebook เช่นในโพสต์ใหม่ที่มี แต่คุณเท่านั้นที่เห็น คลิกที่ลิงค์โพสต์ควรโหลดบทความทั้งหมดในเว็บไซต์ The Wall Street Journal

ตัวแทนผู้ใช้และผู้อ้างอิง

คุณอาจสงสัยว่าไซต์บล็อกหรืออนุญาตการเข้าถึงเนื้อหาของไซต์ได้อย่างไร มีการปรับปรุงวิธีการต่างๆในช่วงหลายปีที่ผ่านมาและไม่เพียงพอที่จะเปลี่ยนผู้อ้างอิงของเบราว์เซอร์เป็น //www.google.com/ เพื่อให้เข้าถึงเนื้อหาของไซต์ได้อย่างเต็มที่

แต่ไซต์ใช้การตรวจสอบที่หลากหลายซึ่งรวมถึง user-agent ผู้อ้างอิงและคุกกี้และบางครั้งยิ่งกว่านั้นเพื่อกำหนดความถูกต้องของการเข้าถึง

ข้อมูลทั่วไป

อาจเป็นวิธีที่ดีที่สุดในการปลอมแปลงเบราว์เซอร์คือทำให้ดูเหมือนว่าเป็น Googlebot

  • ผู้อ้างอิง: //www.google.com/
  • User-Agent: Mozilla / 5.0 (ใช้งานได้; Googlebot / 2.1; + // www.google.com/bot.html

Firefox

ผู้ใช้ Firefox ต้องการโปรแกรมเสริมของเบราว์เซอร์สองรายการ: ตัวแรกคือ RefControl เพื่อเปลี่ยนค่าผู้อ้างอิงเมื่อเข้าสู่เว็บไซต์ข่าวที่สองคือ User Agent Switcher เพื่อเปลี่ยนตัวแทนผู้ใช้ของเบราว์เซอร์

  1. ดาวน์โหลดและติดตั้งส่วนขยายทั้งสองในเว็บเบราว์เซอร์ Firefox
  2. แตะที่ปุ่ม Alt และเลือกเครื่องมือ> ตัวเลือก RefControl
  3. คลิกที่ "เพิ่มไซต์" ป้อนชื่อโดเมนภายใต้ไซต์เลือกการกระทำที่กำหนดเองและป้อน //www.google.co.th/ ในฐานะผู้อ้างอิง
  4. ทำซ้ำสิ่งนี้สำหรับเว็บไซต์ข่าวทั้งหมดที่คุณต้องการเข้าถึง (บางเว็บไซต์อาจไม่ทำงานแม้ว่าคุณจะทำการเปลี่ยนแปลงดังนั้นโปรดคำนึงไว้เสมอ)
  5. เมื่อเสร็จแล้วให้ปิดหน้าต่างการตั้งค่า
  6. แตะที่ปุ่ม Alt อีกครั้งและเลือกเครื่องมือ> ตัวแทนผู้ใช้เริ่มต้น> แก้ไขตัวแทนผู้ใช้จากเมนู
  7. เลือกใหม่> ตัวแทนผู้ใช้และแทนที่สตริงในฟิลด์ตัวแทนผู้ใช้ด้วย Mozilla / 5.0 (เข้ากันได้; Googlebot / 2.1; + // www.google.com/bot.html) ตั้งชื่อเป็น Googlebot
  8. ออกจากเมนู
  9. ก่อนที่คุณจะเข้าถึงเว็บไซต์เหล่านี้ให้แตะที่ Alt แล้วเลือกตัวแทนผู้ใช้เริ่มต้น> Googlebot

นี่คือทั้งหมดที่มีไป เป็นเรื่องน่าเสียดายเล็กน้อยที่ไม่มีส่วนขยายสำหรับ Firefox ที่เปลี่ยนตัวแทนผู้ใช้โดยอัตโนมัติตามไซต์ที่คุณเยี่ยมชม

Google Chrome

ผู้ใช้ Google Chrome สามารถติดตั้งส่วนขยายเช่น User Agent Switcher และ Referer Control ที่มีให้เบราว์เซอร์ทำเช่นเดียวกัน

อย่างไรก็ตามมีความเป็นไปได้อื่นและนั่นคือการสร้างส่วนขยายที่กำหนดเองซึ่งจะทำให้กระบวนการในเบราว์เซอร์เป็นไปโดยอัตโนมัติ

มีคำแนะนำใน Elaineou สิ่งที่ต้องทำก็คือสร้างไดเรกทอรีใหม่บนเครื่องคอมพิวเตอร์สร้างไฟล์สองไฟล์ background.js และ manifest.json ไว้ข้างในแล้วคัดลอกและวางรหัสที่พบในไซต์ลงในไฟล์

คุณต้องเปิดใช้งาน "โหมดนักพัฒนาซอฟต์แวร์" บน chrome: // extensions / และจากนั้นเลือก "load unpacked extension" เพื่อเลือกโฟลเดอร์ที่คุณสร้างไฟล์ทั้งสองไว้เพื่อโหลดส่วนขยายใน Chrome

คุณสามารถแก้ไขรายการไซต์ที่รองรับเพื่อเพิ่มไซต์ใหม่