ملف robots.txt لحماية المنتدى

ملاحظة تحريرية: أُعيد إعداد هذا الدرس بسبب تلف ترميز النص الأصلي وعدم إمكانية استعادته بدقة. النص التالي شرح بديل، وليس نقلًا حرفيًا لكلام الكاتب الأصلي. نحتفظ بنسبة المصدر إلى حذيفة احمد، مع الإشارة إلى أن المعلومات التقنية أُعيدت مراجعتها.

ما هو ملف robots.txt؟

ملف robots.txt ملف نصي توضع تعليماته في جذر اسم النطاق، ويُستخدم لتوجيه برامج الزحف الملتزمة بمعيار استبعاد الروبوتات إلى المسارات التي يمكنها أو لا يمكنها الزحف إليها. يفيد في تقليل الزحف غير الضروري لصفحات المنتدى، لكنه لا يمنع دخول الزوار إلى الروابط، ولا يحمي لوحة الإدارة، ولا يضمن إزالة الصفحات من نتائج البحث.

أين يوضع الملف؟

إذا كان المنتدى يعمل على https://example.com/ فيكون موضع الملف https://example.com/robots.txt. أما إذا كان المنتدى في مجلد مثل /community/ فيظل موضع الملف في جذر النطاق، وتُكتب مسارات المنتدى مسبوقة بـ /community/. لا تعتمد على وضع robots.txt داخل مجلد المنتدى وحده.

مثال أولي

هذا نموذج بسيط لمنتدى موجود في جذر النطاق. عدّل المسارات بحسب بنية موقعك، ولا تُطبّق أي منع دون التأكد من أن الصفحات المقصودة غير مطلوبة للزحف:

User-agent: *
Disallow: /search.php
Disallow: /ucp.php

إذا كان المنتدى في /community/ تصبح الأمثلة Disallow: /community/search.php وDisallow: /community/ucp.php. هذه أمثلة لضبط الزحف وليست إعدادات أمنية، وقد تختلف المسارات والروابط المتاحة حسب إصدار phpBB والإضافات المستخدمة.

ما الذي لا ينبغي فعله؟

• لا تضع كلمات مرور أو مفاتيح وصول أو معلومات حساسة داخل الملف؛ فهو متاح للعامة.
• لا تعتبر تعليمات Disallow بديلًا عن صلاحيات phpBB أو إعدادات الخادم التي تمنع الوصول فعليًا.
• لا تمنع مجلدات ملفات CSS أو JavaScript أو الصور اللازمة لعرض الصفحات وفهمها لدى محركات البحث.
• لا تستخدم Disallow وحدها لإزالة عنوان URL مفهرس. لإزالة الفهرسة، استخدم وسيلة مناسبة مثل noindex في صفحة قابلة للزحف أو حالة HTTP مناسبة بحسب الغرض؛ منع الزحف قد يمنع محرك البحث من رؤية تعليمات noindex.

كيف تتحقق من الإعدادات؟

1. افتح عنوان /robots.txt مباشرة وتأكد أنه يعرض الملف النصي المقصود دون تحويلات غير متوقعة.
2. راجع مسارات المنتدى الحقيقية وعناوين الصفحات العامة قبل إضافة تعليمات المنع.
3. استخدم أدوات فحص عناوين URL والزحف في محرك البحث الذي تهتم به للتأكد من أن الصفحات المهمة قابلة للزحف.
4. راقب الفهرسة بعد التعديل، وغيّر التعليمات عند ظهور آثار غير مقصودة.

التوافق مع إصدارات phpBB

فكرة الملف عامة ولا تعتمد على نسخة بعينها من phpBB. مع ذلك، تختلف المسارات وطريقة توليد الروابط بين phpBB 3.0 والإصدارات الأحدث وبين المنتديات التي تستخدم إضافات أو إعادة كتابة الروابط. لذلك فهذا دليل مبادئ وليس ملفًا جاهزًا للتطبيق على جميع الإصدارات. لا تتبع تعليمات قديمة بإغلاق مجلدات كاملة دون التحقق من محتوياتها.

تنبيه أخير: إذا كان هدفك حماية المنتدى من الاختراق، ابدأ بتحديث phpBB وإضافاته، وضبط الصلاحيات والخادم والنسخ الاحتياطية؛ ملف robots.txt ليس أداة للحماية الأمنية.