قمر كامل 
الجمعة ٢٠ / سبتمبر / ٢٠٢٤
ملف robots.txtهو ملف نصي يتم كتابته على notepad كما سنشرح لاحقا بالإضافة
إلى أنه يمكنك تحميله من رابط مرفق نهاية هذا المقال وهذا النص يتم رفعه على الجذر الرئيسي لموقع الويب وبصورة أوضح
في ملف public_html أو htdocs
الموجود على السي بانل أو الـ .hpanel
يحتوي ملف robots.txt على تعليمات لـ محركات البحث
حول كيفية فهرسة صفحات الموقع. يعمل هذا الملف كمرشد لمحركات البحث، يحدد لها
الصفحات التي يجب فهرستها والصفحات التي يجب تجاهلها.
تتأتي أهمية ملف
robots.txt
من العوامل التالية:
1. يمنحك
ملف robots.txt تحكمًا دقيقًا في الصفحات التي تظهر في
نتائج البحث.
2. يمكنك
من خلاله حماية المحتوى الحساس أو المؤقت من الفهرسة.
3. يساعد
محركات البحث على التركيز على الصفحات المهمة، مما يحسن من سرعة الزحف والفهرسة.
4. تحسين
تجربة المستخدم من خلال منع فهرسة الصفحات غير المكتملة أو التي تحتوي على أخطاء.
5. يمكنك
حماية البيانات الشخصية من خلال منع فهرسة الصفحات التي تحتوي عليها.
6. يساعد
في الالتزام بسياسات الخصوصية الخاصة بك.
يحتوي ملف robots.txt على مجموعة من الأوامر (Directives) التي تفهمها محركات البحث، مثل:
· User-agent الذي يحدد نوع الروبوت (محرك البحث) الذي
يتم توجيه الأمر إليه.
· Disallow
الذي يمنع محركات البحث من الوصول إلى صفحة معينة أو مجموعة من الصفحات.
· Allow
الذي يسمح لمحركات البحث بالوصول إلى صفحة معينة.
· Sitemap
الذي يشير إلى ملف Sitemap الذي يحتوي على قائمة مفصلة بجميع
صفحات الموقع.
1. ملف robots.txt ليس حائط صد، يمنع محركات البحث من الوصول لموقعك بشكل تام ولكنه مجرد
توجيه وقد لا تمتثل بعض محركات البحث لهذه التوجيهات.
2. يجب
تحديث ملف robots.txt بشكل دوري ليعكس التغييرات التي تطرأ
على موقعك.
3. اختبار
ملف robots.txt
من خلال استخدم أدوات الاختبار المتوفرة على الانترنت للتحقق من
صحته أمر ضروري .
4. اجعل
ملف robots.txt واضحًا وبسيطًا قدر الإمكان.
5. ابدأ
بملف robots.txt أساسي ثم قم بتعديله تدريجيًا.
6. إذا كنت تواجه صعوبة في إنشاء ملف robots.txt، فاستشر خبراء seo عالم واحد للإعلام والبرمجيات
