قمر كامل 
الخميس ٢١ / نوفمبر / ٢٠٢٤
في عالم تحسين محركات البحث (SEO)، تعد أوامر noindex و nofollow
و disallow أدوات قوية يتحكم بها
مديرو المواقع لتوجيه محركات البحث مثل جوجل و بينج نحو صفحات معينة داخل الموقع
الإلكتروني فكل أمر من هذه الأوامر يؤثر بشكل مختلف على كيفية فهرسة الصفحة وطريقة
التعامل مع الروابط الموجودة بها.
عملية الزحف هي
بمثابة استكشاف يقوم به محرك البحث لمواقع الويب على الإنترنت ولك أن تتخيل أن محرك البحث
هو مكتبة ضخمة، وعملية الزحف هي عملية تسجيل وتنظيم الكتب (صفحات الويب) في هذه
المكتبة.
باختصار، عملية
الزحف هي الأساس الذي يقوم عليه ظهور موقعك في نتائج البحث ومن خلال فهم هذه
العملية يمكنك اتخاذ خطوات لتحسين موقعك seo وزيادة فرص ظهوره في أعلى نتائج البحث.
تبدأ عملية
الزحف عادة من نقطة البداية، والتي يمكن أن تكون:
روابط من مواقع
أخرى: إذا كان موقعك يرتبط بمواقع أخرى، فإن محركات البحث قد تكتشف موقعك عن طريق
متابعة هذه الروابط.
إرسال موقعك إلى
محركات البحث: يمكنك إرسال عنوان موقعك مباشرة إلى محركات البحث مثل جوجل.
1. اكتشاف
الروابط: بمجرد أن يبدأ محرك البحث في زحف موقعك، فإنه يبحث عن جميع الروابط
الموجودة في الصفحات التي يزورها.
2. متابعة
الروابط: بعد اكتشاف الروابط، يقوم المحرك البحثي بمتابعتها لزيارة صفحات جديدة.
3. فهرسة
المحتوى: يقوم المحرك البحثي بتحليل محتوى الصفحات التي يزورها، بما في ذلك النصوص
والصور والفيديوهات، ويقوم بفهرسة هذه المعلومات.
4. تقييم
أهمية الصفحة: يقوم المحرك البحثي بتقييم أهمية كل صفحة بناءً على العديد من
العوامل، مثل جودة المحتوى، وعدد الروابط المؤشرة إليها، وعمر الصفحة.
لماذا عملية
الزحف مهمة؟
1. ظهور
موقعك في نتائج البحث: إذا لم يتم زحف موقعك وفهرسته، فلن يظهر في نتائج البحث.
2. فهم
محركات البحث لمحتواك: تساعد عملية الزحف محركات البحث على فهم محتوى موقعك بشكل
أفضل، وبالتالي ترتيبه بشكل صحيح في نتائج البحث.
· خريطة
موقع واضحة: تساعد خريطة الموقع محركات البحث على فهم بنية موقعك وتحديد الصفحات
الهامة.
· محتوى
عالي الجودة: المحتوى الأصلي والمفيد يجذب المستخدمين والمحركات البحثية على حد
سواء.
· روابط
داخلية وخارجية: تساعد الروابط على ربط صفحات موقعك ببعضها البعض وبربط موقعك
بمواقع أخرى ذات صلة.
الفهرسة هي عملية تنظيم المعلومات وتصنيفها بطريقة منهجية، مما يسهل عملية البحث والوصول إليها لاحقًا. تخيل أنك تمتلك مكتبة كبيرة مليئة بالكتب، فبدلًا من البحث عشوائيًا عن كتاب معين، يمكنك استخدام الفهرس للعثور عليه بسرعة.
موضوع يهمك:
لماذا الفهرسة
مهمة؟
1. التنظيم:
تساعد الفهرسة على تنظيم كميات كبيرة من المعلومات بشكل منطقي وسهل الفهم.
2. الوصول
السريع: تتيح الفهرسة الوصول إلى المعلومات المطلوبة بسرعة وفعالية.
3. التجنب
من التكرار: تساعد في تجنب تكرار المعلومات وتوفير الوقت والجهد.
4. تحسين
البحث: تجعل عملية البحث أكثر دقة وشمولية.
عندما تقوم بكتابة كلمة مفتاحية في محرك بحث، فإن المحرك يبحث في فهرسه الضخم عن الصفحات التي تحتوي على هذه الكلمة أو عبارات مشابهة. يتم بعد ذلك ترتيب نتائج البحث بناءً على مجموعة من العوامل، بما في ذلك مدى ملاءمة الصفحة للكلمة المفتاحية، وشعبيتها، وجودتها.
موضوعات تهمك:
تحليل مواقع المنافسين .. الكلمات المفتاحية – Ahrefs – MOZ
والآن نأتي لشرح
المصطلحات الثلاثة بالتفصيل:
1. noindex: إخفاء الصفحة عن نتائج البحث
تعريف: هذا
الأمر يخبر محركات البحث بعدم إضافة الصفحة إلى نتائج البحث العادية.
شكل كود noindex
يمكن منع محرك محدد وليكن جوجل
الهدف:
1. منع
ظهور صفحات غير ذات صلة أو منخفضة الجودة في نتائج البحث.
2. حماية
المحتوى الحصري أو المؤقت.
3. إدارة
المحتوى المكرر.
2.
nofollow: تجاهل قيمة الرابط
تعريف: هذا
الأمر يخبر محركات البحث بعدم اتباع الروابط الموجودة على الصفحة عند حساب ترتيب
الصفحات الأخرى.
رابط nofollow
وهذا يعني أنك تطلب من محرك البحث أن الروابط الخارجية الموجود في الصفحة
لا تخصك ولا تطلب فهرستها
ويمك تحديد محرك محدد لاخباره بذلك دونا عن المحركات الأخرى وليكن محرك
بينج
bingbot" content="nofollow" />
الهدف:
1. منع
نقل قوة الصفحة إلى مواقع غير موثوقة.
2. تمييز
الروابط المدفوعة أو الإعلانية.
3. حماية
من تلاعب الروابط.
مثال: روابط في
التعليقات أو في توقيعات المنتديات.
3.
disallow: منع الزحف إلى الصفحة
تعريف: هذا
الأمر يخبر محركات البحث بعدم زحف الروبوتات إلى الصفحة أو المجلد.
الهدف:
1. حماية
المحتوى الخاص أو الحساس.
2. منع
الزحف إلى صفحات غير مكتملة أو مؤقتة.
3. تحسين
سرعة الزحف للموقع.
مثال: ملف robots.txt الذي يحتوي على قواعد
الزحف للموقع.
يمكنك ملف robots.txt من تحديد الملفات التي
يمكن لبرامج الزحف الوصول إليها على موقعك الإلكتروني ويتم وضع ملف robots.txt في جذر موقعك
الإلكتروني.
مثلاً، في ما يخصّ الموقع الإلكتروني www.example.com، يتم وضع ملف robots.txt في www.example.com/robots.txt.
وملف robots.txt هو ملف نصي عادي يتّبع
معيار استبعاد برامج الروبوت. يتكون ملف robots.txt من قاعدة واحدة أو أكثر.
تمنع كل قاعدة
أو تتيح إمكانية وصول برنامج زحف معيّن أو كل برامج الزحف إلى مسار ملف محدّد على
النطاق أو النطاق الفرعي حيث تتم استضافة ملف robots.txt.
يتم السماح ضمنيًا بالزحف إلى جميع الملفات ما
لم تحدّد خلاف ذلك في ملف robots.txt.
# Example 1: Block only Googlebot
User-agent: Googlebot
Disallow: /
# Example 2: Block Googlebot and Adsbot
User-agent: Googlebot
User-agent: AdsBot-Google
Disallow: /
# Example 3: Block all crawlers except AdsBot (AdsBot crawlers must be
named explicitly)
User-agent: *
Disallow: /
وهذا نموذج أخر
User-agent: Googlebot
Disallow: /nogooglebot/
User-agent: *
Allow: /
Sitemap: https://www.example.com/sitemap.xml
إليك ما يعنيه
ملف robots.txt
هذا:
لا يُسمَح لوكيل
المستخدم المُسمّى Googlebot بالزحف إلى أي عنوان URL يتضمّن https://example.com/nogooglebot/ في بدايته.
ويُسمح لجميع
برامج وكيل المستخدم الأخرى بالزحف إلى جميع أقسام الموقع الإلكتروني. يمكن حذف
هذه القاعدة والحصول مع ذلك على النتيجة نفسها، لأنّ السلوك التلقائي هو السماح
لبرامج وكيل المستخدم بالزحف إلى جميع أقسام الموقع الإلكتروني.
تم وضع ملف
خريطة الموقع الخاص بالموقع الإلكتروني في https://www.example.com/sitemap.xml.
نموذج word سهل لملف robots.txt
User-agent: Googlebot
Allow: /
User-agent: Googlebot-Mobile
Allow: /
user-agent: Mediapartners-Google
Allow: /
User-agent: Googlebot-Image
Allow: /
User-agent: Googlebot-news
Allow: /
Sitemap: https://domainname.com/sitemap.php
متى تستخدم كل
أمر؟
· noindex: استخدمه للصفحات التي
لا تريد ظهورها في نتائج البحث، مثل صفحات الشكر أو صفحات النتائج المؤقتة.
· nofollow: استخدمه للروابط التي
لا تريد أن تنقل قوة الصفحة إليها، مثل روابط المنتديات أو الروابط المدفوعة.
· disallow: استخدمه لحماية المحتوى
الحساس أو لمنع الزحف إلى صفحات غير مهمة.
جدول مقارنة بين nofollow, noindex, disallow
|
الأمر |
التأثير على الفهرسة |
التأثير على الروابط |
أين يستخدم |
|
noindex |
لا يتم فهرسة الصفحة |
لا يؤثر على الروابط |
في رأس الصفحة (meta tag) |
|
nofollow |
يتم فهرسة الصفحة |
لا يتم اتباع الروابط |
في علامة الرابط (anchor tag) |
|
disallow |
لا يتم زحف الصفحة |
لا يؤثر مباشرة |
في ملف robots.txt |
