دليل كامل عن ملف Robots.txt للوردبريس – ما هو وكيفية استخدامه

هل سبق لك أن سمعت بمصطلح robots.txt وتساءلت عن كيفية تطبيقه على موقعك على الويب؟ تحتوي معظم مواقع الويب على ملف robots.txt، ولكن هذا لا يعني أن معظم مشرفي المواقع يفهمونه. في هذا الموضوع ، نأمل أن نغير ذلك من خلال توفير الغوص العميق في ملف robots.txt  للوردبريس، وكذلك كيف يمكن التحكم والحد من الوصول إلى الموقع الخاص بك. وبحلول النهاية، ستتمكن من الإجابة عن أسئلة مثل:

  1. ما هو ملف وردبريس Robots.txt؟
  2. كيف يساعد ملف Robots.txt موقع الويب الخاص بي؟
  3. كيف يمكنني إضافة Robots.txt إلى وردبريس؟
  4. ما أنواع القواعد التي يمكنني وضعها في Robots.txt؟
  5. كيف يمكنني اختبار ملف robots.txt؟
  6. كيف تقوم مواقع وردبريس الكبيرة بتنفيذ ملف Robots.txt؟
wordpress robots.txt 1 min DzTechs - دليل كامل عن ملف Robots.txt للوردبريس - ما هو وكيفية استخدامه

هناك الكثير لتغطية لذلك دعونا نبدأ!

ما هو ملف Robots.txt للوردبريس ؟

قبل أن نتحدث عن ملف robots.txt للوردبريس، من المهم تحديد ما هو “Robots” في هذه الحالة. الروبوتات هي أي نوع من “بوت” التي تزور المواقع على شبكة الإنترنت. المثال الأكثر شيوعا هو برامج زحف محركات البحث. تعمل برامج التتبع هذه على “الزحف” حول الويب لمساعدة محركات البحث مثل فهرس غوغل من أجل ترتيب المليارات من الصفحات على الإنترنت.

لذا، البوتات، بشكل عام، شيء أمر جيد للإنترنت … أو على الأقل شيء ضروري. ولكن هذا لا يعني بالضرورة أنك، أو مشرفي المواقع الآخرين، يريدون أن يتوجه Bot في جميع الأنحاء بشكل غير مقيد. أدت الرغبة في التحكم في كيفية تفاعل الروبوتات مع مواقع الويب إلى إنشاء معيار استبعاد الروبوتات في منتصف التسعينات. ملف robots.txt هو التطبيق العملي لهذا المعيار – فهو يتيح لك التحكم في كيفية تفاعل برامج البوت مع موقعك. يمكنك حظر برامج التتبع بشكل كامل، وتقييد وصولها إلى مناطق معينة من موقعك، والمزيد.

غير أن جزء “المشاركة” مهم. لا يمكن لملف Robots.txt إجبار بوت على اتباع توجيهاته. ويمكن لبرامج التتبع الخبيثة تجاهل ملف robots.txt. بالإضافة إلى ذلك، حتى المنظمات ذات السمعة الطيبة تتجاهل بعض الأوامر التي يمكنك وضعها في Robots.txt. على سبيل المثال، ستتجاهل غوغل أية قواعد تضيفها إلى ملف robots.txt حول عدد مرات زيارة برامج الزحف. إذا كنت تواجه الكثير من المشاكل مع Bots، حل أمني مثل كلودفلار أو سوكوري يمكن أن يأتي في متناول اليدين لحل مثل هذه المشاكل.

لماذا يجب أن تهتم بملف robots.txt الخاص بك؟

بالنسبة لمعظم مشرفي المواقع، تتنوع مزايا ملف robots.txt الجيد التنظيم إلى فئتين:

  • تحسين موارد زحف محركات البحث من خلال إخبارهم بعدم إضاعة الوقت على الصفحات التي لا تريد فهرستها. وهذا يساعد على ضمان تركيز محركات البحث على الزحف إلى الصفحات التي تهتم بها أكثر من غيرها.
  • تحسين استخدام البحث الخاص بك عن طريق منع Bots التي تهدر موارد الخادم الخاص بك.

ملف robots.txt ليس عمله بالتحديد التحكم في الصفحات التي تحصل على فهرسة في محركات البحث

ملف robots.txt ليس طريقة مضمونة للتحكم في فهرس محركات بحث للصفحات. إذا كان هدفك الأساسي هو إيقاف تضمين صفحات معينة في نتائج محرك البحث، فإن النهج الصحيح هو استخدام علامة ميتا noindex أو طريقة أخرى مشابهة بطريقة مماثلة.

ويرجع السبب في ذلك إلى أن ملف robots.txt لا يقر لمحركات البحث بشكل مباشر بعدم فهرسة المحتوى، بل إنها تخبرهم بعدم الزحف إليها. على الرغم من أن غوغل لن تزحف إلى المناطق التي تم وضع علامة عليها من داخل موقعك، إلا أن غوغل نفسها تنص على أنه في حالة وجود ارتباط موقع خارجي بصفحة تستثنيها بملف Robots.txt، فإن غوغل لا يزال يمكنه فهرسة هذه الصفحة.

ذات صلة:  كيفية إعادة تثبيت الوردبريس : 5 طرق مختلفة اعتمادا على احتياجاتك

كيفية إنشاء وتحرير ملف robots.txt للوردبريس الخاص بك

بشكل افتراضي، يقوم وردبريس تلقائيا بإنشاء ملف robots.txt افتراضي لموقعك. لذا، حتى إذا لم ترفع ذلك، فيجب أن يكون موقعك قام بانشاء ملف robots.txt الافتراضي. يمكنك اختبار ما إذا كان هذا هو الحال من خلال إلحاق “/robots.txt” بنهاية اسم النطاق. على سبيل المثال، يعرض “https://www.dz-techs.com/robots.txt” ملف robots.txt الذي نستخدمه هنا في تقنيات ديزاد:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-config.php
Allow: /assets/uploads/
Disallow: /assets/uploads/profiles 
Disallow: /go/
Disallow: /out/

لأن هذا الملف هو ظاهري، على الرغم من أنه لا يمكنك تحريره. إذا كنت تريد تعديل ملف robots.txt، فستحتاج إلى إنشاء ملف فعلي على الخادم الذي يمكنك التعامل معه حسب الحاجة. في ما يلي ثلاث طرق بسيطة للقيام بذلك …

كيفية إنشاء وتحرير ملف Robots.txt مع Yoast SEO

إذا كنت تستخدم الاضافة الشهيرة Yoast SEO، فيمكنك إنشاء ملف robots.txt (وتعديله لاحقا) مباشرة من واجهة Yoast . قبل أن تتمكن من الوصول إليه، على الرغم من ذلك، تحتاج إلى تمكين الميزات المتقدمة في Yoast SEO من خلال الذهاب إلى SEO  → لوحة → الميزات والتغيير على صفحات الإعدادات المتقدمة:

what is robotstxt 2 min DzTechs - دليل كامل عن ملف Robots.txt للوردبريس - ما هو وكيفية استخدامه

مرة واحدة أين تم تنشيط ذلك، يمكنك الذهاب إلى SEO → أدوات وانقر على محرر الملف:

what is robotstxt 3 min DzTechs - دليل كامل عن ملف Robots.txt للوردبريس - ما هو وكيفية استخدامه

على افتراض أنه ليس لديك ملف robots.txt فعلي، سيعطيك يواست خيار إنشاء ملف robots.txt:

what is robotstxt 4 min DzTechs - دليل كامل عن ملف Robots.txt للوردبريس - ما هو وكيفية استخدامه

وبعد النقر على هذا الزر، ستتمكن من تعديل محتويات ملف Robots.txt مباشرة من الواجهة نفسها:

what is robotstxt 5 min DzTechs - دليل كامل عن ملف Robots.txt للوردبريس - ما هو وكيفية استخدامه

كما تقرأ، سنقوم بالتعمق أكثر في ما أنواع التوجيهات لوضعها في ملف robots.txt للوردبريس الخاص بك.

كيفية إنشاء وتحرير ملف Robots.txt مع All In One SEO

إذا كنت تستخدم الاضافة الشعبية التي تقترب من يوست، اضافة All In One SEO Pack، يمكنك أيضا إنشاء وتحرير ملف robots.txt وردبريس الخاص بك مباشرة من واجهة البرنامج المساعد. كل ما عليك القيام به هو الذهاب إلى All In One SEO →Feature Manager وتنشيط  ميزة Robots.txt:

what is robotstxt 6 min DzTechs - دليل كامل عن ملف Robots.txt للوردبريس - ما هو وكيفية استخدامه

بعد ذلك، ستتمكن من إدارة ملف Robots.txt عن طريق الانتقال إلى All In One → ملف robots.txt:

what is robotstxt 7 min DzTechs - دليل كامل عن ملف Robots.txt للوردبريس - ما هو وكيفية استخدامه

كيفية إنشاء وتحرير ملف robots.txt عبر بروتوكول نقل الملفات

إذا كنت لا تستخدم اضافة سيو التي توفر وظيفة robots.txt، فلا يزال بإمكانك إنشاء ملف robots.txt وإدارته عبر SFTP. أولا، استخدم أي محرر نصوص لإنشاء ملف فارغ باسم “robots.txt”:

what is robotstxt 8 min DzTechs - دليل كامل عن ملف Robots.txt للوردبريس - ما هو وكيفية استخدامه

بعد ذلك، يمكنك الاتصال بموقعك عبر SFTP وتحميل هذا الملف إلى المجلد الأساسي لموقعك. يمكنك إجراء المزيد من التعديلات على ملف robots.txt عن طريق تعديله عبر SFTP أو تحميل إصدارات جديدة من الملف.

ما الذي يتم عرضه في ملف robots.txt

حسنا، أصبح لديك الآن ملف robots.txt فعلي على الخادم الذي يمكنك تعديله حسب الحاجة. ولكن ماذا تفعل في الواقع مع هذا الملف؟ حسنا، كما تعلمته في القسم الأول، يتيح لك ملف robots.txt التحكم في كيفية تفاعل برامج الروبوت مع موقعك. يمكنك القيام بذلك مع اثنين من الأوامر الأساسية:

User-agent – يتيح لك ذلك استهداف برامج روبوت محددة. User-agent هي ما تستخدمه روبوتات التتبع لتعريف بأنفسهم. معهم، يمكنك، على سبيل المثال، إنشاء قاعدة تنطبق على Bing، ولكن ليس على غوغل.

Disallow – يتيح لك هذا الأمر إخبار برامج الروبوت بعدم الدخول إلى مناطق معينة من موقعك.

هناك أيضا أمر السماح الذي ستستخدمه في الحالات المتخصصة. افتراضيا، يتم وضع علامة على كل شيء على موقعك مع السماح، لذلك ليس من الضروري استخدام أمر السماح في 99٪ من الحالات. لكنه لا يأتي في متناول اليدين حيث تريد عدم السماح بالوصول إلى مجلد والمجلدات الابن ولكن السماح بالوصول إلى مجلد ابن واحد معين.

ذات صلة:  12 من أفضل إضافات WordPress للمدونات ومواقع الأعمال في 2019

يمكنك إضافة قواعد بتحديد أولا User-agent الذي يجب تطبيق القاعدة عليه ثم إدراج القواعد التي سيتم تطبيقها باستخدام Disallow و Allow. هناك أيضا بعض الأوامر الأخرى مثل تأخير الزحف وملف سيتماب، ولكن هذه هي إما:

  • يتم تجاهلها من قبل معظم برامج الزحف الرئيسية أو تفسيرها بطرق مختلفة إلى حد كبير (في حالة تأخر الزحف)
  • تم التكرار باستخدام أدوات مثل غوغل سيرتش كونسول (لملفات سيتماب)

دعونا نذهب من خلال بعض حالات الاستخدام المحددة لتبين لكم كيف يأتي هذا معا.

كيفية استخدام Robots.txt لمنع الوصول إلى الموقع بأكمله

لنفترض أنك تريد حظر دخول أي الزاحف إلى موقعك. ومن غير المرجح أن يحدث هذا على موقع مباشر، لكنه لا يأتي في متناول اليدين لموقع التنمية. ولإجراء ذلك، يمكنك إضافة هذه الشفرة إلى ملف robots.txt الخاص بالوردبريس:

User-agent: *

Disallow: /

ماذا يحدث في هذا الرمز؟

* العلامة النجمية بجوار User-agent تعني “كل وكلاء المستخدم”. العلامة النجمية عبارة عن حرف بدل، وهذا يعني أنها تنطبق على كل وكيل مستخدم واحد. يشير الرمز سلاش  / بجوار Disallow إلى عدم السماح بالوصول إلى جميع الصفحات التي تحتوي على “yourdomain.com/” (وهي كل صفحة على موقعك).

كيفية استخدام Robots.txt لحظر بوت واحد من الوصول إلى الموقع الخاص بك

دعونا نقوم بتغيير الأمور. في هذا المثال، سنتظاهر بأنك لا تعجبك حقيقة أن bing يزحف إلى صفحاتك. أنت من فريق غوغل على طول الطريق ولا تريد أن يقوم bing بالنظر إلى موقعك. لمنع bing فقط من الزحف إلى موقعك، يمكنك استبدال علامة * asterisk مع Bingbot:

User-agent: Bingbot

Disallow: /

بشكل أساسي، تقول التعليمات البرمجية أعلاه بتطبيق قاعدة Disallow فقط إلى البوتات من وكيل المستخدم “bing “. الآن، من غير المرجح أن ترغب في منع الوصول إلى bing – ولكن هذا السيناريو لا يكون في متناول اليدين إذا كان هناك بوت معين أنك لا تريد وصوله إلى موقعك. يحتوي هذا الموقع على قائمة جيدة بمعظم أسماء وكلاء المستخدم المعروفة.

كيفية استخدام Robots.txt لمنع الوصول إلى مجلد معين أو ملف

في هذا المثال، لنفترض أنك تريد حظر الدخول إلى ملف أو مجلد معين (وجميع المجلدات الفرعية لهذا المجلد) فقط. لتطبيق ذلك على وردبريس، لنفترض أنك تريد حظر:

  1. مجلد wp-admin بأكمله
  2. wp-login.php
يمكنك استخدام الأوامر التالية:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-login.php

كيفية استخدام Robots.txt للسماح بالوصول إلى ملف محدد في مجلد غير مسموح به

حسنا، لنفترض أنك تريد حظر مجلد كامل، ولكنك لا تزال تريد السماح بالوصول إلى ملف معين داخل هذا المجلد. هذا هو المكان الذي يأتي به أمر السماح في متناول اليدين. وانه في الواقع ينطبق جدا على الوردبريس. في الواقع، يوضح ملف robots.txt الافتراضي ل وردبريس هذا المثال تماما:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

يمنع هذا المقتطف الوصول إلى كامل مجلد /wp-admin/ باستثناء ملف /wp-admin/admin-ajax.php.

كيفية استخدام Robots.txt لإيقاف برامج التتبع من الزحف إلى نتائج بحث وردبريس

هناك قرص واحد في الوردبريس محدد قد ترغب في إجرائه هو إيقاف برامج زحف محركات البحث من الزحف إلى صفحات نتائج البحث. بشكل افتراضي، يستخدم وردبريس معلمة الاستعلام “?s=”. لذلك لمنع الوصول، كل ما عليك القيام به هو إضافة القاعدة التالية:

User-agent: *
Disallow: /?s=
Disallow: /search/
هذا يمكن أن يكون وسيلة فعالة لتوقف أيضا أخطاء 404 لينة إذا كنت قد حصلت عليهم.

كيفية إنشاء قواعد مختلفة لبرامج التتبع المختلفة في Robots.txt

وحتى الآن، تعاملت جميع الأمثلة مع قاعدة واحدة في كل مرة. ولكن ماذا لو كنت تريد تطبيق قواعد مختلفة على البوتات المختلفة؟ تحتاج ببساطة إلى إضافة كل مجموعة من القواعد بموجب User-agent لكل بوت. على سبيل المثال، إذا كنت تريد إنشاء قاعدة واحدة تنطبق على جميع برامج التتبع وقواعد أخرى تنطبق على Bingbot فقط، فيمكنك إجراء ذلك كما يلي:

User-agent: *

Disallow: /wp-admin/

User-agent: Bingbot

Disallow: /

في هذا المثال، سيتم حظر جميع برامج التتبع من الوصول لى /wp-admin، ولكن سيتم حظر Bingbot من الدخول إلى موقعك بالكامل.

ذات صلة:  كيفية منع ارتباطات الصور المضمنة Hotlinking في WordPress (3 طرق عمل)

اختبار ملف robots.txt

يمكنك اختبار ملف robots.txt للوردبريس في غوغل سيرتش كونسول لضمان إعداده بشكل صحيح. ما عليك سوى النقر على موقعك، وتحت عنوان “الزحف”، انقر على “اختبار robots.txt”. يمكنك بعد ذلك إرسال أي عنوان رابط، بما في ذلك صفحتك الرئيسية. يجب أن ترى لون أخضر مسموح به إذا كان كل شيء قابل للزحف. يمكنك أيضا اختبار عناوين ورل التي حظرتها للتأكد من أنها محظورة في الواقع، أو غير مسموح بها.

test robots.txt file min DzTechs - دليل كامل عن ملف Robots.txt للوردبريس - ما هو وكيفية استخدامه

حذار من UTF-8 BOM

BOM تقوم على علامة النظام byte و هو في الأساس شخصي وغير مرئي التي تضاف في بعض الأحيان إلى الملفات من قبل محرري النص القديم وما شابه ذلك. إذا حدث هذا لملف robots.txt، فقد لا تقرأ غوغل ذلك بشكل صحيح. هذا هو السبب في أنه من المهم التحقق من الملف الخاص بك عن عدم وجود الأخطاء. على سبيل المثال، كما هو موضح أدناه، كان لملفنا طابع غير مرئي وتشكو غوغل من عدم فهم البنية. هذا يلغي بشكل أساسي السطر الأول من ملف robots.txt تماما، وهو أمر غير جيد! Glenn Gabe لديه مقال ممتاز عن كيف يمكن لـ  UTF-8 BOM قتل SEO الخاص بك.

utf 8 bom robots txt min DzTechs - دليل كامل عن ملف Robots.txt للوردبريس - ما هو وكيفية استخدامه

Googlebot هو في الغالب مقره الولايات المتحدة

من المهم أيضا عدم حظر Googlebot من الولايات المتحدة، حتى إذا كنت تستهدف منطقة محلية خارج الولايات المتحدة. وهم يقومون أحيانا بالزحف المحلي، ولكن Googlebot يعتمد في معظمه على الولايات المتحدة.

ما هي المعلومات التي تقوم مواقع الوردبريس الشائعة بوضعها في ملف robots.txt

لتوفير بعض السياق للنقاط المذكورة أعلاه، فإليك كيفية استخدام بعض مواقع وردبريس الأكثر شعبية لملفات robots.txt.

TechCrunch

what is robotstxt examples 1 min DzTechs - دليل كامل عن ملف Robots.txt للوردبريس - ما هو وكيفية استخدامه

بالإضافة إلى تقييد الوصول إلى عدد من الصفحات الفريدة، لا يسمح على وجه الخصوص الزحف إلى:

TechCrunch

/wp-admin/

/wp-login.php
كما أنها تضع قيودا خاصة على اثنين من الروبوتات:
Swiftbot

IRLbot
في حال كنت مهتما، IRLbot هو الزاحف من جامعة تكساس A & M مشروع بحثي جامعة. هذا غريب!

Angry Birds

what is robotstxt examples 3 min DzTechs - دليل كامل عن ملف Robots.txt للوردبريس - ما هو وكيفية استخدامه

لم يقم Angry Birds بأي إضافات خاصة، واختيار حصرا لتقييد الوصول إلى /wp-admin/.

Drift

what is robotstxt examples 4 min DzTechs - دليل كامل عن ملف Robots.txt للوردبريس - ما هو وكيفية استخدامه

وأخيرا، يختار Drift تحديد ملفات سيتماب في ملف Robots.txt، ولكن بخلاف ذلك، ترك القيود الافتراضية نفسها مثل Angry Birds.

استخدام Robots.txt بالطريقة الصحيحة

وبينما نختتم دليل robots.txt، نود أن نذكرك مرة أخرى بأن استخدام أمر Disallow في ملف robots.txt ليس كما هو الحال مع استخدام علامة noindex. يمنع robots.txt الزحف، ولكن ليس بالضرورة الفهرسة. يمكنك استخدامه لإضافة قواعد محددة لتشكيل كيفية تفاعل محركات البحث وبرامج التتبع الأخرى مع موقعك، ولكنها لن تتحكم صراحة في ما إذا كان المحتوى مفهرسا أم لا.

بالنسبة لمعظم مستخدمي وردبريس العاديين، ليست هناك حاجة ماسة لتعديل ملف robots.txt الافتراضي. ولكن إذا كنت تواجه مشكلات في برنامج بوت معين، أو تريد تغيير كيفية تفاعل محركات البحث مع اضافة أو موضوع معين تستخدمه، فقد تحتاج إلى إضافة قواعدك الخاصة.

نأمل أن تستمتع بهذا الدليل وتأكد من ترك تعليق إذا كانت لديك أية أسئلة أخرى حول استخدام ملف robots.txt للوردبريس.

اشترك في نشرتنا الإخبارية
اشترك هنا للحصول على آخر الأخبار والتحديثات والعروض الخاصة التي يتم تسليمها مباشرة إلى البريد الإلكتروني الخاص بك.
يمكنك إلغاء الاشتراك في أي وقت
قد يعجبك ايضا

التعليقات مغلقة.

This website uses cookies to improve your experience. We'll assume you're ok with this, but you can opt-out if you wish. AcceptRead More