إشترك في قناة التيليجرام الخاص بنا من أجل الحصول على آخر المقالات، إضغط هنا.
## ما هو ملف Robots.txt وما عمله؟ باختصار شديد ملف Robots.txt هو ملف يتم انشائه على المجلد الرئيسي لموقعك والذي يقوم بدوره بتوجيه روبوتات وعناكب البحث للصفحات المهمة علي موقعك او الصفحات التي سيتم ارشفتها حيث يخبر هذا الملف عناكب البحث بان هذه الصفحات هي الاهم علي موقعك وهي التي سوف يتم ارشفتها, ويبعدهم ايضاً عن الصفحات غير المهمة والتي لايجب علي عناكب البحث ارشفتها واظهارها علي محركات البحث الخاصة بهم. ## كيف يمكنك إنشاء ملف Robots.txt 1. تقوم بإنشاء ملف نصي بصيغة `txt` على المجلد الرئيسي لموقعك بإسم `robots` ليكون اسم الملف الكامل هو `robots.txt`. 2. نقوم بمليء الملف بالأوامر التي نريد اعطائها لمحركات البحث. ## البدء في كتابة أوامر ملف Robots.txt لنفرض وجود موقع رابطه الرئيسي هو www.gredev.io وهنالك صفحة فرعية بإسم `admin`. للدخول لهذه الصفحة تحتاج الانتقال الى هذا الرابط www.gredev.io/admin اليس كذلك؟ حسناً، لو كنت تريد حظر محركات البحث من الدخول الى هذه الصفحة وأرشفة محتوياتها، ستقوم بكتابة التالي داخل ملف `robots.txt` : ``` User-agent: Googlebot Disallow: /admin ``` السطر الأول نخبر به محرك البحث جوجل (تحديداً) بالأوامر التي تلي هذا السطر أما السطر الثاني فهو يحتوي على التعليمات التي نريد ان يتبعها محرك البحث هذا، وهي منعه من ارشفة محتويات صفحة `admin` او صفحاتها الفرعية من خلال تعليمة `Disallow`. ,يمكنك أيضاً إستخدام علامة النجمة بدل `Googlebot` لمنع جميع محركات البحث من ارشفة هذه الصفحة، على سبيل المثال: ``` User-agent: * Disallow: /admin ``` ## ما هي أفضل الممارسات المتبعة في إعداد ملف Robots.txt ؟ الكود التالي يمكنك إستخدامه في موقعك من دون اي مشاكل في حال اذا كنت لا تود حظر محركات البحث من ارشفة مسار معين: ``` User-agent: * Allow: / Sitemap: https://www.gredev.io/sitemap.xml ``` السطر الأول: يوجه امر لجميع محركات البحث بتطبيق الأوامر التي بأسفله. السطر الثاني: يخبر محركات البحث بالسماح بأرشفة جميع الصفحات الموجودة في الموقع. السطر الثالث: هو من أهم الأساليب المتبعة لأرشفة الموقع بسرعة هو تقديم خريطة الموقع وهو من خلال استخدام تعليمة `Sitemap` ويليها رابط خريطة الموقع. > يمكنك الرجوع الى مقال [ما هي خريطة الموقع ؟ وما هي إستخداماتها ؟](https://www.gredev.io/blog/ما-هي-خريطة-الموقع-؟-وما-هي-إستخداماتها-؟) التي شرحنا بها موضوع خريطة الموقع بالتفصيل. ## تطبيق هذه الممارسات فعلياً لتطبيق هذه الممارسات تحتاج الوصول الى ملفات الموقع اما من خلال لوحة تحكم الموقع الرئيسية مثل **cPanel** او من خلال الإتصال بالموقع من خلال خدمة **FTP** . أما بالنسبة للمواقع التي تستخدم سكربت الـ **WordPress** فيمكنهم تنصيب إضافات للتحكم بهذا الملف مثل إضافة **Virtual Robots.txt** أو أي إضافة اخرى تقدم نفس الإمكانيات.
## ما هو ملف Robots.txt وما عمله؟ باختصار شديد ملف Robots.txt هو ملف يتم انشائه على المجلد الرئيسي لموقعك والذي يقوم بدوره بتوجيه روبوتات وعناكب البحث للصفحات المهمة علي موقعك او الصفحات التي سيتم ارشفتها حيث يخبر هذا الملف عناكب البحث بان هذه الصفحات هي الاهم علي موقعك وهي التي سوف يتم ارشفتها, ويبعدهم ايضاً عن الصفحات غير المهمة والتي لايجب علي عناكب البحث ارشفتها واظهارها علي محركات البحث الخاصة بهم. ## كيف يمكنك إنشاء ملف Robots.txt 1. تقوم بإنشاء ملف نصي بصيغة `txt` على المجلد الرئيسي لموقعك بإسم `robots` ليكون اسم الملف الكامل هو `robots.txt`. 2. نقوم بمليء الملف بالأوامر التي نريد اعطائها لمحركات البحث. ## البدء في كتابة أوامر ملف Robots.txt لنفرض وجود موقع رابطه الرئيسي هو www.gredev.io وهنالك صفحة فرعية بإسم `admin`. للدخول لهذه الصفحة تحتاج الانتقال الى هذا الرابط www.gredev.io/admin اليس كذلك؟ حسناً، لو كنت تريد حظر محركات البحث من الدخول الى هذه الصفحة وأرشفة محتوياتها، ستقوم بكتابة التالي داخل ملف `robots.txt` : ``` User-agent: Googlebot Disallow: /admin ``` السطر الأول نخبر به محرك البحث جوجل (تحديداً) بالأوامر التي تلي هذا السطر أما السطر الثاني فهو يحتوي على التعليمات التي نريد ان يتبعها محرك البحث هذا، وهي منعه من ارشفة محتويات صفحة `admin` او صفحاتها الفرعية من خلال تعليمة `Disallow`. ,يمكنك أيضاً إستخدام علامة النجمة بدل `Googlebot` لمنع جميع محركات البحث من ارشفة هذه الصفحة، على سبيل المثال: ``` User-agent: * Disallow: /admin ``` ## ما هي أفضل الممارسات المتبعة في إعداد ملف Robots.txt ؟ الكود التالي يمكنك إستخدامه في موقعك من دون اي مشاكل في حال اذا كنت لا تود حظر محركات البحث من ارشفة مسار معين: ``` User-agent: * Allow: / Sitemap: https://www.gredev.io/sitemap.xml ``` السطر الأول: يوجه امر لجميع محركات البحث بتطبيق الأوامر التي بأسفله. السطر الثاني: يخبر محركات البحث بالسماح بأرشفة جميع الصفحات الموجودة في الموقع. السطر الثالث: هو من أهم الأساليب المتبعة لأرشفة الموقع بسرعة هو تقديم خريطة الموقع وهو من خلال استخدام تعليمة `Sitemap` ويليها رابط خريطة الموقع. > يمكنك الرجوع الى مقال [ما هي خريطة الموقع ؟ وما هي إستخداماتها ؟](https://www.gredev.io/blog/ما-هي-خريطة-الموقع-؟-وما-هي-إستخداماتها-؟) التي شرحنا بها موضوع خريطة الموقع بالتفصيل. ## تطبيق هذه الممارسات فعلياً لتطبيق هذه الممارسات تحتاج الوصول الى ملفات الموقع اما من خلال لوحة تحكم الموقع الرئيسية مثل **cPanel** او من خلال الإتصال بالموقع من خلال خدمة **FTP** . أما بالنسبة للمواقع التي تستخدم سكربت الـ **WordPress** فيمكنهم تنصيب إضافات للتحكم بهذا الملف مثل إضافة **Virtual Robots.txt** أو أي إضافة اخرى تقدم نفس الإمكانيات.
قم بطلب برمجة موقع الكتروني الأن
من خلال إختيارك لشركتنا، كن متأكداً من إن الموقع الإكتروني سيكون على الشكل الذي طلبته وافضل وذلك من خلال العمل الشاق الذي اعتدنا عليه لتقديم افضل خدمة لزبائننا والأفراد الذين يتعاملون مع شركتنا ويضعون ثقتهم فينا.
هل كانت هذه المقالة مفيدة ؟
نعم
كلا