הפניות 301

מה זה קובץ robots.txt

קובץ robot.txt הינו קובץ הנמצא בתיקייה הראשית של האתר ותפקידו "להוביל" את מנועי החיפוש לאזורים באתר אותם תהיו מעוניינים שהם יסרקו ויאנדקסו. ברוב המקרים, שימוש בקובץ זה מיועד לצרכי חסימה של תיקיות ואזורים שונים באתר בהם לא תרצו שמנועי החיפוש יבקרו, כאשר אזורים אלו כוללים בין היתר את תיקיות הניהול של האתר וסקריפטים שונים המופיעים בו.

האם קובץ רובוטס הכרחי בכל אתר?

מכיוון שמטרתו של קובץ הרובוטס הוא לחסום אזורים שונים באתר שאינכם רוצים שיהיו חשופים לא למנועי החיפוש ולא לקהל הגולשים, הרי שבאתרים בהם לא קיימים אזורים המיועדים לחסימה, הרי אין כל צורך בשימוש בקובץ זה. השימוש בקובץ הכרחי אך ורק באותם אתרים בהם מופיעים אזורים מסוימים שבעלי האתר/מפעיליו, אינם מעוניינים שהרובוטים של מנועי החיפוש יבקרו בו ו/או במקרים בהם אזורים אלו אמורים להיחסם גם בפני קהל הגולשים.

חשוב לציין ששימוש נפוץ בקובץ הרובוטס נעשה במקרים בהם האתר מצוי בהליכי בנייה. במקרים אלו, קיימת חסימה גורפת של האתר ורק לאחר השלמת בנייתו תדרשו לשחרר את החסימה ולהחליט אם אתם ממשיכים לעשות שימוש בקובץ לצרכי חסימת אזורים כאלו ואחרים באתר.

בכל אופן, חשוב לעשות שימוש מושכל בקובץ הרובוטס לצרכי חסימת הגישה לאזורים באתר אשר אינם כוללים מידע שימוש למנועי החיפוש כגון: גישה לדפי פרופיל משתמש, גישה לדף חיפוש באתר, כניסה לדפי כתיבת הודעות ודפי התחברות למערכת וכדומה.

קובץ רוטובס – יתרונות וחסרונות

היתרון המרכזי הנלווה לשימוש בקובץ רובוטס קשור ליכולת השליטה שלכם על הזחלנים של מנועי החיפוש. בכל פעם שהזחלנים מבקרים באתרכם, עומד לרשותם תקציב (זמן) המוגדר מראש לצורך כך והדבר מכונה: תקציב הזחילה. כאשר אתם עושים שימוש בקובץ הרובוטס ולמעשה חוסמים אזורים מסוימים באתר אשר אינם נחוצים לאינדקוס ולכן אין כל צורך שהזחלנים "יבקרו" בהם, אתם למעשה משיגים שליטה בתקציב הזחילה ולמעשה "מנצלים" בחוכמה את פרק הזמן העומד לרשות הזחלנים לצורך אינדקוס האזורים שכן חשוב לכם שבהם הם יבקרו.

מנגד, חשוב לציין שהקובץ אומנם מורה לזחלנים לאיזה אזורים באתר הם אמורים להגיע, אך הוא איננו מגדיר למנועי החיפוש איזה דפים לאנדקס ואיזה לא, ולכן, בכל פעם שתדרשו לפעולת הסרת דפים מתוצאות החיפוש, תדרשו לעשות שימוש במטא רוטובס ולהגדיר את הדף באמצעות תג NOINDEX.

יצירת קובץ רוטובס כיצד?

בכל אותם מקרים בהם האתר שלכם מבוסס על מערכות קוד פתוח כגון: וורדפרס, WIX, ג'ומלה וכדומה, תוכלו לעשות שימוש בפלאגיני SEO המכילים אפשרות ליצירת קובץ הרובוטס. בוורדפרס לצורך העניין התוסף המשמש לצורך כך קרוי YOAST SEO והן RANK MATH. אפשרות נוספת ליצירת קובץ הרובוטס היא בצורה ידנית באמצעות פתיחת קובץ TXT במחשב ובו לשבץ את השורות הרלוונטיות עבורכם ולאחר מכן להעלות את הקובץ למנהל הקבצים בשרת.