گوگل می‌گوید که نمونه‌ی URL برای دستورات فایل Robot.txt کاربرد دارد.

اخبار

گوگل می‌گوید که نمونه‌ی URL برای دستورات فایل Robot.txt کاربرد دارد.

اخبار
دکتر علی ناصر حجتی
1400 مهر 12
گوگل، با URLهای مشابه اما با نمونه‌های مختلف، متفاوت رفتار می‌کند. با توجه به این موضوع، گوگل، domain.com/Apple و domain.com/apple را به عنوان URLهای مختلف در نظر می‌گیرد.

گوگل می‌گوید که نمونه‌ی URL برای دستورات فایل Robot.txt کاربرد دارد.

گوگل، با URLهای مشابه اما با نمونه‌های مختلف، متفاوت رفتار می‌کند. با توجه به این موضوع، گوگل، domain.com/Apple و domain.com/apple را به عنوان URLهای مختلف در نظر می‌گیرد.

زمانی که صحبت از فایل Robot.txt می‌شود، گوگل نسبت به این قانون، به شیوه‌ی سختگیرانه‌تری عمل می‌کند. در مثال domain.com/Apple و domain.com/apple، گوگل می‌تواند تشخیص دهد که این دو صفحه، یکسان هستند اما تنها یک آدرس را استاندارد در نظر گرفته پس هر دوی آن‌ها در جستجو، نمایش داده نمی‌شوند. همچنین ممکن است که گوگل، اقدام به یکپارچه‌سازی سیگنال‌ها نیز نماید.

اگر برای domain.com/apple از دستور Robot.txt استفاده کرده باشید اما برای domain.com/Apple، این کار را انجام نداده باشید ممکن است که گوگل از دستور Robot استفاده نکند.

جان مولر، یکی از مدیران ارشد گوگل، درباره‌ی حساس بودن آدرس URL گفت:

"یکی از جاهایی که URLهای مشابه، نقشی ایفا می‌کنند، Robot.txt است. با استفاده از فایل Robot.txt می‌توانید در قالب سیگنال‌ها اعلام کنید که کدام بخش‌ها نباید مورد خزیدن (Crawling) واقع شوند.

همچنین فایل Robot.txt از URLهای یکسان نیز استفاده می‌کند. با توجه به این موضوع اگر نوشته‌هایی دارید که به یک نسخه از URL اشاره می‌کند، آن نوشته‌ها دیگر برای سایر نسخه‌ها، مورد استفاده قرار نمی‌گیرند."

مولر ادامه داد که:

"به ندرت می‌بینیم که این موضوع بخواهد مشکلی ایجاد کند."

بنابراین نیاز است تا هم در زمینه‌ی استانداردسازی و انتخاب URL توسط گوگل و هم برای مدیریت فایل Robot.txt، به این موضوع توجه نمایید.

0 دیدگاه

پاسخ بدهید

آدرس ایمیل شما منتشر نخواهد شد.