حذف صفحات تکراری با Canonical Url Tag

حذف صفحات تکراری با Canonical Url Tag                                 

---

یکی از نکاتی که معمولا در seo بر روی آن تاکید می شود، جلوگیری از ایجاد صفحات تکراری در سایت است. صفحات تکراری صفحاتی هستند که محتوای یکسانی دارند، اما url های متفاوت، و همین url های متفاوت باعث ایندکس شدن چندین صفحه ی یکسان در موتور های جستجو خواهد شد. این صفحه ها معمولا به واسطه ی پارامتر ها در آدرس (query string)، session id و یا وجود www یا عدم وجود آن به وجود می آیند.

در گذشته راه حل از بین بردن صفحات تکراری در موتور های جستجو، ریدایرکت (از نوع 301) کردن آن ها به یک آدرس ثابت بود، مثلا در مورد www در اول آدرس ها توصیه می شد آدرس سایت/وبلاگ را بر روی www یا بدون www قفل کنید . اما قابلیت نسبتا جدید تری که در این مقاله قصد دارم در مورد آن صحبت کنم،  Canonical Url Tag است که خوشبختانه بر روی 3 موتور جستجوی google، yahoo و bing پشتیبانی می شود.

اما Canonical Url چیست؟

Canonical url در واقع آدرسی است که به صفحه ی مرجع خود اشاره می کند، این آدرس توسط تگ link در header صفحه ی تکراری قرار می گیرد(در تگ head)، همانند زیر:

{moscode lang="html4strict"}

{/moscode}

 این تگ توسط خصوصیت rel=”canonical” برای موتور های جستجو متمایز می شود و زمانی که ربات موتور جستجو به صفحه ای می رسد که داری این تگ هست، با آن به عنوان یک صفحه ی کپی برخورد می کند و کلیه ی محتوا و رنک آن را به حساب آدرس ذکر شده قرار می دهد. برای درک بهتر به تصویر زیر توجه کنید:

همانطور که مشاهده می کنید پارامتر color=blue در آدرس بالا، یک صفحه ی تکراری ایجاد می کند که به وسیله ی canonical url tag ربات موتور جستجو به آدرس دوم هدایت می شود، در واقع چیزی شبیه به 301 ریدایرکت را نیز در اینجا نیز داریم اما فقط برای موتور های جستجو.

به صورت کلی سه تفاوت عمده بین این دو وجود دارد:

* 301 ریدایرکت کلیه ی ترافیک های یک صفحه، اعم از کاربر عادی و یا ربات ها را به صفحه ی مقصد هدایت می کند، در حالی که canonical url تنها برای موتور های جستجو است.

* در canonical url موتور جستجو تصمیم گیرنده ی این است که صفحه را ریدایرکت کند یا خیر و این مورد بر اساس برخی پارامتر ها مورد ارزیابی قرار می گیرد تا اگر اشتباها این تگ در صفحه ای قرار گرفت، از ریدایرکت آن جلوگیری شود. اما در 301 ریدایرکت ارزیابی خاصی بر روی آن صورت نمی گیرد و مستقیما ریدایرکت انجام می شود.

* 301 ریدایرکت به صورت cross domain عمل می کند، یعنی امکان ریدایرکت از یک دومین به دومین دیگر هم وجود دارد، در حالی که canonical تنها مربوط به همان دومین هست (بعلاوه ی ساب دومین های همان دومین).

اما برخی نکات رو هم از زبان خود سه موتور جستجو ی یاهو، گوگل و بینگ بخوانید:

from Google:

Is rel="canonical" a hint or a directive? It's a hint that we honor strongly. We'll take your preference into account, in conjunction with other signals, when calculating the most relevant page to display in search results.
Can I use a relative path to specify the canonical, such as ? Yes, relative paths are recognized as expected with the tag. Also, if you include a link in your document, relative paths will resolve according to the base URL.
Is it okay if the canonical is not an exact duplicate of the content? We allow slight differences, e.g., in the sort order of a table of products. We also recognize that we may crawl the canonical and the duplicate pages at different points in time, so we may occasionally see different versions of your content. All of that is okay with us.
What if the rel="canonical" returns a 404? We'll continue to index your content and use a heuristic to find a canonical, but we recommend that you specify existent URLs as canonicals.
What if the rel="canonical" hasn't yet been indexed? Like all public content on the web, we strive to discover and crawl a designated canonical URL quickly. As soon as we index it, we'll immediately reconsider the rel="canonical" hint.
Can rel="canonical" be a redirect? Yes, you can specify a URL that redirects as a canonical URL. Google will then process the redirect as usual and try to index it.
What if I have contradictory rel="canonical" designations? Our algorithm is lenient: We can follow canonical chains, but we strongly recommend that you update links to point to a single canonical page to ensure optimal canonicalization results.

from Yahoo!:

1. The URL paths in the tag can be absolute or relative, though we recommend using absolute paths to avoid any chance of errors.

1. A tag can only point to a canonical URL form within the same domain and not across domains. For example, a tag on http://test.example.com can point to a URL on http://www.example.com but not on http://yahoo.com or any other domain.

1. The tag will be treated similarly to a 301 redirect, in terms of transferring link references and other   effects to the canonical form of the page.

1. We will use the tag information as provided, but we’ll also use algorithmic mechanisms to avoid situations where we think the tag was not used as intended. For example, if the canonical form is non-existent, returns an error or a 404, or if the content on the source and target was substantially distinct and unique, the canonical link may be considered erroneous and deferred.

1. The tag is transitive. That is, if URL A marks B as canonical, and B marks C as canonical, we’ll treat C as canonical for both A and B, though we will break infinite chains and other issues.

and from Live/MSN:

1. This tag will be interpreted as a hint by Live Search, not as a command. We'll evaluate this in the context of all the other information we know about the website and try and make the best determination of the canonical URL. This will help us handle any potential implementation errors or abuse of this tag.

1. You can use relative or absolute URLs in the “href” attribute of the link tag.

1. The page and the URL in the “href” attribute must be on the same domain. For example, if the page is found on “http://mysite.com/default.aspx”, and the ”href” attribute in the link tag points to “http://mysite2.com”, the tag will be invalid and ignored.

1. However, the “href” attribute can point to a different subdomain. For example, if the page is found on “http://mysite.com/default.aspx” and the “href” attribute in the link tag points to “http://www.mysite.com”, the tag will be considered valid.

1. Live Search expects to implement support for this feature sometime in the near future.