نقشه سایت یا sitemap فایلی است که صفحات سایت در آن لیست شده و توسط آن می توانید ساختار طراحی سایت (طراحی سایت فروشگاهی، طراحی سایت شرکتی، قیمت طراحی سایت) و صفحات، عکس ها و ویدیو ها را به موتور جستجو مانند گوگل و بینگ معرفی کنید. به غیر از آدرس های URL می توانید اطلاعات دیگری به نام متادیتا را نیز به موتور های جستجو بدهید. متادیتااطلاعاتی در مورد صفحه هستند مانند زمان آخرین بروز رسانی، اولویت بندی صفحات نسبت به یکدیگر از نظر اهمیت، مدت زمان فیلم، نوع عکس و موارد متفاوت دیگر .
در حال حاضر چها نوع نقشه سایت شامل صفحات، عکس ، ویدیو و خبر وجود دارند که به دلیل کاربرد زیاد نقشه سایت صفحات و عکس در همه سایت ها، این دو نوع sitemap در این مطلب توضیح داده شده اند.
اگر لینک های داخلی به همه صفحات طراحی سایت داشته باشید، معمولا گوگل می تواند بیشتر صفحات را بیابد و ایندکس کند ولی به هر حال وجود سایت مپ بهموتور جستجو کمک می کند که همه صفحات را بیابد، ضمن اینکه با متادیتا در سایت مپ می توانید اطلاعات بیشتری نیز به موتور جستجو بدهید.
داشتن سایت مپ در موارد زیر حائز اهمیت است:
دقت داشته باشید که گوگل تضمین نمی کند که همه آدرسهای موجود در سایت مپ را بخواند و ایندکس کند ولی در بیشتر موارد وجود سایت مپ برای سایت ها مفید است و شما گوگل هرگزسایتی را به علت داشتن سایت مپ جریمه نمی کند.
گوگل از فرمت های مختلف سایت مپ پشتیبانی می کند. همه سایت مپ ها مجاز هستند که حداکثر حاوی ۵۰ هزار URL باشند و سایز قایل آنها در حالت غیر فشرده از ۱۰ مگابایت بیشتر نشود. منظور از حالت غیر فشرده، حالتی است که فایل نقشه سایت با تکنیک هایی مانند GZIP فشرده نشده باشد.
گوگل از استانداردهای www.sitemaps.org پشتیبانی می کند. یکی از فرمت های رایج سایت مپ، فرمت XML است که برای ایجاد سایت مپ صفحات، عکس، ویدیو و اخبار استفاده می شود.
نمونه زیر یک نمونه ساده از سایت مپ XML است.
<?"xml version="1.0" encoding="UTF-8?>
<"urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9>
<url>
<loc>http://www.example.com/foo.html</loc>
</url>
</urlset>
اگر شما بلاگی دارید که از RSS یا Atom feed پشتیبانی می کند، شما می توانید آدرس همه feed ها را به عنوان سایت مپ به موتور جستجو معرفی کنید. گوگل از RSS نسخه ۲ و Atom feed نسخه ۱ پشتیبانی می کند. همچنین می توانید با استفاده از < mRSS feed جزئیات محتوای ویدیویی سایت را به گوگل بدهید.
اگر سایت مپ شما فقط حاوی URL است و هیچ متادیتایی در آن وجود ندارد، می توانید یک سایت مپ متنی با فرمت txt داشته باشید که در هر خط آن فقط یک URL وجود داشته باشد. توجه داشته باشید که:
http://www.example.com/file1.html
http://www.example.com/file2.html
Escaped | Character | |
---|---|---|
;amp& | & | Ampersand |
;apos& | ‘ | Single Quote |
;quot& | “ | Double Quote |
;agt& | < | Greater Than |
;lt& | > | Less Than |
جهت معرفی نقشه سایت به گوگل دو روش رایج وجود دارد :
۱- آدرس نقشه (های) سایت را در فایل robots.txt به صورت زیر قرار دهید.
Sitemap: http://www.example.com/sitemap.xml
٢- از طریق بخش crawl در گوگل سرچ کنسول، نقشه سایت را به گوگل معرفی کنید.
در ایجاد نقشه سایت از تعدادی تگ اجباری جهت مشخص کردن آدرس و تعدادی تگ اختیاری اضافه کردن متادیتا و برخی جزئیات برای موتور جستجواستفاده می شود.
نمونه زیر یک نقشه سایت است که از متادیتا نیز در در طراحی سایت و ساخت سایت از آن استفاده شده است.
<?"xml version="1.0" encoding="UTF-8?>
<"urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9>
<url>
<loc>http://www.example.com/page1.html</loc>
<lastmod>2016-12-19T13:10:55+03:30</lastmod>
<changefreq>hourly</changefreq>
<priority>0.9</priority>
<url/>
<urlset/>
این امکان وجود دارد که نقشه سایت را برای عکس های طراحی سایت (طراحی سایت فروشگاهی، طراحی سایت شرکتی) نیز ایجاد کرد. نقشه سایت زیر یک نمونه از Image sitemap است.
<?"xml version="1.0" encoding="UTF-8?>
"urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9>
<"xmlns:image="http://www.google.com/schemas/sitemap-image/1.1
<url>
<loc>http://www.example.com/page1.html</loc>
<image:image>
<image:loc>http://example.com/image.jpg</image:loc>
<image:caption>Image Caption</image:caption>
<image:geo_location>Torento, Canada</image:geo_location&
gt;
<image:title>Image Title</image:title>
<image:image/>
<url/>
<urlset/>
تگ های استفاده شده در نقشه سایت عکس به شرح زیر می باشد :
فایل robots.txt یک فایل متنی است که توسط آن امکان تعریف برخی قوانین برای ربات های موتور جستجو وجود دارد. قوانینی مانند محدود کردن رباتموتور جستجو برای دسترسی به فایل، فولدر، منابع مانند عکس و CSS و js، صفحه و کل سایت وجود دارد. همچنین همان طور که در بخش sitemap توضیح داده شد، آدرس نقشه سایت را نیز می توانید توسط فایل robots.txt به موتورهای جستجو اعلام نمایید. فایل robots.txt باید به صورت 8-UTF ذخیره شده باشد.
قوانینی که در ادامه نوشته شده در مورد موتور جستجو گوگل صدق می کند.
جهت نوشتن robots.txt امکان استفاده از چهار المان sitemap ،allow ،disallow ،user-agent وجود دارد.
نشان دهنده نوع خزنده موتور جستجو است و وب سرور توسط آن می تواند نوع خزنده وب را شناساییکند. نام تعدادی از خزنده های وب در آدرسwww.robotstxt.org/db.html موجود است.
روش نوشتن user-agent در robots.txt به صورت زیر است:
[نام ربات] : user- agent
مانند:
*:user-agent
user-agent: Google-bot
گوگل دارای user-agent های مختلفی است. به عنوان نمونه Googlebot نام user-agent موتور جستجوی گوگل و Googlebot-Image نام user-agent موتور جستجوی عکس گوگل هستند.
با استفاده از Disallow می توانید صفحه یا مسیر با پسوندی را که می خواهید بر روی خزنده موتور جستجو مسدود کنید را مشخص نمایید.
[مسیر مورد نظر ] :Disallow
/Disallow: /articles
Disallow: /products/product1.html
Disallow: /*.png
با استفاده از Allow می توانید برای یک صفحه یا مسیر از درون مسیری که بر روی خزنده موتور <جستجو مسدود کرده بودید استثنا قائل شوید و به موتور جستجو اجازه بدهید آن را بخواند و ایندکس کند.
[مسیر مورد نظر ] :Allow
/Allow: /articles/seo
Allow: /products/product2.html
Allow: /*.CSS
با استفاده از sitemap می توانید مسیر نقشه های طراحی سایت (طراحی سیات فر.شگاهی، طراحی سایت شرکتی) رای موتور جستجو را مشخص نمایید. همه موتورهای جستجو از sitemap در فایل robots.txtپشتیبانی نمی کنند. البته علاوه بر گوگل،موتورهای جستجوی بزرگ مانند Bing و Yahoo و Ask نیز از sitemap در فایل robots.txtپشتیبانی می کنند.
[مسیر نقشه سایت ] :sitemap
sitemap: https://www.example.com/sitemap.xml
جهت نوشتن robots.txt از دستورات متعددی می توان استفاده نمود که در جدول زیر تعدادی از آنها به عنوان نمونه نمایش داده شده اند.
توضیح | نمونه |
---|---|
همه سایت | /:Disallow |
مانند / است و به معنی همه سایت است. | /*:Disallow |
یک دایرکتوری به همراه همه محتویاتش | /Disallow: /sample-directory |
هر صفحه ای با نام file.html که بعد از یک slash باشد. | Disallow: /file.html |
یک عکس خاص برای ربات جستجوی عکس گوگل مسدود شده | User-agent: Googlebot-Image Disallow: /images/dogs.jpg |
همه سایت بر روی ربات جستجوی عکس گوگل محدود شده | User-agent: Googlebot-Image /:Disallow |
همه مسیرهایی که در انتهای آنها gif. باشد | $Disallow: /*.gif |
هر دایرکتوری که ابتدای نام آن private باشد به همراه محتویاتش | /*Disallow: /private |
هر آدرسی که در آن علامت سوال وجود داشته باشد. | ?*/:Disallow |
هر آدرسی که با علامت سوال پایان یابد. | $?*/:Disallow |
فایل robots.txt باید در ریشه سایت آپلود شود و به عنوان نمونه با آدرس زیر در دسترس باشد.
http://www.example.com/robots.txt
بیشتر موتورهای جستجو فایل robots.txt را با یکی از پروتکل های http یا https می توانند بخوانند ولی گوگل از پروتکل ftp نیز پشتیبانی می کند. بنابراین برای یک صفحه با پروتکل ftp نیز امکان داشتن فایلrobots.txt وجود دارد به شرطی که برای دسترسی به آن به نام کاربری و کلمه عبور ftp نیازی نباشد.
اطلاعات ساختار یافته یا Structured Data اطلاعاتی هستند که به موتورهای جستجو کمک می کنند که دید بهتری نسبت به ساخت سایت یا یک ایمیل داشته باشند. تاکنون استانداردهای بسیاری برای استراکچرد دیتا ایجاد شده است که توسط آنها می توانیم اطلاعاتی در مورد یک فیلم، مقاله، کتاب،دستورالعمل طبخ غذا و صدها مورد دیگر را به موتورهای جستجو بدهیم.
همانطور که در بخش الگوریتم ها در مورد الگوریتم مرغ مگس خوار توضیح داده شد، این الگوریتم گوگل میتواند اطلاعات را از درون سایت ها استخراج کند. اگر در صفحه ای، اطلاعاتی به صورت ساختار یافته قرار بگیرد، الگوریتم مرغ مگس خوار راحت تر می تواند اطلاعات را درک و استخراج کند. در تصویر بعدی شاهد هستید که اطلاعات یک فیلم به چه صورت توسط الگوریتم مرغ مگس خوار شناسایی، استخراج و نمایش داده شده است.
اگر بخواهیم به طور خلاصه بگوییم که اطلاعات ساختار یافته بر SEO تاثیر دارد یا خیر، پاسخ بلی است ولی طبق اعلام رسمی گوگل، استفاده از Structured data تاثیری در محاسبات الگوریتم های گوگل برای محاسبه رنکینگ ندارند. ولی به دلیل شیوه نمایش متفاوت صفحات دارای اطلاعات ساختار یافته در صفحه نتایج گوگل، احتمال کلیک کاربران روی آن نتایج بالاتر از نتایج دیگر است و همین امر منجر به بالا رفتن CTR یا نسبت کلیک به نمایش در صفحه نتایج گوگل می شود و نهایتا بهره گیریاز اطلاعات ساختار یافته اثر مثبتی از دیدگاه سئو خواهد داشت.
در نتیجه استفاده از Structured data در سئوی حرفه ای بسیار حائز اهمیت است و یک سئوکار مجرب باید با انواع استانداردهای اطلاعات ساختار یافتهآشنا باشد و بتواند به بهترین نحو از آنها استفاده کند. ضمنا استفاده غیر اصولی از اطلاعات ساختار یافته که به قصد فریب الگوریتم های موتور جستجو به سایت اضافه شده باشد ممکن است به جریمه گوگل منجر شود.
همان طور که گفته شد، انواع گوناگون اطلاعات ساختار یافته وجود دارد. اطلاعات ساختار یافته دربسیاری موارد در نحوه نمایش نتیجه جستجو در SERP تاثیر می گذارد. در زیر به سه مورد از آنها اشاره شده است.
نمایش تعداد ریویوکنندگان و میانگین امتیاز داده شده توسط آنان
نمایش دستورالعمل طبخ غذا
نمایش مشخصات فنی یک محصول
روشهای متعددی برای پیاده سازی Structured data در سایت و یا ایمیل از قبیل RDFa و Microdata و JSON-LD وجود دارند. در حال حاضر همه موتورهای جستجوی بزرگ قابلیت فهم هر سه فرمت را دارند ولی از سال 2016 گوگل توصیه میکند که از JSON-LD برای پیاده سازی اطلاعات ساختار یافته در طراحی سایت ها (طراحی سایت فروشگاهی، طراحی سایت شرکتی، قیمت طراحی سایت) استفاده کنند و این بدان معنی است که ممکن است در آینده روشن RDF-a و Microdata دیگر پشتیبانی نشود.
سایت Schema.org در سال ۲۰۱۱ توسط موتورهای جستجوی بزرگ گوگل، بینگ، یاهو و پاندکس ایجاد شده و همواره توسعه داده می شود و استانداردهای اطلاعات ساختار یافته بسیاری تا کنون برای محصول، محل، رویداد، شخص، مقاله، کتاب، شرکت و موارد متعدد دیگر توسط این شرکتها وضع شده است که همگی به درک موتورهای جستجو از سایت یا ایمیل کمک خواهند کرد. جهت آشنایی با انواع اطلاعات مراجعه ساختار یافته و رویت نمونه های عملی مختلف به سایت https://schema.org مراجعه نمایید.
اگر از سیستم های مدیریت محتوا معروف مانند وردپرس، جوملا، دروپال و امثال آنها استفاده می کنید، افزونه های متعددی برای افزودن برخی از انواع اطلاعات ساختار یافته پر کاربرد به سایت وجود دارد که بسیاری از آنها به صورت رایگان قابل دانلود و نصب هستند. ولی اگر سایت شما بهصورت طراحی سایت اختصاصی نوشته شده است، باید به صورت اختصاصی کدنویسی کنید.
اگر سایت شما دارای تعداد صفحات اندک باشد و حجم تولید محتوای بالایی نیز نداشته باشید، می توانید از برخی سایت های آنلاین مانند نمونه های زیر استفاده کرده و اطلاعات ساختار یافته مورد نظرتان را تولید کنید و به صورت دستی در صفحات قرار دهید.
/https://technicalseo.com/seo-tools/schema-markup-generator
ضمنا می توانید با استفاده از نمونه های متعددی که در سایت https://schema.orgوجود دارد نیز استفاده کرده و اطلاعات ساختار یافته مورد نیازتان را به صورت دستی ایجاد کنید.
هر آنچه که در سایت های با ترافیک کم از بابت سئو باید انجام شود، در سایت های با ترافیک بالا نیز باید انجام شود. به عنوان نمونه در زمینه محتوا، متاها، بهینه سازی عکس، ساختار URL موبایل فرندلی بودن سایت و هر آنچه که در دستورالعمل های گوگل وبمستر وجود دارد، برای همه سایتها صرف نظر از ترافیکشان صدق می کند. البته قطعا ممکن است اولویت برخی از آیتم ها در سایتهای مختلف با یکدیگر تفاوت داشته باشد ولی به صورت کلی همه مواردی که در سئوی سایت های کم ترافیک باید انجام شود، در سایتهای پر ترافیک هم باید مد نظر سئوکار قرار بگیرد.
با توجه به اینکه برخی از مواردی که به کارایی کد و سرور و یا به صورت کلی به performance کد و سرور بستگی دارند با میزان ترافیک سایت (طراحی سایت شرکتی، طراحی سایت فروشگاهی) ارتباط مستقیم دارد، لذا برای بهبود رنکینگ سایت های پر ترافیک، علاوه بر مواردی که در سایت های کم ترافیک باید رعایت شوند، موارد متعددی نیز وجود دارند که باید برای بالا بردن performance رعایت شوند. مواردی مانند سخت افزار سرور، تنظیماتسرور، کدنویسی، کش، معماری دیتابیس و رعایت دستورالعمل های گوگل وبمستر و حتی برخی مواردoff-page SEO نیز باید در نظر گرفته شوند تا بازدهی سخت افزار و نرم افزار بالا برود. یکی از مواردی که در بهینه سازی باید در نظر گرفته شود، بهینه بودن تعداد درخواست هایی است که برای بارگذاری هر صفحه به سرور ارسال می شود.
برای اینکه بخواهید از تعداد درخواست ارسالی به وب سرور جهت لود صفحه مطلع شوید، طبق تصویر بعدی، ابتدا مرورگر گوگل کروم خود را باز کنید و سپس با فشردن دکمه F12 و یا با استفاده از میانبر Ctrl + Shift + I در سیستم عامل ویندوز وارد محیط Dev tools گوگل کروم شوید. سپس به تبNetwork رفته و تیک Disable cache را بزنید و صفحه را رفرش کنید. سپس می توانید با توجه به تصویر بعد، از تعداد درخواست های ارسالی به سرور جهت بارگذاری صفحه مورد نظرتان مطلع شوید.
با توجه به تصویر بالا، جهت لود صفحه اصلی سایت وب یوز، هر کاربر تعداد ۲۲ درخواست به وب سرور ارسال می کند. پس اگر تعداد ۱۰ کاربر به صورت همزمان صفحه اصلی طراحی سایت را باز کنند به معنای ارسال ۲۲۰ درخواست یا request به سرور خواهد بود که عدد ناچیزی است و تقریبا همه سرورهای اشتراکی نیز از عهده چنین کاری بر می آیند.
ولی اگر تعداد ۹۹۰ نفر به کاربران همزمان افزوده شود و تعداد آنها از ۱۰ به ۱۰۰۰ برسد، به معنای افزایش ۲۱۷۸۰ عددی در تعداد درخواست همزمان به سرور خواهیم بود که در اینجا باید همه عوامل نرم افزاری و سخت افزاری در کنار یکدیگر در وضعیت بهینه باشند تا مجبور نباشیم برای پاسخگویی به این تعداد درخواست فقط به قوی تر کردن سخت افزار اکتفا کنیم.