Magento Robots.txt

robots.txt

########################################################################################
# Kathir 'Sid' Vel's robots.txt file for Magento websites
########################################################################################

User-agent: *
Allow: /
#Disallow: /

########################################################################################
# Do not crawl development files and folders
########################################################################################

Disallow: /CVS
Disallow: /*.git$
Disallow: /*.svn$
Disallow: /*.idea$
Disallow: /*.sql$
Disallow: /*.tgz$
Disallow: /*.tar.gz$
Disallow: /*.zip$
 
########################################################################################
# Sitemap
########################################################################################

#Sitemap: http://www.domain.co.uk/sitemap.xml

########################################################################################
# Pages
########################################################################################

#Disallow: /privacy-policy-cookie-restriction-mode/
#Disallow: /terms/

########################################################################################
# Do not crawl Magento admin pages
########################################################################################

Disallow: /admin/
Disallow: /management/
Disallow: /backend/
 
########################################################################################
# Do not crawl common Magento's system folders
########################################################################################

Disallow: /404/
Disallow: /app/
Disallow: /cgi-bin/
Disallow: /downloader/
Disallow: /errors/
Disallow: /includes/
Disallow: /lib/
Disallow: /magento/
Disallow: /pkginfo/
Disallow: /report/
Disallow: /shell/
Disallow: /stats/
Disallow: /var/
 
########################################################################################
# Do not crawl Magento's files
########################################################################################

Disallow: /api.php
Disallow: /cron.php
Disallow: /cron.sh
Disallow: /error_log
Disallow: /get.php
Disallow: /install.php
Disallow: /LICENSE.html
Disallow: /LICENSE.txt
Disallow: /LICENSE_AFL.txt
Disallow: /README.txt
Disallow: /RELEASE_NOTES.txt
Disallow: /STATUS.txt
Disallow: /*.php$
#Disallow: /index.php/

########################################################################################
# Do not crawl specific sections of the website
########################################################################################

Disallow: /catalog/category/view/
Disallow: /catalog/product/gallery/
Disallow: /catalog/product/view/
Disallow: /catalog/product_compare/
Disallow: /catalogsearch/
Disallow: /checkout/
Disallow: /contacts/
Disallow: /control/
Disallow: /customer/
Disallow: /customize/
Disallow: /newsletter/
Disallow: /onestepcheckout/
Disallow: /poll/
Disallow: /review/
Disallow: /sendfriend/
Disallow: /tag/
Disallow: /wishlist/

########################################################################################
# Query String Blocker
# Uncomment if your site is a brand new un-cached site.
########################################################################################

#Disallow: /*?*

########################################################################################
# Magento Core Query Strings
########################################################################################

Disallow: /*cat=*
Disallow: /*color=*
Disallow: /*dir=*
Disallow: /*limit=*
Disallow: /*manufacturer=*
Disallow: /*mode=*
Disallow: /*order=*
Disallow: /*p=*
Disallow: /*price=*
Disallow: /*SID=*

########################################################################################
# Custom Query Strings
########################################################################################

Disallow: /*frame_type=*
Disallow: /*gender=*
Disallow: /*ow_material=*
Disallow: /*ow_promotion=*
Disallow: /*ow_range=*
Disallow: /*ow_supplier=*
Disallow: /*range=*
Disallow: /*width=*

########################################################################################
# WordPress
########################################################################################

Disallow: /wp/wp-content/upgrade/
Disallow: /wp/wp-admin/
Disallow: /wp/wp-includes/

########################################################################################
# Allowed Paths
########################################################################################

Allow: /media/

########################################################################################
# Screaming Frog
########################################################################################

User-agent: Screaming Frog SEO Spider
Allow: /
Disallow: /*.gif$
Disallow: /*.jpg$
Disallow: /*.png$
Disallow: /*.bmp$
Disallow: /*.xml$
Disallow: /*.css$
Disallow: /*.js$