Robots.txt, arquivos .htaccess e sitemaps para fins de SEO

Robots.txt

Robots.txt servem para controlar as atividades dos spiders (Google bot, Yahoo Slurp ou MSN Bot) durante suas buscas. Robots.txt é um arquivo no formato texto (.txt) que pode ser utilizado como como “filtro” para os spiders (aranhas) dos motores de busca da Internet, como, por exemplo, o Googlebot, Yahoo Slurp ou Msn Bot, permitindo o acesso ao todos os arquivos ou bloqueando o acesso a partes de um web site ou até ao todo site. Geralmente não há porque bloquear certos spiders ou páginas.
Neste caso colocamos somente seguinte num arquivo txt:

User-Agent: *

Allow: /

salvamos como “robots.txt” e subimos no root do nosso servidor.

Caso queremos bloquear certas páginas substituímos a seguinda linha por “Disallow” e citamos todas as páginas que queremos bloquear.

Caso queremos bloquear certos spiders, por exemplo, o Google Bot temos que digitar o seguinte:

User-Agent: Googlebot

Disallow: /

 

HTACCESS

 

O arquivo .HTACCESS serve para redirecionamentos no servidor. Na otimização de sites os arquivos .htaccess são utilizados para definir qual é o jeito de nosso endereço web que queremos que seja mostrado. É importante pois os buscadores interpretam www.website.com não igual à website.com o que pode resultar numa penalização por conteúdo duplicado e também dividir a força que receboms através de links de outros sites como também links internos que apontam para a primeira página. Um exemplo para um arquivo .htaccess que transforma URLs digitados sem os www em URLs com os www seria seguinte:

 

#non-www to www start

RewriteEngine On

RewriteCond %{HTTP_HOST} !^www.meuwebsite.com$

RewriteRule (.*) http:// meuwebsite.com/$1 [R=301,L]

#non-www to www end

Este texto seria copiado e colado num arquivo txt e depois salvo como “todos os tipos de arquivos” e nome do arquivo “.htaccess”. Depois subir na root do servidor do website e não exige mais nada, pois o servidor irá ler este arquivo cada vez que a página for carregada.

 

Sitemaps

 

O Sitemap é um arquivo tipo XML com meta dados (última atualização, freqüência das alterações, relevância em relação a outros URLs, etc.) de um site.

Assim facilitamos o Google de encontrar todas as páginas e saber quando tem que reler uma página que foi alterada.

O sitemap deve se encontrar na root do servidor e submetido ao Google através de uma conta no Google Webmasters.

Para criar um sitemap, acesse www.xml-sitemaps.com e digite o URL no campo “Starting URL”. Adicionalmente pode definir a freqüência de mudanças no seu site, a última modificação (por padrão será usado a resposta do servidor que corresponde da data e do horário real da última mudança de cada arquivo) e a aplicação de uma prioridade que é calculada através da quantidade de links para cada página internamente. Geralmente não precisa alterar nada destas opções, o resultado com as configurações padrão são as mais apropriadas para fins de otimização. Após clicar em “Start” começará o “Crawl” ou rastejarmento.

Criar um xml sitemap para seu website

Criar um xml sitemap para seu website

Após a conlcusão podemos fazer download do resultado ou copiar o resultado no campo “XML Sitemap content” com a indicação de números de páginas ao lado e colar num arquivo XML. Agora temos que fazer o upload deste arquivo na root do nosso servidor ou seja, na pasta public_html.

Estando com o sitemal no servidor podemos submeter ele ao Google com a ferramenta gratuita Google Webmaster Tools.

Para isto acesse: https://www.google.com/webmasters/tools/

Para poder utilizar esta ferramenta é necessário ter uma conta no Google.

Faça login com o seu e-mail e senha cadastrado e clique em “Add a site” na próxima tela. Insira o URL do seu site e clique em “Continue”. Agora será necessário a verificação que você é dono deste web site. Existem varias alternativas de fazer isto, mas a mais fácil é a terceira opção “Add a meta tag to your site’s home Page”. Uma tag com um código será exibido, copie e cole-o no header da primeira página do seu web site e clique em “verify”.

Verificação do site no Google Webmaster Tools

Verificação do site no Google Webmaster Tools

Agora temos acesso às ferramentas para webmasters do Google. Além de poder submeter sitemaps têm muitas vantagens.

Na tela inicial veremos impressões nos resultados orgânicos vinculadas em palavras chave, links para o meu site como também erros de rastreamento e palavras chave do meu site e suas significâncias.

No menu principal a esquerda clique em “Configuração do site” para abrir o submenu e em seguida em “Sitemaps”. Na próxima tela veremos quantos URL foram enviados por último e quantos destes estão no índice da web. Abaixo disso temos a opção de enviar o sitemap. Recomendo esta ação após cada mudança no web site especialmente quando foi aumentado conteúdo ou excluídas certas páginas.

Enviar o sitemap do website ao Google Webmaster Tools

Enviar o sitemap do website ao Google Webmaster Tools

Categorias: SEO

Por: Fábio Breitenschmitzer

Deixe um comentário

Perguntas, sugestões ou opiniões?