Otimização Para Motores De Busca

Como uma estratégia de marketing na Internet, SEO considera como funcionam os mecanismos de busca, os algoritmos programados pelo computador que dita o comportamento dos mecanismos de busca, o que as pessoas buscam, os termos de busca reais ou palavras-chave digitadas nos mecanismos de busca, e quais mecanismos de busca são preferidos por seu público alvo. A otimização é realizada porque um website receberá mais visitantes de um mecanismo de busca quando os websites estiverem em uma posição mais alta na página de resultados do mecanismo de busca (SERP). Estes visitantes podem ser potencialmente convertidos em clientes.

Os webmasters e fornecedores de conteúdo começaram a otimizar os sites para mecanismos de busca em meados dos anos 90, já que os primeiros mecanismos de busca estavam catalogando o início da Web. Inicialmente, todos os webmasters precisavam apenas submeter o endereço de uma página, ou URL, aos vários mecanismos, que enviariam um web crawler para rastrear aquela página, extrair links para outras páginas dela, e retornar informações encontradas na página a ser indexada.

Os proprietários de sites reconheceram o valor de uma alta classificação e visibilidade nos resultados dos mecanismos de busca, criando uma oportunidade tanto para os praticantes de SEO de white hat como de black hat. Segundo o analista da indústria Danny Sullivan, a frase "search engine optimization" provavelmente entrou em uso em 1997. Sullivan credita Bruce Clay como uma das primeiras pessoas a popularizar o termo.

Ao confiar fortemente em fatores como a densidade de palavras-chave, que estavam exclusivamente dentro do controle de um webmaster, os primeiros mecanismos de busca sofreram abusos e manipulação de classificação. Para fornecer melhores resultados a seus usuários, os mecanismos de busca tiveram que se adaptar para garantir que suas páginas de resultados mostrassem os resultados de busca mais relevantes, em vez de páginas não relacionadas com inúmeras palavras-chave recheadas de webmasters inescrupulosos. Isto significava afastar-se da forte dependência da densidade de termos para um processo mais holístico de pontuação de sinais semânticos.

As empresas que empregam técnicas excessivamente agressivas podem conseguir que seus sites clientes sejam banidos dos resultados da busca. Em 2005, o The Wall Street Journal relatou uma empresa, a Traffic Power, que supostamente utilizava técnicas de alto risco e não divulgou esses riscos a seus clientes. A revista Wired informou que a mesma empresa processou o blogueiro e o SEO Aaron Wall por escrever sobre a proibição. O Matt Cutts do Google confirmou mais tarde que o Google de fato baniu o Traffic Power e alguns de seus clientes.

Alguns mecanismos de busca também alcançaram a indústria de SEO e são patrocinadores e convidados frequentes em conferências, webchats e seminários de SEO. As principais ferramentas de busca fornecem informações e diretrizes para ajudar na otimização de websites. O Google tem um programa de Sitemaps para ajudar os webmasters a saber se o Google está tendo algum problema para indexar seu website e também fornece dados sobre o tráfego do Google para o website.

Em 2015, foi relatado que o Google estava desenvolvendo e promovendo a pesquisa móvel como uma característica chave dentro de produtos futuros. Em resposta, muitas marcas começaram a adotar uma abordagem diferente para suas estratégias de marketing na Internet.

Relacionamento com o Google

Em 1998, dois estudantes de pós-graduação da Universidade de Stanford, Larry Page e Sergey Brin, desenvolveram o "Backrub", um mecanismo de busca que dependia de um algoritmo matemático para avaliar a proeminência das páginas web. O número calculado pelo algoritmo, PageRank, é uma função da quantidade e da força dos backlinks.

Page e Brin fundaram o Google em 1998. O Google atraiu um público fiel entre o crescente número de usuários da Internet, que gostaram de seu design simples. Fatores fora da página (tais como PageRank e análise de hiperligação) foram considerados, assim como fatores on-page (tais como frequência de palavras-chave, meta-tags, cabeçalhos, links e estrutura do site) para permitir ao Google evitar o tipo de manipulação vista em mecanismos de busca que só consideravam fatores on-page para suas classificações. Embora o PageRank fosse mais difícil de manipular, os webmasters já haviam desenvolvido ferramentas e esquemas de construção de linhas para influenciar o mecanismo de busca Inktomi, e estes métodos provaram ser igualmente aplicáveis ao PageRank. Muitos sites se concentram na troca, compra e venda de links, muitas vezes em uma escala maciça. Alguns destes esquemas, ou fazendas de links, envolveram a criação de milhares de sites com o único propósito de fazer links com spam.

Em 2004, os motores de busca tinham incorporado uma ampla gama de fatores não revelados em seus algoritmos de classificação para reduzir o impacto da manipulação de links. Em junho de 2007, Saul Hansell, do The New York Times, declarou que o Google classifica sites usando mais de 200 sinais diferentes. Os principais mecanismos de busca, Google, Bing e Yahoo, não divulgam os algoritmos que usam para classificar páginas. Alguns profissionais de SEO estudaram diferentes abordagens de otimização para mecanismos de busca e compartilharam suas opiniões. As patentes relacionadas aos mecanismos de busca podem fornecer informações para entender melhor os mecanismos de busca. Em 2005, o Google começou a personalizar os resultados de busca para cada usuário. Dependendo de seu histórico de buscas anteriores, o Google criou resultados para usuários logados.

Em 2007, o Google anunciou uma campanha contra links pagos que transferem o PageRank. Em 15 de junho de 2009, o Google divulgou haver tomado medidas para mitigar os efeitos da escultura PageRank pelo uso do atributo nofollow nos links. Matt Cutts, um conhecido engenheiro de software do Google, anunciou que o Google Bot não trataria mais nenhum link não seguido, da mesma forma, para evitar que os prestadores de serviços de SEO utilizassem nofollow para a escultura PageRank. Como resultado desta mudança, o uso de nofollow levou à evaporação do PageRank. A fim de evitar o acima exposto, os engenheiros de SEO desenvolveram técnicas alternativas que substituem as tags nofollow por JavaScript ofuscado e assim permitem a escultura PageRank. Além disso, foram sugeridas várias soluções que incluem o uso de iframes, Flash, e JavaScript.

Em dezembro de 2009, o Google anunciou que utilizaria o histórico de busca na web de todos os seus usuários a fim de preencher os resultados da busca. Em 8 de junho de 2010, foi anunciado um novo sistema de indexação da web chamado Google Caffeine. Projetado para permitir aos usuários encontrar resultados de notícias, posts em fóruns e outros conteúdos muito mais cedo após a publicação do que antes, o Google Caffeine foi uma mudança na forma como o Google atualizou seu índice para que as coisas aparecessem mais rapidamente no Google do que antes. De acordo com Carrie Grimes, a engenheira de software que anunciou Caffeine para o Google, "Caffeine fornece resultados 50% mais recentes para pesquisas na web do que nosso último índice..." Google Instant (pesquisa em tempo real), foi introduzido no final de 2010, numa tentativa de tornar os resultados de pesquisa mais oportunos e relevantes. Historicamente, os administradores do site passaram meses ou mesmo anos otimizando um site para aumentar a classificação das buscas. Com o crescimento da popularidade dos sites de mídia social e blogs, os principais motores de busca fizeram mudanças em seus algoritmos para permitir que o conteúdo novo fosse classificado rapidamente dentro dos resultados de busca.

Em fevereiro de 2011, o Google anunciou a atualização do Panda, que penaliza os sites que contêm conteúdo duplicado de outros sites e fontes. Historicamente, os websites têm copiado conteúdo uns dos outros e se beneficiado nos rankings dos mecanismos de busca ao se envolverem nesta prática. Entretanto, o Google implementou um novo sistema que pune os sites cujo conteúdo não é único. O Google Penguin de 2012 tentou penalizar os sites que usavam técnicas manipuladoras para melhorar seus rankings nos mecanismos de busca. Embora o Google Penguin tenha sido apresentado como um algoritmo destinado a combater o spam da web, ele realmente se concentra nos links de spam, medindo a qualidade dos sites dos quais os links estão vindo. A atualização de 2013 do Google Hummingbird apresentou uma mudança de algoritmo projetada para melhorar o processamento da linguagem natural do Google e a compreensão semântica das páginas web. O sistema de processamento de linguagem do Hummingbird se enquadra no novo termo reconhecido de "busca conversacional", onde o sistema presta mais atenção a cada palavra na consulta a fim de melhor combinar as páginas com o significado da consulta em vez de algumas palavras.

Em outubro de 2019, o Google anunciou que começaria a aplicar os modelos BERT para consultas de busca em inglês nos EUA. Em termos de otimização para mecanismos de busca, o BERT pretendeu conectar os usuários mais facilmente ao conteúdo relevante e aumentar a qualidade do tráfego que chega aos sites que estão no ranking da página de resultados dos mecanismos de busca.

Em novembro de 2019, o The Wall Street Journal publicou um artigo falando sobre como o Google "molda o que você vê" a partir de listas de sites banidos, atualizações de algoritimos e equipes contratadas para avaliar os resultados de pesquisa. Este artigo foi criticado pela comunidade relacionada ao SEO no mundo.

Indexação

 

Os principais mecanismos de busca, tais como Google, Bing e Yahoo!, usam rastreadores para encontrar páginas para seus resultados de busca algorítmica. As páginas que são vinculadas a partir de outros motores de busca não precisam ser submetidas porque são encontradas automaticamente. O Yahoo! Directory e DMOZ, dois diretórios principais que fecharam em 2014 e 2017 respectivamente, ambos exigiam submissão manual e revisão editorial humana. O Google oferece o Google Search Console, para o qual um feed XML do mapa do site pode ser criado e submetido gratuitamente para garantir que todas as páginas sejam encontradas, especialmente as páginas que não podem ser descobertas seguindo automaticamente os links, além de seu console de submissão de URL. O Yahoo! anteriormente operava um serviço de submissão paga que garantia o rastreamento por um custo por clique.

Os rastreadores dos mecanismos de busca podem olhar para uma série de fatores diferentes ao rastrear um site. Nem todas as páginas são indexadas pelos mecanismos de busca. A distância das páginas do diretório raiz de um site também pode ser um fator para que as páginas sejam ou não rastreadas.

De acordo com o Google, a maioria das pessoas usa um dispositivo móvel para pesquisar. Em novembro de 2016, o Google anunciou uma grande mudança na forma de rastrear websites e começou a priorizar o índice para celulares, o que significa que a versão móvel de um determinado website se torna o ponto de partida para o índice. Em maio de 2019, o Google atualizou o motor de renderização de seu rastreador para ser a última versão do Chromium (74 no momento do anúncio). O Google indicou que eles atualizariam regularmente o motor de renderização Chromium para a última versão.

Em dezembro de 2019, a empresa começou a atualizar a sequência de usuários-agentes de seu crawler para refletir a última versão Chrome usada por seu serviço de renderização. O atraso era para dar tempo aos webmasters para atualizar seu código que respondesse a determinadas seqüências de usuário-Agente de bot.

Prevenção de conteúdos indesejados no rastreamento

 Ver artigo principal: Protocolo de exclusão de robôs

Para evitar conteúdos indesejáveis nos índices de busca, os webmasters podem instruir os spiders a não rastrearem certos arquivos ou diretórios através do arquivo robots.txt padrão no diretório raiz do domínio. Além disso, uma página pode ser explicitamente excluída do banco de dados de um mecanismo de busca usando uma meta-tag específica para robôs (geralmente, ). Quando um mecanismo de busca visita um site, o arquivo robots.txt localizado no diretório raiz é o primeiro arquivo a ser rastreado. O arquivo robots.txt é então analisado e instruirá o robô quanto às páginas que não devem ser rastreadas. Como um motor de busca pode manter uma cópia deste arquivo em cache, ele pode ocasionalmente rastrear páginas que um webmaster não deseja rastrear. As páginas normalmente impedidas de serem rastreadas incluem páginas específicas de login, como carrinhos de compras e conteúdo específico do usuário, como resultados de buscas internas. Em março de 2007, o Google avisou aos webmasters que eles deveriam impedir a indexação de resultados de buscas internas porque essas páginas são consideradas spam de busca. Em 2020, o Google colocou em prática o padrão (e abriu seu código) e agora o trata como uma dica e não como uma diretiva. Para garantir adequadamente que as páginas não sejam indexadas, a meta-tag de um robô de nível de página deve ser incluída.

Aumentando o destaque

Uma variedade de métodos pode aumentar a proeminência de uma página da web dentro dos resultados da busca. O cruzamento de links entre páginas do mesmo site para fornecer mais links para páginas importantes pode melhorar sua visibilidade. O design da página faz com que os usuários confiem em um site e queiram ficar quando o encontrarem. Quando as pessoas saltam de um site, isso conta contra o site e afeta sua credibilidade. Escrever conteúdo que inclua frases-chave frequentemente pesquisadas de modo a ser relevante para uma grande variedade de consultas de busca tenderá a aumentar o tráfego. A atualização de conteúdo de modo a manter os mecanismos de busca rastejando com frequência pode dar peso adicional a um site. Adicionar palavras-chave relevantes aos metadados de uma página web, incluindo a etiqueta de título e a meta descrição, tenderá a melhorar a relevância das listas de busca de um site, aumentando assim o tráfego. A canonicalização da URL  carece de explicação de páginas web acessíveis através de múltiplas URLs, usando o elemento de link canônico ou através de 301 redirecionamentos pode ajudar a garantir que os links para diferentes versões da URL contem para a pontuação de popularidade do link da página. Estes são conhecidos como links de entrada, que apontam para a URL e podem contar para a pontuação de popularidade do link da página, impactando a credibilidade de um website.

Técnicas de black hat versus white hat

As técnicas de SEO podem ser classificadas em duas amplas categorias: técnicas que as empresas de motores de busca recomendam como parte de um bom design (white hat) e aquelas técnicas que os motores de busca não aprovam (black hat). Os motores de busca tentam minimizar o efeito destes últimos, entre eles a indexação de spam. Os comentaristas da indústria classificam estes métodos e os profissionais que os empregam como SEO de white hat (em português: chapéu branco) ou SEO de black hat (em português: chapéu preto). Os white hats tendem a produzir resultados que duram muito tempo, enquanto que os black hats antecipam que seus sites podem eventualmente ser banidos temporariamente ou permanentemente quando os motores de busca descobrem o que estão fazendo.

Uma técnica SEO é considerada um white hat se estiver de acordo com as diretrizes dos motores de busca e não envolver engano. Como as diretrizes dos motores de busca não são escritas como uma série de regras ou mandamentos, esta é uma distinção importante a ser observada. SEO de white hat não se trata apenas de seguir as diretrizes, mas de garantir que o conteúdo que um mecanismo de busca indexa e posteriormente classifica é o mesmo conteúdo que um usuário verá. O conselho de white hat é geralmente resumido como criação de conteúdo para os usuários, não para os mecanismos de busca, para depois tornar esse conteúdo facilmente acessível aos algoritmos spider online, em vez de tentar enganar o algoritmo a partir de sua finalidade pretendida. O SEO de white hat é de muitas maneiras semelhante ao desenvolvimento da web que promove a acessibilidade.

O SEO de black hat tenta melhorar as classificações de maneiras que são desaprovadas pelos mecanismos de busca ou envolvem engano. Uma técnica de black hat usa texto oculto, seja como texto colorido similar ao fundo, em um div invisível, ou posicionado fora da tela. Outro método dá uma página diferente dependendo se a página está sendo solicitada por um visitante humano ou por um mecanismo de busca, uma técnica conhecida como cloaking. Outra categoria às vezes utilizada é SEO grey hat, estando entre o black hat e o white hat, usa-se técnicas que não são contra as diretrizes dos motores de busca, no entanto sobressai-se do que seria uma prática recomendada. Por exemplo, solicitar um backlink de um site com autoridade de domínio  carece de explicação por meio de um formulário de contato sem ser via Google Search Console.

Os mecanismos de busca podem penalizar os sites que descobrirem usando métodos de black hat ou grey hat, seja reduzindo seus rankings ou eliminando sua presença nos bancos de dados por completo. Tais penalidades podem ser aplicadas automaticamente pelos algoritmos dos mecanismos de busca ou por uma revisão manual do site. Um exemplo foi a remoção pelo Google, em fevereiro de 2006, tanto da BMW Alemanha quanto da Ricoh Alemanha pelo uso de práticas enganosas. Ambas as empresas, entretanto, rapidamente se desculparam, consertaram as páginas ofensivas, e foram restauradas à página de resultados do mecanismo de busca do Google.

O SEO não é uma estratégia apropriada para todos os sites, sendo que outras estratégias de marketing na Internet podem ser mais eficazes, tais como publicidade paga através de campanhas pay per click (PPC), dependendo dos objetivos do operador do site. Search Engine Marketing (SEM) é a prática de projetar, executar e otimizar campanhas publicitárias nos mecanismos de busca. Sua diferença em relação ao SEO é representada na diferença entre o ranking de prioridade paga e não paga nos resultados de busca. A SEM concentra-se mais na proeminência do que na relevância; os desenvolvedores de sites devem considerar a SEM com maior importância considerando a visibilidade como a maioria navega para as principais listagens de sua busca.

Uma campanha de marketing bem-sucedida na Internet também pode depender da construção de páginas web de alta qualidade para engajar e persuadir os usuários da Internet, estabelecendo programas analíticos para permitir que os proprietários de sites meçam os resultados, e melhorando a taxa de conversão  carece de explicação de um site. Em novembro de 2015, o Google lançou ao público uma versão completa de 160 páginas de suas Diretrizes de Classificação de Qualidade de Busca, que revelou uma mudança em seu foco em direção à "utilidade" e à busca local móvel. Nos últimos anos, o mercado móvel explodiu, ultrapassando o uso de computadores, como mostrado pelo StatCounter em outubro de 2016, onde analisaram 2,5 milhões de websites e descobriram que 51,3% das páginas foram carregadas por um dispositivo móvel. O Google tem sido uma das empresas que estão utilizando a popularidade do uso móvel, incentivando os websites a usar o Google Search Console, o Mobile-Friendly Test, que permite às empresas medir os resultados de seu website para o mecanismo de busca e determinar o quão amigáveis seus websites são. Quanto mais próximas as palavras-chave estiverem juntas, sua classificação melhorará com base em termos-chave.

O SEO pode gerar um retorno adequado do investimento. Entretanto, os mecanismos de busca não são pagos pelo tráfego de busca orgânica, seus algoritmos mudam, e não há garantias de referências continuadas. Devido a esta falta de garantia e incerteza, um negócio que depende muito do tráfego dos motores de busca pode sofrer grandes perdas se eles deixarem de enviar visitantes. Os motores de busca podem mudar seus algoritmos, impactando o ranking dos resultados de um site, possivelmente ocasionando uma séria perda de tráfego. Segundo o ex-CEO do Google Eric Schmidt, em 2010 o Google fez mais de 500 mudanças nos algoritmos – quase 1,5 por dia. É considerada uma boa prática comercial para os operadores de websites se libertarem da dependência do tráfego dos mecanismos de busca.

As técnicas de otimização estão altamente sintonizadas com os motores de busca dominantes no mercado alvo. As quotas de mercado dos mecanismos de busca variam entre os mercados, assim como a concorrência. Em 2003, Danny Sullivan afirmou que o Google representava cerca de 75% de todas as buscas. Fora dos Estados Unidos, a participação da empresa é maior. Seu motor de busca é dominante no mundo desde 2007. Em 2006, o Google tinha uma participação de mercado de 85-90% na Alemanha. Enquanto havia centenas de empresas de SEO nos EUA naquela época, havia apenas cerca de cinco na Alemanha. Em junho de 2008, a participação de mercado do Google no Reino Unido estava próxima a 90% de acordo com a Hitwise.

A otimização bem-sucedida da busca para mercados internacionais pode exigir tradução profissional de páginas web, registro de um nome de domínio com um domínio de primeiro nível no mercado alvo e hospedagem web que forneça um endereço IP local. Caso contrário, os elementos fundamentais da otimização da busca são essencialmente os mesmos, independentemente do idioma.

• Este artigo foi inicialmente traduzido, total ou parcialmente, do artigo da Wikipédia em inglês cujo título é «Search engine optimization».