Pentru multe companii, o solutie alternativa la cumpararea de servere proprii este inchirierea de servere oferite de marile companii de hosting, pentru un plus de flexibilitate si costuri reduse. Acesta este cazul si site-ului LocateTV.com, care s-a mutat in serverul Amazon Web Services (AWS).
Dupa catva timp, Stephen Tallamy, unul din proprietari, a observat ca Google Bot indexa de doua ori mai multe pagini ca de obicei. Continutul duplicat poate sa reprezinte o problema majora, pentru ca risti sa fii penalizat de motoarele de cautare pentru supraincarcarea cu acelasi continut pe care o faci.
Atunci cand intri in AWS, serverul tau primeste automat un DNS public, ceea ce inseamna ca serverul va fi accesibil prin acest domeniu (care arata ca ec2-123.456.789.012.compute-1.amazonaws.com), dar si prin domeniul principal pe care l-ai inregistrat cu acelasi IP. In cazul special al lui Stephen Tallamy, situatia era cu atat mai dificila cu cat LocateTV avea doua servere pentru domeniul principal. Astfel, continutul era supus procedeului de crawling atat de pe doua subdomenii diferite amazonaws.com, cat si de pe www.locatetv.com. Nu existau linkuri externe pentru aceste subdomenii AWS, insa Google era notificat de noile intrari de DNS si indexa mai multe pagini decat era cazul, ceea ce producea o supraincarcare in servere si o mare problema in ceea ce priveste continutul duplicat.
Deoarece nu exista, deocamdata, nicio modalitate pentru a te asigura ca AWS nu mai ofera intrari de DNS public, prima solutie incercata de Tallamy a fost aceea a unei redirectionari de tipul 301, astfel incat Google sa scoata paginile duplicat din lista. Pentru el, aceasta solutie nu a functionat, insa in comentariile la analiza sa se regasesc si opinii diferite. Tallamy a adoptat, in aceasta situatie, alta metoda: a incercat sa modifice robots.txt, insa asta ar fi insemnat sa stopeze indexarea propriului sau domeniu. Asa ca a creat un fisier robots-block.txt de care s-a folosit pentru a modifica intrarile din .htaccess. Explicatia pe larg o aveti aici.
In cazul in care apelezi la un server extern – nu doar AWS – si te confrunti cu aceeasi problema ca cei de la LocateTV.com, solutia propusa este sa incerci in continuare sa folosesti redirectionarile de tip 301 spre domeniul tau canonic si sa incerci solutia cu robots-block.txt sau o solutie similara pentru a elimina din continutul duplicat deja indexat.
Tallamy are si cateva sugestii pentru ca Google sa rezolve aceasta problema:
-sa aiba un sistem mai eficient de a detecta continutul duplicat pentru acelasi IP;
-sa afiseze alerte in Webmaster Tool pentru ca webmasterii sa stie ca e posibil sa se confrunte cu aceasta problema;
-sa se perfectioneze in a efectua procedeul de re-crawling pentru a detecta redirectionarile;
-sa ofere asistenta pentru retragerea unui site din index atunci cand acesta redirectioneaza spre alt site.
In cazul in care esti interesat sa-ti promovezi site-ul eficient, trebuie sa tii cont de sfaturile de mai sus, pentru ca, in cazul in care Google e bombardat cu continut duplicat, poti avea de suferit. In cazul in care optezi pentru un server extern, cum ar fi AWS, monitorizeaza atent continutul indexat de Google.
Post new comment