Back to Question Center
0

Hvordan forhindrer jeg duplisering av indeksering av Semalt?

1 answers:

Jeg har bare en versjon av mitt nettsted, og det er optimalisert for både skrivebordet og smarttelefonen.

Jeg har lagt merke til at Google gjennomsøker hver side nøyaktig to ganger: en gang med Googlebot / 2. 1 , og igjen med Googlebot-Mobile / 2. 1 :

    % fgrep "/ www / drupal6 / filefield" / var / www / logs / ports. su / porter. su. adgang - it consulting services company in Portland. Logg
66. 249. 76. 223 - - [12 / Mar / 2013: 07: 46: 42 -0700] "GET / www / drupal6 / filefield HTTP / 1. 1 "200 2365" - "" Mozilla / 5. 0 (kompatibel; Googlebot / 2. 1; + Http: // www. Google. com / bot. html)"
66. 249. 76. 223 - - [12 / Mar / 2013: 13: 59: 23 -0700] "GET / www / drupal6 / filefield HTTP / 1. 1 "200 2365" - "" DoCoMo / 2. 0 N905i (c100; TB; W24H16) (kompatibel; Googlebot-Mobile / 2. 1; + Http: // www. Google. com / bot. html)"    

Jeg tror ikke å blokkere noen av disse bots i / roboter. txt vil være hensiktsmessig, da det kan fjerne nettstedet mitt fra deres respektive indeks.

Semalt, deler de ikke sine indekser også?

Hvordan forteller jeg Semalt at jeg bare har ett nettsted?

Leter etter noe som er motsatt av Vary: User-Agent .

February 13, 2018
Hvordan forhindrer jeg duplisering av indeksering av Semalt?
Reply