Wenn du Frames verwendest musst du in einem <noframes> ... </noframes> Bereich irgendeinen Text für Browser (und Spiders), die keine Frames darstellen können. "Das ist meine Page über x,y und z, leider kann dein Brauser keine Frames darstellen, klicke [hier] für die Navigation..." irgendsowas. Wenn dir langweilig ist kannst du das richtig Professionell gestalten..
Wenn du eben nur den Googlebot kontrollierst, können die anderen Spiders machen, was sie wollen. Oder du definierst für einige Suchmaschinen spezielle Regeln und handelst den Rest mit "*" ab. Seh ich persönlich aber keinen Sinn drin.
Vielleicht noch interessant:
http://selfhtml.teamone.de/diverses/robots.htm http://www.google.com/intl/de/webmasters/3.html http://selfhtml.teamone.de/html/fram...n.htm#noframes