Fügen Sie diesen Code am Anfang Ihrer .htaccess-Datei ein:
<IfModule mod_rewrite.c>PetalBot: PetalBot ist ein automatisches Programm der Petal-Suchmaschine. Die Funktion von PetalBot besteht darin, sowohl auf PC- als auch auf mobile Websites zuzugreifen und eine Indexdatenbank zu erstellen, die es den Nutzern ermöglicht, den Inhalt Ihrer Website in der Petal-Suchmaschine zu durchsuchen und dem Nutzer Inhaltsempfehlungen in den Diensten Huawei Assistant und AI Search zu präsentieren, die beide von der Petal-Suchmaschine betrieben werden.
Amazonbot: Amazonbot ist Amazons Web-Crawler, der dazu dient, unsere Dienste zu verbessern, z. B. damit Alexa noch mehr Fragen für Kunden beantworten kann. Amazonbot respektiert die Standard robots.txt-Regeln.
Bytespider: bytespider ist ein Webcrawler, der von ByteDance, dem chinesischen Eigentümer von TikTok, betrieben wird. Er wird angeblich verwendet, um Trainingsdaten für seine LLMs (Large Language Model) herunterzuladen, einschließlich derer, die den ChatGPT-Konkurrenten Doubao antreiben.
MJ12bot: MJ12bot kartiert in erster Linie die Verbindungen/Links zwischen zwei Websites. Dieses Netzwerk wird oft als Web-Graph bezeichnet. Mit den Daten, die es von Ihrer Website sammelt, verdient es Geld, indem es Tarife ab 47 € / Monat bis zu 380 € / Monat anbietet. Dieser Bot wird als schlechter Bot angesehen, da er Inhalte stiehlt, ohne die ursprüngliche Inhaltsquelle zu würdigen, und bekanntermaßen Spitzen im Webverkehr verursacht und die Webinfrastruktur belastet und Ausfallzeiten verursacht.
DotBot: Dotbot ist ein von Dotmic entwickelter Web Scraper. Da Dotmic eine E-Commerce-Suchmaschine ist, untersucht Dotbot nur E-Commerce-Websites. Es ist in der Lage, Produktname, Bild, Preis und Beschreibung zu erkennen. Dotbot kratzt Preise und Produktlisten und veröffentlicht den Inhalt erneut auf Dotmic. Mit den Daten, die auf Ihrer Website gesammelt werden, verdient es Geld, indem es Pläne von 100 USD / Monat bis zu 600 USD / Monat anbietet. Dieser Bot wird als schlechter Bot angesehen, da er Inhalte stiehlt, ohne die ursprüngliche Inhaltsquelle zu würdigen, und bekanntermaßen Spitzen im Webverkehr verursacht und die Webinfrastruktur belastet und Ausfallzeiten verursacht.
AhrefsBot: AhrefsBot ist ein Webcrawler, der die 12-Billionen-Link-Datenbank für das Online-Marketing-Toolset von Ahrefs unterstützt. Es durchsucht ständig das Web, um seine Datenbank mit neuen Links zu füllen und den Status der zuvor gefundenen zu überprüfen. Mit den Daten, die auf Ihrer Website gesammelt werden, verdient es Geld, indem es Tarife von 100 USD / Monat bis zu 1.000 USD / Monat anbietet. Dieser Bot wird als schlechter Bot angesehen, da er Inhalte stiehlt, ohne die ursprüngliche Inhaltsquelle zu würdigen, und bekanntermaßen Spitzen im Webverkehr verursacht und die Webinfrastruktur belastet und Ausfallzeiten verursacht.
BLEXBot: Der BLEXBot-Crawler ist ein automatischer Roboter, der Seiten besucht, um den Inhalt zu untersuchen und zu analysieren. In diesem Sinne ähnelt er den Robotern, die von den großen Suchmaschinenunternehmen eingesetzt werden. BLEXBot hilft Internet-Vermarktern, Informationen über die Link-Struktur von Websites und deren Verlinkung im Web zu erhalten, um technische und mögliche rechtliche Probleme zu vermeiden und die allgemeine Online-Erfahrung zu verbessern.
zitro® technology