L'ère Google touche t-elle à sa fin ?

On a vu passer WebFountain ou Megaglobe.

On a effleurer la nouveauté avec Live Search.

On a faillit sentir un vent nouveau avec le nouvel algorithme de Yahoo!.

Va t-on enfin voir David bravant Goliath ? Ca ce pourrait bien...


Depuis plusieurs mois, beaucoup de webmasters se posaient des questions au sujet d'un bot nommé Twiceler qui se mettait à crawler leur site avec voracité, passant de quelques requêtes par jours à plusieurs dizaines de milliers.

Connu depuis fin 2005, le bot devenait de plus en plus envahissant, poussant même les webmaster à en discuter et à le bloquer purement et simplement. Si certains curieux avaient eu l'idée d'aller espionner ce bot et de remonter ça source via un simple whois, afin de constater, chose étrange, qu'il était le fruit d'un moteur expérimental nommé Cuill et dirigé par Tom Costello, ils n'en avaient pas pour autant tirés de conclusion hâtives. Au pire, certains d'entre eux ont tout simplement demandé à Cuill de ne plus exploser leurs serveurs.

Exemple de courrier type envoyé :

Bonjour,
Twiceler est un bot expérimental que nous développons pour notre moteur de recherche. Il est important qu'il obéisse aux fichiers robots.txt, et donc, qu'il ne crawle pas les site qui l'interdisent.
Si vous le souhaitez, nous pouvons ajouter votre site à notre liste d'exclusion, mais j'aurais besoin de connaitre votre nom de domaine ainsi qu'un email de confirmation.
Je vous présente nos excuse pour le dérangement occasionné. Je suis à votre disposition pour de futur nouvelles questions.
Cordialement,

James Akers
Operations Engineer
Cuill, Inc.

Je crois que dans les jours qui viennent beaucoup vont demander à être supprimer de cette fameuse liste "noire", car aujourd'hui, nous en savons plus sur ce qui se cache derrière Cuill et son bot Twiceler.

Cuill Inc est une société créée en juillet 2005 pour développer un moteur de recherche révolutionnaire. Vous m'en direz tant...

Et pourtant, à bien y regarder, on remarque que ses fondateurs ne sont pas des tocards. Anna Paterson et Russell Power sont deux ancien de l'aventure Google et Tom Costello, docteur en physique, est un ancien du projet mort-né d'IBM, WebFountain. Si l'on imagine fort bien les informations qu'ont pu apporter les deux ex-googlers au projet, il ne faut pas oublier l'investissement de Tom Costello dans le programme d'IBM. De la à voir Cuill Inc subventionner par cette boite, il n'y a qu'un pas, de quoi mettre l'eau à la bouche et faire passer quelques mauvaises nuits aux patrons de Google.

Pour en revenir concrètement à Cuill, peu d'information ont filtré, mais on parle déjà d'un moteur de recherche axé sur la sémantique, c'est à dire l’étude de la signification d'un texte, et dont la conception permettrait d'indexer le Web à très grande vitesse et pour un cout en ressource 90% inférieur à celui utilisé par Google, deux facteurs prépondérant pour l'avenir de la recherche sur le Web.

Toujours est-il que ce énième nouveau moteur de recherche révolutionnaire qui doit tout déchirer, comme feu les autres, devrait débarquer début 2008.

Et pour ceux qui décideraient de scruter leurs logs, voici les 20 premiers bots que j'ai pu identifier :

  • 38.99.13.121 - crawl-0.cuill.com
  • 38.99.13.122 - crawl-1.cuill.com
  • 38.99.13.123 - crawl-2.cuill.com
  • 38.99.13.124 - crawl-3.cuill.com
  • 38.99.13.125 - crawl-4.cuill.com
  • 38.99.13.126 - crawl-5.cuill.com
  • 64.1.215.162 - crawl-6.cuill.com
  • 64.1.215.163 - crawl-7.cuill.com
  • 64.1.215.164 - crawl-8.cuill.com
  • 64.1.215.165 - crawl-9.cuill.com
  • 38.99.44.101 - crawl-10.cuill.com
  • 38.99.44.102 - crawl-11.cuill.com
  • 38.99.44.103 - crawl-12.cuill.com
  • 38.99.44.104 - crawl-13.cuill.com
  • 38.99.44.105 - crawl-14.cuill.com
  • 38.99.44.106 - crawl-15.cuill.com
  • 208.36.144.7 - crawl-16.cuill.com
  • 208.36.144.8 - crawl-17.cuill.com
  • 208.36.144.9 - crawl-18.cuill.com
  • 208.36.144.10 - crawl-19.cuill.com

Tous ont pour identification de navigation "Mozilla/5.0 (Twiceler-0.9 http://www.cuill.com/twiceler/robot.html)", mais cela devrait changer lors de la version final du moteur.


Vos avis

N'oubliez pas de noter l'article. ;-)

Message
Expéditeur et validation