Aller au contenu
Invision Board France
  • 0

Moteur de recherche Alternatif


Prolag

Question

Bonjour,

 

IPB n'étant vraiment pas prevu pour les très gros forum

On remarque de gros lenteur sur les gros forum au niveau de la recherche (on est au limite du FullText...)

 

Une solution pour contrer ce probleme serai d'utiliser un moteur de recherche alternatif

En fin d'été dernier j'avais codé une grosse partie d'un moteur de recherche pour IPB 2.0 qui utilise Xapian

 

Xapian est un super moteur de recherche en C++ qui donne des resultats tres rapidement :) et qui permet aussi de faire des recherche sur des mots de 1 lettres (pas tres utile...) mais au moins on peux enlever la limite des 3caracteres !

 

Xapian a evolué recement ! il supporte maintenant PHP5 (au moment de mes tests c'était uniquement PHP4 !) On dirait qu'il y a aussi un meilleur code au niveau du PHP :)

 

Je voudrais donc savoir si des personnes sont interresés pour deployer ca ?

Je n'ai normalement que a porter le code pour IPB 2.1 et mettre à jour en fonction de Xapian

 

Pour information voila comment marchait le module :

Le module est en 3 grosses parties

 

1. un ensemble de fonction qui ajoute dans une table xapian, le travail d'indexation à réaliser (et nettoie le post suppression smiley, bbcodes...)

2. un cron qui indexe dans xapian (Pas encore defini tous les combiens le cron tourne)

3. un module de recherche qui pompe tape dans la base de donnée Xapian

 

Donc il y a des gens interresés pour utiliser ca comme moteur de recherche ? et qui aurai du temps et une machine pour tester ?

 

(voila un exemple d'un forum Allemand qui utilise Xapian http://gathering.tweakers.net/forum/find (j'ai tapé une recherche et j'ai eu le resultat "Database van 1096450 documenten doorzocht in 0,050s."))

 

Voila voila :)

Lien vers le commentaire
Partager sur d’autres sites

  • Réponses 99
  • Créé
  • Dernière réponse

Meilleurs contributeurs dans cette question

  • Prolag

    43

  • Phobos

    14

  • kcud_dab

    14

  • Youp3

    6

Meilleurs contributeurs dans cette question

Messages recommandés

  • 0

Je suis plutot interessé. Par contre je n'y connais pas grand chose en programmation / php etc.. mais je devrais pouvoir trouver du temps :) et de quoi tester

Modifié par kcud_dab
Lien vers le commentaire
Partager sur d’autres sites

  • 0
Je voudrais donc savoir si des personnes sont interresés pour deployer ca ?

 

En effet, nous serions très intérressés par cela.

Plus que d'améliorer les perfs, cela nous permettrait également de tenter un passage en innodb pour une meilleure fiabilité lors des crashs mysql ou système.

 

Par ailleurs nous avons une infrastruture de test pour ce genre d'innovations.

Lien vers le commentaire
Partager sur d’autres sites

  • 0
heu c'est du Néérlandais :)

C'est pas loin de l'allemand !

 

En effet, nous serions très intérressés par cela.

Plus que d'améliorer les perfs, cela nous permettrait également de tenter un passage en innodb pour une meilleure fiabilité lors des crashs mysql ou système.

 

Par ailleurs nous avons une infrastruture de test pour ce genre d'innovations.

Cool c'est surtout ca que je cherchait !

Lien vers le commentaire
Partager sur d’autres sites

  • 0

Je suis interessé, c'est possible d'intégrer xapian non seulement pour une recherche extérieure mais aussi pour une recherche comme "tous les sujets ou messages du membre", les sujets non lus, etc ?

Pour l'infrastructure de test par contre je ne sais pas si je trouverai le temps ;)

Lien vers le commentaire
Partager sur d’autres sites

  • 0
Je suis interessé, c'est possible d'intégrer xapian non seulement pour une recherche extérieure mais aussi pour une recherche comme "tous les sujets ou messages du membre", les sujets non lus, etc ?

Pour l'infrastructure de test par contre je ne sais pas si je trouverai le temps ;)

Ce type de recherche est "facile" et se réalise rapidement

Lien vers le commentaire
Partager sur d’autres sites

  • 0
Pareil, je suis trés trés interessé, les recherches me fliguent mon bixeon :P

 

Trés bon projet !!!

 

Bi xeon :unsure:

 

Quel rêve. Sinon joli le site.

 

Si un partenariat est envisageable => MP

 

Pour la recherche je suis intéressé aussi. Mais j'aimerais être sûr que cela ne va pas offrir des trous de sécurité .

 

Je suis une quille en code donc je préfère me renseigner avant :lol:

Lien vers le commentaire
Partager sur d’autres sites

  • 0

Bonjour,

 

Oui ce mois est fini ! et je vais avoir le temps ! je suis en vacances depuis hier midi... :unsure:

Le type top serai que je recupere une barrete de ram pour mon serveur.. (ca demarre po ss ram ... c'est bizarre...)

 

Phobos => Je retrouve ca et je met en ligne...

 

Pour la recherche je suis intéressé aussi. Mais j'aimerais être sûr que cela ne va pas offrir des trous de sécurité .

Normalement non

Ca depend de la version "utilisée" (j'expliquerai + tard !)

Lien vers le commentaire
Partager sur d’autres sites

  • 0

Merci beaucoup, j'ai un planning serré jusqu'en 2012... mais si je vire un peu de glandouille (qui constitue 80% de ce planning :'() je dois pouvoir caser un peu de taff sur ta mod :D

 

Bonnes vacances et bonnes chances pour ton serv ;)

Lien vers le commentaire
Partager sur d’autres sites

  • 0
Merci beaucoup, j'ai un planning serré jusqu'en 2012... mais si je vire un peu de glandouille (qui constitue 80% de ce planning :'() je dois pouvoir caser un peu de taff sur ta mod ;)

Je suis jamais contre un peu d'aide... :D

Lien vers le commentaire
Partager sur d’autres sites

  • 0
merci, interessant ;)

 

PS : il y a des références aux paths de clubic dans les sources :'(

Yep mais c'est pas les vraies path de clubic (car ils ont jamais déployé)

Modifié par Prolag
Lien vers le commentaire
Partager sur d’autres sites

  • 0

Quelques news

Ca avance :'(

J'ai porté tout ce qui est remplissage de la base de donnée (nettoyage des posts avant insertion dans xapian)

J'ai aussi installer ma debian pour utiliser Xapian ! j'ai quelques problemes avec MySQL mais je pense que je vais utiliser le paquet Debian ca marchera mieux ;):D

Demain je m'occupe de l'insertion dans la base Xapian et apres de la recherche :D^_^

Lien vers le commentaire
Partager sur d’autres sites

  • 0
Lol, tu fais du non stop ! :'(

C'est 3 fois rien...

le pire est a venir.... (Mon PC est entrain de swaper comme un fou... à fait des rebuild a cout de 50 000posts !

Lien vers le commentaire
Partager sur d’autres sites

  • 0

Genial que ca avance !

Super boulot !

Ce sera un réel soulagement ce merveilleux systeme, les recherches m'achevent de jour en jour ;p

Ca va etre joyeux pour moi de reconstruire la base xapian... avec 800 000 messages... (encore heureux que j'ai suprimé les vieux sinon ca en fait 1.5 millions).

Modifié par Cr@zY
Lien vers le commentaire
Partager sur d’autres sites

  • 0
Ca va etre joyeux pour moi de reconstruire la base xapian... avec 800 000 messages... (encore heureux que j'ai suprimé les vieux sinon ca en fait 1.5 millions).

Ca c'est sur.... sur ma machine de test (P3 800Mhz et 256Mo de ram) il me faut 1H environ pour indexer mes 200k posts !

 

Au niveau de l'avancement

L'indexeur marche :)

J'ai pas eu besoin de beaucoup le modifier...

Mais il faudrait que je prendre le temps de voir comment mieux gerer les reprises sinon il va fait boum sur des grosses DB !

Modifié par Prolag
Lien vers le commentaire
Partager sur d’autres sites

Rejoindre la conversation

Vous pouvez publier maintenant et vous inscrire plus tard. Si vous avez un compte, connectez-vous maintenant pour publier avec votre compte.

Invité
Répondre à cette question…

×   Collé en tant que texte enrichi.   Coller en tant que texte brut à la place

  Seulement 75 émoticônes maximum sont autorisées.

×   Votre lien a été automatiquement intégré.   Afficher plutôt comme un lien

×   Votre contenu précédent a été rétabli.   Vider l’éditeur

×   Vous ne pouvez pas directement coller des images. Envoyez-les depuis votre ordinateur ou insérez-les depuis une URL.

Chargement

×
×
  • Créer...

Information importante

En utilisant ce site, vous êtes d’accords avec nos Conditions d’utilisation. Nous avons placé des cookies sur votre appareil pour aider à améliorer ce site. Vous pouvez choisir d’ajuster vos paramètres de cookies, sinon nous supposerons que vous êtes d’accord pour continuer.