Aller au contenu
Invision Board France
  • 0
Prolag

Moteur de recherche Alternatif

Question

Prolag

Bonjour,

 

IPB n'étant vraiment pas prevu pour les très gros forum

On remarque de gros lenteur sur les gros forum au niveau de la recherche (on est au limite du FullText...)

 

Une solution pour contrer ce probleme serai d'utiliser un moteur de recherche alternatif

En fin d'été dernier j'avais codé une grosse partie d'un moteur de recherche pour IPB 2.0 qui utilise Xapian

 

Xapian est un super moteur de recherche en C++ qui donne des resultats tres rapidement :) et qui permet aussi de faire des recherche sur des mots de 1 lettres (pas tres utile...) mais au moins on peux enlever la limite des 3caracteres !

 

Xapian a evolué recement ! il supporte maintenant PHP5 (au moment de mes tests c'était uniquement PHP4 !) On dirait qu'il y a aussi un meilleur code au niveau du PHP :)

 

Je voudrais donc savoir si des personnes sont interresés pour deployer ca ?

Je n'ai normalement que a porter le code pour IPB 2.1 et mettre à jour en fonction de Xapian

 

Pour information voila comment marchait le module :

Le module est en 3 grosses parties

 

1. un ensemble de fonction qui ajoute dans une table xapian, le travail d'indexation à réaliser (et nettoie le post suppression smiley, bbcodes...)

2. un cron qui indexe dans xapian (Pas encore defini tous les combiens le cron tourne)

3. un module de recherche qui pompe tape dans la base de donnée Xapian

 

Donc il y a des gens interresés pour utiliser ca comme moteur de recherche ? et qui aurai du temps et une machine pour tester ?

 

(voila un exemple d'un forum Allemand qui utilise Xapian http://gathering.tweakers.net/forum/find (j'ai tapé une recherche et j'ai eu le resultat "Database van 1096450 documenten doorzocht in 0,050s."))

 

Voila voila :)

Partager ce message


Lien à poster
Partager sur d’autres sites

Messages recommandés

  • 0
guymauve

heu c'est du Néérlandais :)

Partager ce message


Lien à poster
Partager sur d’autres sites
  • 0
kcud_dab

Je suis plutot interessé. Par contre je n'y connais pas grand chose en programmation / php etc.. mais je devrais pouvoir trouver du temps :) et de quoi tester

Modifié par kcud_dab

Partager ce message


Lien à poster
Partager sur d’autres sites
  • 0
gui92
Je voudrais donc savoir si des personnes sont interresés pour deployer ca ?

 

En effet, nous serions très intérressés par cela.

Plus que d'améliorer les perfs, cela nous permettrait également de tenter un passage en innodb pour une meilleure fiabilité lors des crashs mysql ou système.

 

Par ailleurs nous avons une infrastruture de test pour ce genre d'innovations.

Partager ce message


Lien à poster
Partager sur d’autres sites
  • 0
Prolag
heu c'est du Néérlandais :)

C'est pas loin de l'allemand !

 

En effet, nous serions très intérressés par cela.

Plus que d'améliorer les perfs, cela nous permettrait également de tenter un passage en innodb pour une meilleure fiabilité lors des crashs mysql ou système.

 

Par ailleurs nous avons une infrastruture de test pour ce genre d'innovations.

Cool c'est surtout ca que je cherchait !

Partager ce message


Lien à poster
Partager sur d’autres sites
  • 0
Phobos

Je suis interessé, c'est possible d'intégrer xapian non seulement pour une recherche extérieure mais aussi pour une recherche comme "tous les sujets ou messages du membre", les sujets non lus, etc ?

Pour l'infrastructure de test par contre je ne sais pas si je trouverai le temps ;)

Partager ce message


Lien à poster
Partager sur d’autres sites
  • 0
Prolag
Je suis interessé, c'est possible d'intégrer xapian non seulement pour une recherche extérieure mais aussi pour une recherche comme "tous les sujets ou messages du membre", les sujets non lus, etc ?

Pour l'infrastructure de test par contre je ne sais pas si je trouverai le temps ;)

Ce type de recherche est "facile" et se réalise rapidement

Partager ce message


Lien à poster
Partager sur d’autres sites
  • 0
Phobos

Oui j'avais oublié que ce n'était pas sur le contenu ;)

Pas grave ;)

Partager ce message


Lien à poster
Partager sur d’autres sites
  • 0
Prolag
up :)

Actuellement je n'ai pas vraiment le temps... mais je pense que d'ici 1 mois j'aurai beaucoup plus de temps...

Partager ce message


Lien à poster
Partager sur d’autres sites
  • 0
Cr@zY

Pareil, je suis trés trés interessé, les recherches me fliguent mon bixeon :)

 

Trés bon projet !!!

Partager ce message


Lien à poster
Partager sur d’autres sites
  • 0
Phobos

Le mois est écoulé :unsure:

Tu pourrais déjà mettre accessible les sources de ta mod 2.0 ? :lol:

Partager ce message


Lien à poster
Partager sur d’autres sites
  • 0
guymauve
Pareil, je suis trés trés interessé, les recherches me fliguent mon bixeon :P

 

Trés bon projet !!!

 

Bi xeon :unsure:

 

Quel rêve. Sinon joli le site.

 

Si un partenariat est envisageable => MP

 

Pour la recherche je suis intéressé aussi. Mais j'aimerais être sûr que cela ne va pas offrir des trous de sécurité .

 

Je suis une quille en code donc je préfère me renseigner avant :lol:

Partager ce message


Lien à poster
Partager sur d’autres sites
  • 0
Prolag

Bonjour,

 

Oui ce mois est fini ! et je vais avoir le temps ! je suis en vacances depuis hier midi... :unsure:

Le type top serai que je recupere une barrete de ram pour mon serveur.. (ca demarre po ss ram ... c'est bizarre...)

 

Phobos => Je retrouve ca et je met en ligne...

 

Pour la recherche je suis intéressé aussi. Mais j'aimerais être sûr que cela ne va pas offrir des trous de sécurité .

Normalement non

Ca depend de la version "utilisée" (j'expliquerai + tard !)

Partager ce message


Lien à poster
Partager sur d’autres sites
  • 0
Phobos

Merci beaucoup, j'ai un planning serré jusqu'en 2012... mais si je vire un peu de glandouille (qui constitue 80% de ce planning :'() je dois pouvoir caser un peu de taff sur ta mod :D

 

Bonnes vacances et bonnes chances pour ton serv ;)

Partager ce message


Lien à poster
Partager sur d’autres sites
  • 0
Prolag
Merci beaucoup, j'ai un planning serré jusqu'en 2012... mais si je vire un peu de glandouille (qui constitue 80% de ce planning :'() je dois pouvoir caser un peu de taff sur ta mod ;)

Je suis jamais contre un peu d'aide... :D

Partager ce message


Lien à poster
Partager sur d’autres sites
  • 0
kcud_dab

:'(

 

perso je pourrai seulement offrir mon aide dans le beta testing ;)

Modifié par kcud_dab

Partager ce message


Lien à poster
Partager sur d’autres sites
  • 0
Phobos

merci, interessant ;)

 

PS : il y a des références aux paths de clubic dans les sources :'(

Partager ce message


Lien à poster
Partager sur d’autres sites
  • 0
Prolag
merci, interessant ;)

 

PS : il y a des références aux paths de clubic dans les sources :'(

Yep mais c'est pas les vraies path de clubic (car ils ont jamais déployé)

Modifié par Prolag

Partager ce message


Lien à poster
Partager sur d’autres sites
  • 0
Prolag

Quelques news

Ca avance :'(

J'ai porté tout ce qui est remplissage de la base de donnée (nettoyage des posts avant insertion dans xapian)

J'ai aussi installer ma debian pour utiliser Xapian ! j'ai quelques problemes avec MySQL mais je pense que je vais utiliser le paquet Debian ca marchera mieux ;):D

Demain je m'occupe de l'insertion dans la base Xapian et apres de la recherche :D^_^

Partager ce message


Lien à poster
Partager sur d’autres sites
  • 0
Phobos

Lol, tu fais du non stop ! :'(

Modifié par Phobos

Partager ce message


Lien à poster
Partager sur d’autres sites
  • 0
Prolag
Lol, tu fais du non stop ! :'(

C'est 3 fois rien...

le pire est a venir.... (Mon PC est entrain de swaper comme un fou... à fait des rebuild a cout de 50 000posts !

Partager ce message


Lien à poster
Partager sur d’autres sites
  • 0
Cr@zY

Genial que ca avance !

Super boulot !

Ce sera un réel soulagement ce merveilleux systeme, les recherches m'achevent de jour en jour ;p

Ca va etre joyeux pour moi de reconstruire la base xapian... avec 800 000 messages... (encore heureux que j'ai suprimé les vieux sinon ca en fait 1.5 millions).

Modifié par Cr@zY

Partager ce message


Lien à poster
Partager sur d’autres sites
  • 0
Prolag
Ca va etre joyeux pour moi de reconstruire la base xapian... avec 800 000 messages... (encore heureux que j'ai suprimé les vieux sinon ca en fait 1.5 millions).

Ca c'est sur.... sur ma machine de test (P3 800Mhz et 256Mo de ram) il me faut 1H environ pour indexer mes 200k posts !

 

Au niveau de l'avancement

L'indexeur marche :)

J'ai pas eu besoin de beaucoup le modifier...

Mais il faudrait que je prendre le temps de voir comment mieux gerer les reprises sinon il va fait boum sur des grosses DB !

Modifié par Prolag

Partager ce message


Lien à poster
Partager sur d’autres sites

Créer un compte ou se connecter pour commenter

Vous devez être membre afin de pouvoir déposer un commentaire

Créer un compte

Créez un compte sur notre communauté. C’est facile !

Créer un nouveau compte

Se connecter

Vous avez déjà un compte ? Connectez-vous ici.

Connectez-vous maintenant

×

Information importante

En utilisant ce site, vous êtes d’accords avec nos Conditions d’utilisation. Nous avons placé des cookies sur votre appareil pour aider à améliorer ce site. Vous pouvez choisir d’ajuster vos paramètres de cookie, sinon nous supposerons que vous êtes d’accord pour continuer.