Aller au contenu
Invision Board France
  • 0

Moteur de recherche Alternatif


Prolag

Question

Bonjour,

 

IPB n'étant vraiment pas prevu pour les très gros forum

On remarque de gros lenteur sur les gros forum au niveau de la recherche (on est au limite du FullText...)

 

Une solution pour contrer ce probleme serai d'utiliser un moteur de recherche alternatif

En fin d'été dernier j'avais codé une grosse partie d'un moteur de recherche pour IPB 2.0 qui utilise Xapian

 

Xapian est un super moteur de recherche en C++ qui donne des resultats tres rapidement :) et qui permet aussi de faire des recherche sur des mots de 1 lettres (pas tres utile...) mais au moins on peux enlever la limite des 3caracteres !

 

Xapian a evolué recement ! il supporte maintenant PHP5 (au moment de mes tests c'était uniquement PHP4 !) On dirait qu'il y a aussi un meilleur code au niveau du PHP :)

 

Je voudrais donc savoir si des personnes sont interresés pour deployer ca ?

Je n'ai normalement que a porter le code pour IPB 2.1 et mettre à jour en fonction de Xapian

 

Pour information voila comment marchait le module :

Le module est en 3 grosses parties

 

1. un ensemble de fonction qui ajoute dans une table xapian, le travail d'indexation à réaliser (et nettoie le post suppression smiley, bbcodes...)

2. un cron qui indexe dans xapian (Pas encore defini tous les combiens le cron tourne)

3. un module de recherche qui pompe tape dans la base de donnée Xapian

 

Donc il y a des gens interresés pour utiliser ca comme moteur de recherche ? et qui aurai du temps et une machine pour tester ?

 

(voila un exemple d'un forum Allemand qui utilise Xapian http://gathering.tweakers.net/forum/find (j'ai tapé une recherche et j'ai eu le resultat "Database van 1096450 documenten doorzocht in 0,050s."))

 

Voila voila :)

Lien vers le commentaire
Partager sur d’autres sites

  • Réponses 99
  • Créé
  • Dernière réponse

Meilleurs contributeurs dans cette question

  • Prolag

    43

  • Phobos

    14

  • kcud_dab

    14

  • Youp3

    6

Meilleurs contributeurs dans cette question

Messages recommandés

  • 0

Je suis pas allé aussi loin que kcud_dab dans mes tests.

Je vais certainement voir ce que ça donne sur un forum avec 2 millions de messages un de ces jours, en prod lorsque tu auras corrigé les problèmes que tu as cité :)

Tu me diras quand ce nouveau zip sera dispo :)

Modifié par Phobos
Lien vers le commentaire
Partager sur d’autres sites

  • 0

Quelques news... ! :lol:

 

Ca fait plusieurs semaines que ca tourne sur Macbidouille... et on dirait que ca marche bien ? (ton avis bad duck ?)

 

J'ai commencé à ecrire une nouvelle documentation + zolie et plus précise !

http://wiki.invisionboard.fr/index.php?title=SphinxForIPB

Je suis ouvert pour les avis / fautes d'orthographe !

 

J'attends la version finale de Sphinx 0.9.7 pour mettre en ligne officiellement SphinxForIPB !

 

Je mettrais aussi en version de demo, mon forum (avec la recherche activé pour les invités :D)

Modifié par Prolag
Lien vers le commentaire
Partager sur d’autres sites

  • 0
Joli.

 

Puis-je demander s'il y a un nombre de posts conseillé pour passer à ce système ?

 

Merci.

oui et non...

L'avantage s'est que ca va beaucoup mieux marcher sur un gros forum (avec plusieurs centaines de milliers de messages ou plusieurs millions de messages)

 

Mais pour les forums plus p'tits (200 / 300 K posts) ca peut etre utile au niveau de la recherche, on peux rechercher des mots de 2 ou 3 lettres !

comme IP, PHP, IPB, Gu....

Lien vers le commentaire
Partager sur d’autres sites

  • 0

Ca tourne bien sur Macbidouille.

pouvoir faire des recherches avec des mots de 2 ou 3 lettres est bien pratique. (surtout sur un forum informatique)

 

 

Prochaine étape, passage des bases de données en InnoDB

Lien vers le commentaire
Partager sur d’autres sites

  • 0

Comme promis !

Voila la nouvelle version :rolleyes:

 

Au programme :

  • Compatible Sphinx 0.9.7RC2
  • Compatible IPB 2.2
  • un message d'erreur en cas de crash de Sphinx au lieu d'une recherche vide !

:bien:

C'est une version bonne a utiliser en production !

la version finale sortira en meme temps que la version finale de Sphinx

 

Pour telecharger directement le ticket sur mon blog :)

 

Au passage PCinpact a annoncé aussi utiliser Sphinx pour la recherche sur leur site web !

Lien vers le commentaire
Partager sur d’autres sites

  • 0
Au passage PCinpact a annoncé aussi utiliser Sphinx pour la recherche sur leur site web !

 

ca fait un petit moment qu'on l'utilise mais j'attendais les nouveautés de la dernière version pour l'annoncer.

 

On a prévu d'utiliser ton mod prochainement mais j'attends un peu car il y a toujours des problèmes de stabilité de sphinx de temps en temps.

 

 

Tristan

Modifié par dweis
Lien vers le commentaire
Partager sur d’autres sites

  • 0

Au passage PCinpact a annoncé aussi utiliser Sphinx pour la recherche sur leur site web !

 

ca fait un petit moment qu'on l'utilise mais j'attendais les nouveautés de la dernière version pour l'annoncer.

 

On a prévu d'utiliser ton mod prochainement mais j'attends un peu car il y a toujours des problèmes de stabilité de sphinx de temps en temps.

 

 

Tristan

Oki tu te cache sur ce pseudo ;)^_^

D'accord :) c'est vrai que la nouvelle version corrigé pas mal de probleme (Mode boolean..) et il apporte aussi le mode extended :)

 

Oki pas de probleme ;)

Si vous avez besoin d'aide ! et je suis pas contre un p'tit retour ;) sur l'archi mit en place (serveur dedié sphinx...), changement au niveau de l'utilisation CPU.../Mémoire...

Lien vers le commentaire
Partager sur d’autres sites

  • 0
Comme promis !

Voila la nouvelle version :)

 

Au programme :

  • Compatible Sphinx 0.9.7RC2
  • Compatible IPB 2.2
  • un message d'erreur en cas de crash de Sphinx au lieu d'une recherche vide !

:)

C'est une version bonne a utiliser en production !

la version finale sortira en meme temps que la version finale de Sphinx

 

Pour telecharger directement le ticket sur mon blog :)

 

Au passage PCinpact a annoncé aussi utiliser Sphinx pour la recherche sur leur site web !

 

Nice, je mets à jour en fin de semaine, j'en profiterai pour vérifier la compatibilité des autres outils qu'on utilise pour envisager le passage en 2.2

 

Bon boulot !

Lien vers le commentaire
Partager sur d’autres sites

  • 0

:rolleyes:

 

Je peux vous rajouter à la liste des forums qui utilise Sphinx ?

 

Je suis aussi pas contre un retour d'utilisateur (que je mettrais)

du genre :

Depuis que j'utilise SphinxForIPB, j'ai mon cuir cheveulu qui est plus ferme.... :D

Lien vers le commentaire
Partager sur d’autres sites

  • 0

Pas de problèmes :rolleyes:

Depuis que j'utilise SphinxForIPB, je peux avoir mes tables en InnoDB avec une recherche plus puissante qu'avec le fulltext : bien plus rapide, et avec la possibilité de rechercher des mots de moins de 3 lettres !

et... j'ai mon cuir cheveulu qui est plus ferme :D

Lien vers le commentaire
Partager sur d’autres sites

  • 0
:)

 

Je peux vous rajouter à la liste des forums qui utilise Sphinx ?

 

Je suis aussi pas contre un retour d'utilisateur (que je mettrais)

du genre :

Depuis que j'utilise SphinxForIPB, j'ai mon cuir cheveulu qui est plus ferme.... ;)

 

Pas de soucis ;)

Sinon j'avais des petits problèmes de stabilité avec la RC2 (deamon searchd qui plantait), depuis la RC3 ça semble tenir :D

Par contre j'ai pas encore passé les tables en innoDB, j'attends un peu voir si le deamon n'a plus de problème de stabilité et je convertie :)

Lien vers le commentaire
Partager sur d’autres sites

  • 0
Sinon j'avais des petits problèmes de stabilité avec la RC2 (deamon searchd qui plantait), depuis la RC3 ça semble tenir :)

 

J'avais parlé trop vite... je comprends pas pourquoi mais le deamon de sphinx (searchd) plante toutes es 2 semaines.. je viens de mettre un script qui check toutes les 5 mn si il est lancé et le relance sinon, ça permettra de plus avoir de problème avec ça en attendant une prochaine version de sphinx plus stable.

Lien vers le commentaire
Partager sur d’autres sites

  • 0
et voilà,

www.crazymoto.net , tout frais, vient de passer à Sphinx :)

sans sphinx, les deux core 2 duo creusaient leur tombe, maintenant ils font mumuse dans le jardin :D

Tu a des graphs des ressources procs ?

 

Sinon j'avais des petits problèmes de stabilité avec la RC2 (deamon searchd qui plantait), depuis la RC3 ça semble tenir <_<

 

J'avais parlé trop vite... je comprends pas pourquoi mais le deamon de sphinx (searchd) plante toutes es 2 semaines.. je viens de mettre un script qui check toutes les 5 mn si il est lancé et le relance sinon, ça permettra de plus avoir de problème avec ça en attendant une prochaine version de sphinx plus stable.

La version finale de Sphinx devrait plus trop tarder....

Lien vers le commentaire
Partager sur d’autres sites

  • 0

la recherche full text est pas restée activée assez longtemps pour que je la retrouve sur les graphs, mais quand elle était là c'étaient des générations de page en 16 secondes, maintenant ça tourne au dixième de seconde :)

Lien vers le commentaire
Partager sur d’autres sites

  • 0
la recherche full text est pas restée activée assez longtemps pour que je la retrouve sur les graphs, mais quand elle était là c'étaient des générations de page en 16 secondes, maintenant ça tourne au dixième de seconde :wub:

:):bien:

Lien vers le commentaire
Partager sur d’autres sites

  • 0
  • Administration

Ton serveur va certainement apprécier vu la taille de ton forum :)

 

PS : L'adaptation de la mod avance plutôt bien pour le moment ;)

Lien vers le commentaire
Partager sur d’autres sites

Rejoindre la conversation

Vous pouvez publier maintenant et vous inscrire plus tard. Si vous avez un compte, connectez-vous maintenant pour publier avec votre compte.

Invité
Répondre à cette question…

×   Collé en tant que texte enrichi.   Coller en tant que texte brut à la place

  Seulement 75 émoticônes maximum sont autorisées.

×   Votre lien a été automatiquement intégré.   Afficher plutôt comme un lien

×   Votre contenu précédent a été rétabli.   Vider l’éditeur

×   Vous ne pouvez pas directement coller des images. Envoyez-les depuis votre ordinateur ou insérez-les depuis une URL.

Chargement

×
×
  • Créer...

Information importante

En utilisant ce site, vous êtes d’accords avec nos Conditions d’utilisation. Nous avons placé des cookies sur votre appareil pour aider à améliorer ce site. Vous pouvez choisir d’ajuster vos paramètres de cookies, sinon nous supposerons que vous êtes d’accord pour continuer.