Que disent les logs du moissonneur au moment où vous relancez la moisson ?
Quand vous supprimez la définition de la moisson, les fiches ont-elles été désindexées correctement ? Avez-vous penser à supprimer la récolte correspondant avant ?
Autre piste, si vous changez le nom de l'entrepot entre deux moissons, le moissoneur ne va pas supprimer les fiches pensant qu'elles viennent d'un autre entrepôt (gestion des doublons).
Le moissonneur se base sur ce qu'il y a dans l'index pour determiner ce qu'il faut supprimer, ajouter ou mettre à jour.
Les premières fiches moissonnées sont elles toujours dans l'index ?
Dans tous les cas, s'il s'agit d'une désynchronisation entre le harvester et l'indexing comme c'est probablement le cas, pour repartir à zero il vous faut réinitialiser la base du harvester (ant init) et l'index (via l'iHM, onglet "Gestion de l'index", "réinitialiser l'index").
Cordialement,
François
Le 13/04/2011 16:59, jcperennes a écrit :
Bonjour, J'ai mis en place le paramétrage utilisant le file system dans l'entrepôt. L'entrepot fonctionne. Le moissonneur fonctionne une première fois. Je supprime les fiches , j'en mets d'autres. Elle sont visible dans l'entrepôt mais le moissoneur le moissonne plus. Je supprime ma définition la recrée essaye de moissonner sans plus de succès. Auriez-vous une idée. Merci d'avance. Cela a fonctionné une fois. Le mardi 12 avril 2011 à 09:54 +0200, Francois Jannin a écrit :Bonjour, Je répond au fil du message. Le 11/04/2011 17:58, jcperennes a écrit :Bonjour et merci pour vos remarques, Combien pensez-vous que le repository puisse traiter de fiches xml simultanément 1 centaine, 5000.OAI-PMH permet d'utiliser des jetons de continuation (resumption token) afin de scinder le nombre de résultats par morceau de liste. Ceci est paramètrable en jouant avec la propriété ORICatalog.maxListSize du fichier oaicat.properties. De ce fait, si vous avec 5000 fiches mais que vous réglez ce paramètre à 40, elles seront moissonnées par paquet de 40. Il s'agit donc d'un paramètre que vous pouvez modifier pour faire du tuning sur les performances. Ceci dit, il est clair qu'il y a effectivement des limites de performances à prendre en compte en mode "FileSystem", et on doit lui préferer le mode "indexé" (utilisation du module ORI-OAI-indexing et Worfklow), beaucoup plus optimisé pour un grand nombre de fiches. Dans ce cas-là, vous pouvez injecter vos fiches massivement via le module ORI-OAI-Workflow avec les fonctions d'import (onglet import/export) Cordialement, FrançoisComment se fait la mise à jour ?La mise à jour se fait en remplaçant les anciennes fiches par les nouvelles, dans le répertoire où vous placez vos fiches. La date de modification du fichier est prise en compte lorsque l'entrepôt est moissonné avec des critères de date (FROM et/ou UNTIL).Il me semble que cette solution fonctionne pour un nombre de fiches limitées pas pour un nombre important d'entrepôt contenant beaucoup de fiches. Des solutions de GAteway trouvées dans les oai-tools existent pour pallier au problème de mises jour mais aucune semble fonctionner correctement ? Avez-vous également envisager cette piste ? Le lundi 11 avril 2011 à 12:57 +0200, Francois Jannin a écrit :Vous devez disposer d'un ensemble de fichiers XML correspondant au format que vous voulez utiliser : Dublin Core, LOM, etc... Le format standard et obligatoire pour OAI-PMH est le format Dublin Core, dont vous pouvez trouver des exemples dans le répertoire properties/test-repository Cordialement, François Le 11/04/2011 10:37, jcperennes a écrit :Bonjour, Je me répond et complète ma demande A l'adresse suivante http://www.ori-oai.org/pages/viewpage.action?pageId=11534339 est expliqué comment on peut implémenter un entrepôt en standalone. Je désirerais savoir le format statique du fichier qui permet d'alimenter cet entrepôt afin d'obtenir un oai-pmh static repository. En espérant être clair sur l'objet de ma demande. Jean-Christophe Perennes CRDP d'Aix-Marseille Le lundi 11 avril 2011 à 10:06 +0200, jcperennes a écrit :Bonjour, Est-il possible d'installer l'entrepôt en standalone ? Sinon, connaissez-vous un moyen d'en implémenter un ? Merci de votre aide. Jean-Christophe Perennes CRDP d'Aix-Marseille-- François Jannin DSI - Développement et déploiement d'applications Tél : +33 (0)5 34 32 30 51 INP Toulouse 6 allée Emile Monso - BP 34038 31029 Toulouse cedex 4 http://www.inp-toulouse.frAvant d’imprimer ce courriel, demandez-vous si ceci est nécessaire.-- François Jannin DSI - Développement et déploiement d'applications Tél : +33 (0)5 34 32 30 51 INP Toulouse 6 allée Emile Monso - BP 34038 31029 Toulouse cedex 4 http://www.inp-toulouse.frAvant d’imprimer ce courriel, demandez-vous si ceci est nécessaire.
--
|
François Jannin
DSI - Développement et déploiement d'applications Tél : +33 (0)5 34 32 30 51 |
|
|