Fwd: fonctionnement du harvester

  • user warning: Table './drupal_www_ori_oai_org/cache_filter' is marked as crashed and last (automatic?) repair failed query: SELECT data, created, headers, expire, serialized FROM cache_filter WHERE cid = '4:9b61122f57af8cc764ccf95f2d8701ef' in /home/ori-oai/drupal/drupal-6.34/includes/cache.inc on line 27.
  • user warning: Table './drupal_www_ori_oai_org/cache_filter' is marked as crashed and last (automatic?) repair failed query: UPDATE cache_filter SET data = '<div class=\"emailFilter\"><html><head><style type=\'text/css\'>p { margin: 0; }</style></head><body><div style=\'font-family: arial,helvetica,sans-serif; font-size: 12pt; color: #6633ff\'>Bonjour François,<br>Sauf erreur de ma part, je n\'ai pas reçu de réponse à mon dernier mail; je me permets de retransmettre nos échanges.<br>Je suis toujours en panne sur ce pb :<br>Si je veux lancer une moisson périodique (toutes les semaines par ex) pour profiter des modif et nouveautés d\'un site, <u>je me retrouve dès le premier moissonnage automatique avec 0 enregistrements. </u><br>Je ne peux pas rester dans cette situation car on me demande de moissonner l\'entrepot WIMS, y compris les mises à jour.<br>Suis je la seule dans ce cas ?<br>Quelqu\'un peut il m\'aider ?<br>Françoise.<br><br><hr /><div style=\"color:#000;font-weight:normal;font-style:normal;text-decoration:none;font-family:Helvetica,Arial,sans-serif;font-size:12pt;\"><b>De: </b>\"Françoise Schortin\" &lt;<span id=\"919301b5c518c9ff00d1a59ebc883be5\"></span>\n <script type=\"text/javascript\" > <!--\n document.getElementById(\'919301b5c518c9ff00d1a59ebc883be5\')\n .innerHTML = \'<a href=\"&#109;&#97;&#105;&#108;&#116;&#111;&#58;\'+\'&#102;&#114;&#97;&#110;&#99;&#111;&#105;&#115;&#101;&#46;&#115;&#99;&#104;&#111;&#114;&#116;&#105;&#110;&#64;&#117;&#45;&#112;&#115;&#117;&#100;&#46;&#102;&#114;\'+\'\">\'+\'&#102;&#114;&#97;&#110;&#99;&#111;&#105;&#115;&#101;&#46;&#115;&#99;&#104;&#111;&#114;&#116;&#105;&#110;&#64;&#117;&#45;&#112;&#115;&#117;&#100;&#46;&#102;&#114;\' + \'</a>\';\n // --> </script>&gt;<br><b>À: </b>\"Francois Jannin\" &lt;<span id=\"a3d5e92c57484df32761ceb295829e87\"></span>\n <script type=\"text/javascript\" > <!--\n document.getElementById(\'a3d5e92c57484df32761ceb295829e87\')\n .innerHTML = \'<a href=\"&#109;&#97;&#105;&#108;&#116;&#111;&#58;\'+\'&#102;&#114;&#97;&#110;&#99;&#111;&#105;&#115;&#46;&#106;&#97;&#110;&#110;&#105;&#110;&#64;&#105;&#110;&#112;&#45;&#116;&#111;&#117;&#108;&#111;&#117;&#115;&#101;&#46;&#102;&#114;\'+\'\">\'+\'&#102;&#114;&#97;&#110;&#99;&#111;&#105;&#115;&#46;&#106;&#97;&#110;&#110;&#105;&#110;&#64;&#105;&#110;&#112;&#45;&#116;&#111;&#117;&#108;&#111;&#117;&#115;&#101;&#46;&#102;&#114;\' + \'</a>\';\n // --> </script>&gt;<br><b>Envoyé: </b>Vendredi 1 Mars 2013 11:50:33<br><b>Objet: </b>Re: [ori-oai-utilisateurs] fonctionnement du harvester<br><br><style>p { margin: 0; }</style><div style=\"font-family: arial,helvetica,sans-serif; font-size: 12pt; color: #6633ff\">Bonjour François,<br><font color=\"#3333ff\"><br>L\'URL <a href=\"http://oai.unice.fr/Wims/oaiRepository?verb=Identify\" title=\"http://oai.unice.fr/Wims/oaiRepository?verb=Identify\">http://oai.unice.fr/Wims/oaiRepository?verb=Identify</a> répond :<br></font>\n<div class=\"e\"> <font color=\"#3333ff\"><span class=\"m\">&lt;?</span><span class=\"pi\">xml version=\"1.0\" encoding=\"UTF-8\"\n</span><span class=\"m\">?&gt;</span> </font></div><font color=\"#3333ff\">\n</font><div class=\"e\">\n<div style=\"TEXT-INDENT: -2em; MARGIN-LEFT: 1em\" class=\"c\"><font color=\"#3333ff\"><a class=\"b\" href=\"https://zimbra.u-psud.fr/zimbra/mail#\" target=\"_blank\">-</a> <span class=\"m\">&lt;</span><span class=\"t\">OAI-PMH</span><span class=\"ns\"> xmlns</span><span class=\"m\">=\"</span><b class=\"ns\">http://www.openarchives.org/OAI/2.0/</b><span class=\"m\">\"</span><span class=\"ns\"> xmlns:xsi</span><span class=\"m\">=\"</span><b class=\"ns\">http://www.w3.org/2001/XMLSchema-instance</b><span class=\"m\">\"</span><span class=\"t\"> xsi:schemaLocation</span><span class=\"m\">=\"</span><b>http://www.openarchives.org/OAI/2.0/\n<a href=\"http://www.openarchives.org/OAI/2.0/OAI-PMH.xsd\" title=\"http://www.openarchives.org/OAI/2.0/OAI-PMH.xsd\">http://www.openarchives.org/OAI/2.0/OAI-PMH.xsd</a>\n<a href=\"http://www.lom-fr.fr/xsd/lomfrv1.0/std/\" title=\"http://www.lom-fr.fr/xsd/lomfrv1.0/std/\">http://www.lom-fr.fr/xsd/lomfrv1.0/std/</a>\nhttp://www.lom-fr.fr/xsd/lomfrv1.0/std/lomfr.xsd</b><span class=\"m\">\"</span><span class=\"m\">&gt;</span></font></div>\n<div>\n<div class=\"e\">\n<div style=\"TEXT-INDENT: -2em; MARGIN-LEFT: 1em\"><font color=\"#3333ff\"><span class=\"b\">&nbsp;</span> <span class=\"m\">&lt;</span><span class=\"t\">responseDate</span><span class=\"m\">&gt;</span><span class=\"tx\">2013-03-01T10:41:31Z</span><span class=\"m\">&lt;/</span><span class=\"t\">responseDate</span><span class=\"m\">&gt;</span></font>\n</div></div>\n<div class=\"e\">\n<div style=\"TEXT-INDENT: -2em; MARGIN-LEFT: 1em\"><font color=\"#3333ff\"><span class=\"b\">&nbsp;</span> <span class=\"m\">&lt;</span><span class=\"t\">request</span><span class=\"t\"> verb</span><span class=\"m\">=\"</span><b>Identify</b><span class=\"m\">\"</span><span class=\"m\">&gt;</span><span class=\"tx\">http://oai.unice.fr/Wims/oaiRepository/index_html</span><span class=\"m\">&lt;/</span><span class=\"t\">request</span><span class=\"m\">&gt;</span></font>\n</div></div>\n<div class=\"e\">\n<div style=\"TEXT-INDENT: -2em; MARGIN-LEFT: 1em\" class=\"c\"><font color=\"#3333ff\"><a class=\"b\" href=\"https://zimbra.u-psud.fr/zimbra/mail#\" target=\"_blank\">-</a> <span class=\"m\">&lt;</span><span class=\"t\">Identify</span><span class=\"m\">&gt;</span></font></div>\n<div>\n<div class=\"e\">\n<div style=\"TEXT-INDENT: -2em; MARGIN-LEFT: 1em\"><font color=\"#3333ff\"><span class=\"b\">&nbsp;</span> <span class=\"m\">&lt;</span><span class=\"t\">repositoryName</span><span class=\"m\">&gt;</span><span class=\"tx\">Repository Name</span><span class=\"m\">&lt;/</span><span class=\"t\">repositoryName</span><span class=\"m\">&gt;</span></font>\n</div></div>\n<div class=\"e\">\n<div style=\"TEXT-INDENT: -2em; MARGIN-LEFT: 1em\"><font color=\"#3333ff\"><span class=\"b\">&nbsp;</span> <span class=\"m\">&lt;</span><span class=\"t\">baseURL</span><span class=\"m\">&gt;</span><span class=\"tx\">http://oai.unice.fr/Wims/oaiRepository</span><span class=\"m\">&lt;/</span><span class=\"t\">baseURL</span><span class=\"m\">&gt;</span></font>\n</div></div>\n<div class=\"e\">\n<div style=\"TEXT-INDENT: -2em; MARGIN-LEFT: 1em\"><font color=\"#3333ff\"><span class=\"b\">&nbsp;</span> <span class=\"m\">&lt;</span><span class=\"t\">protocolVersion</span><span class=\"m\">&gt;</span><span class=\"tx\">2.0</span><span class=\"m\">&lt;/</span><span class=\"t\">protocolVersion</span><span class=\"m\">&gt;</span></font> </div></div>\n<div class=\"e\">\n<div style=\"TEXT-INDENT: -2em; MARGIN-LEFT: 1em\"><font color=\"#3333ff\"><span class=\"b\">&nbsp;</span> <span class=\"m\">&lt;</span><span class=\"t\">adminEmail</span><span class=\"m\">&gt;</span><span class=\"tx\"><span id=\"e390b2fbe7141abbf400b0017fdabd65\"></span>\n <script type=\"text/javascript\" > <!--\n document.getElementById(\'e390b2fbe7141abbf400b0017fdabd65\')\n .innerHTML = \'<a href=\"&#109;&#97;&#105;&#108;&#116;&#111;&#58;\'+\'&#98;&#97;&#100;&#111;&#64;&#117;&#110;&#105;&#99;&#101;&#46;&#102;&#114;\'+\'\">\'+\'&#98;&#97;&#100;&#111;&#64;&#117;&#110;&#105;&#99;&#101;&#46;&#102;&#114;\' + \'</a>\';\n // --> </script></span><span class=\"m\">&lt;/</span><span class=\"t\">adminEmail</span><span class=\"m\">&gt;</span></font> </div></div>\n<div class=\"e\">\n<div style=\"TEXT-INDENT: -2em; MARGIN-LEFT: 1em\"><font color=\"#3333ff\"><span class=\"b\">&nbsp;</span> <span class=\"m\">&lt;</span><span class=\"t\">earliestDatestamp</span><span class=\"m\">&gt;</span><span class=\"tx\">2013-03-01</span><span class=\"m\">&lt;/</span><span class=\"t\">earliestDatestamp</span><span class=\"m\">&gt;</span></font> </div></div>\n<div class=\"e\">\n<div style=\"TEXT-INDENT: -2em; MARGIN-LEFT: 1em\"><font color=\"#3333ff\"><span class=\"b\">&nbsp;</span> <span class=\"m\">&lt;</span><span class=\"t\">deletedRecord</span><span class=\"m\">&gt;</span><span class=\"tx\">no</span><span class=\"m\">&lt;/</span><span class=\"t\">deletedRecord</span><span class=\"m\">&gt;</span></font> </div></div>\n<div class=\"e\">\n<div style=\"TEXT-INDENT: -2em; MARGIN-LEFT: 1em\"><font color=\"#3333ff\"><span class=\"b\">&nbsp;</span> <span class=\"m\">&lt;</span><span class=\"t\">granularity</span><span class=\"m\">&gt;</span><span class=\"tx\">YYYY-MM-DD</span><span class=\"m\">&lt;/</span><span class=\"t\">granularity</span><span class=\"m\">&gt;</span></font>\n</div></div>\n<div><font color=\"#3333ff\"><span class=\"b\">&nbsp;</span> <span class=\"m\">&lt;/</span><span class=\"t\">Identify</span><span class=\"m\">&gt;</span></font></div></div></div>\n<div><font color=\"#3333ff\"><span class=\"b\">&nbsp;</span> <span class=\"m\">&lt;/</span><span class=\"t\">OAI-PMH</span><span class=\"m\">&gt;</span></font></div></div></div>Que doit on en déduire au niveau de la persistence ?<br><br><font color=\"#3333ff\">J\'ai l\'impression que le problème vient plutot de chez moi :<br>à cause du fait que \"mon\" moissonneur inscrit, à chaque moisson, la date du jour dans le champ \"Depuis\".<br>Qd je relance une moisson, mon moissonneur commence par supprimer tous les enreg de ma base harvester;<br>ensuite,\n il cherche à récupérer les enregistrements qui auraient changé dans\nl\'entrepot depuis le champ Depuis; et comme il n\'y a rien de nouveau, il\n ne récupére rien.<br>Et je me retrouve avec 0 fiches.<br>Pour sortir de\n ce cercle vicieux, il faut que j\'efface le champ Depuis, et que je\nrelance la moisson, et je retrouve le mm nb d\'enregistrements ... car il\n n\'y avait rien de nouveau dans l\'entrepot distant.<br><br>Merci pour ton aide.<br></font><br>Françoise.<br><br><hr /><div style=\"color:#000;font-weight:normal;font-style:normal;text-decoration:none;font-family:Helvetica,Arial,sans-serif;font-size:12pt;\"><b>De: </b>\"Francois Jannin\" &lt;<span id=\"9100882bc513913dc72d7ce5de21ceb0\"></span>\n <script type=\"text/javascript\" > <!--\n document.getElementById(\'9100882bc513913dc72d7ce5de21ceb0\')\n .innerHTML = \'<a href=\"&#109;&#97;&#105;&#108;&#116;&#111;&#58;\'+\'&#102;&#114;&#97;&#110;&#99;&#111;&#105;&#115;&#46;&#106;&#97;&#110;&#110;&#105;&#110;&#64;&#105;&#110;&#112;&#45;&#116;&#111;&#117;&#108;&#111;&#117;&#115;&#101;&#46;&#102;&#114;\'+\'\">\'+\'&#102;&#114;&#97;&#110;&#99;&#111;&#105;&#115;&#46;&#106;&#97;&#110;&#110;&#105;&#110;&#64;&#105;&#110;&#112;&#45;&#116;&#111;&#117;&#108;&#111;&#117;&#115;&#101;&#46;&#102;&#114;\' + \'</a>\';\n // --> </script>&gt;<br><b>À: </b>\"Françoise Schortin\" &lt;<span id=\"4a8d885f9defe78bd82caa80c3dc4374\"></span>\n <script type=\"text/javascript\" > <!--\n document.getElementById(\'4a8d885f9defe78bd82caa80c3dc4374\')\n .innerHTML = \'<a href=\"&#109;&#97;&#105;&#108;&#116;&#111;&#58;\'+\'&#102;&#114;&#97;&#110;&#99;&#111;&#105;&#115;&#101;&#46;&#115;&#99;&#104;&#111;&#114;&#116;&#105;&#110;&#64;&#117;&#45;&#112;&#115;&#117;&#100;&#46;&#102;&#114;\'+\'\">\'+\'&#102;&#114;&#97;&#110;&#99;&#111;&#105;&#115;&#101;&#46;&#115;&#99;&#104;&#111;&#114;&#116;&#105;&#110;&#64;&#117;&#45;&#112;&#115;&#117;&#100;&#46;&#102;&#114;\' + \'</a>\';\n // --> </script>&gt;<br><b>Envoyé: </b>Vendredi 1 Mars 2013 09:30:57<br><b>Objet: </b>Re: [ori-oai-utilisateurs] fonctionnement du harvester<br><br>\n\n\n\n\n <div class=\"moz-cite-prefix\">Bonjour,<br>\n <br>\n Quel statut à l\'entrepôt au niveau de la persistence ? <br>\n &nbsp; S\'il est déclaré comme non-persistent, le moissonneur ne doit\n pas faire d\'incrémental au sens strict, mais compare la liste de\n ce qu\'il a moissonné précédemment avec ce qu\'il trouve lors de la\n nouvelle moisson. Il supprime celles qu\'il ne trouve plus, et\n ajoute les nouvelles . S\'il supprime tout, c\'est que les fiches ne\n s\'y trouvent plus a priori ?<br>\n Le mode \"transient\" est un mode intermédiaire qui nécessite un\n réglage adéquat entre la fréquence de moissonnage et la duréé de\n vie des fiches \"deleted\".<br>\n <font color=\"#3333ff\"><br></font><br>\n Le comportement de l\'entrepôt&nbsp; doit dans tous les c&amp;as\n correspondre au mode qu\'il déclare en réponse au verbe Identifiy,\n sinon le moissonneur n\'utilisera pas l’algorithme adéquat, ce qui\n peut provoquer la suppression de fiches.<br>\n <font color=\"#3333ff\">J\'ai l\'impression que le problème vient plutot de chez moi :<br>à cause du fait que \"mon\" moissonneur inscrit, à chaque moisson, la date du jour dans le champ \"Depuis\".<br>Qd je relance une moisson, mon moissonneur commence par supprimer tous les enreg de ma base harvester;<br>ensuite, il cherche à récupérer les enregistrements qui auraient changé dans l\'entrepot depuis le champ Depuis; et comme il n\'y a rien de nouveau, il ne récupére rien.<br>Et je me retrouve avec 0 fiches.<br>Pour sortir de ce cercle vicieux, il faut que j\'efface le champ Depuis, et que je relance la moisson, et je retrouve le mm nb d\'enregistrements ... car il n\'y avait rien de nouveau dans l\'entrepot distant.<br><br></font><br>\n François<br>\n <br>\n <br>\n <br>\n <br>\n Le 28/02/2013 18:40, Françoise Schortin a écrit&nbsp;:<br>\n </div>\n <div class=\"emailFilter_Toggle\"><div class=\"emailFilter_Author_0\"><blockquote>\n <style>p { margin: 0; }</style>\n <div style=\"font-family: arial,helvetica,sans-serif; font-size:\n 12pt; color: #6633ff\">Bonjour,<br>\n <br>\n Je continue mes investigations sur le fonctionnement du\n harvester ...<br>\n <br>\n Mon problème est plutot classique, je pense :<br>\n Je veux moissonner un entrepot, et récupérer (manuellement ou\n automatiquement) les modifications et ajouts de fiches qui\n auraient pu avoir lieu dans cet entrepôt depuis ma dernière\n récolte.<br>\n <br>\n je n\'arrive pas à la faire fonctionner correctement ce processus\n : Dès la 2ème moisson, je me retrouve avec 0 fiche ...<br>\n <br>\n Et pas moyen d\'en sortir sauf à supprimer - manuellement - dans\n les \"options avancées\" la p...n de date du jour qui se met\n automatiquement dans le champ \"Depuis\" !<br>\n Le harvester fait donc de l\'incrémentiel, mais ce qui ne va pas,\n c\'est qu\'il supprime tout d\'abord... moi je veux bien qu\'il\n supprime tout (c\'est mieux pour les fiches modifiées), mais\n qu\'il recrée tout après !<br>\n Qu\'est ce que je dois faire pour que ça marche ????<br>\n <br>\n Françoise.<br>\n <br>\n <br>\n <hr />\n <div style=\"color:#000;font-weight:normal;font-style:normal;text-decoration:none;font-family:Helvetica,Arial,sans-serif;font-size:12pt;\"><b>De:\n </b>\"Francois Jannin\" <a class=\"moz-txt-link-rfc2396E\" href=\"&#109;&#97;&#105;&#108;&#116;&#111;&#58;&#102;&#114;&#97;&#110;&#99;&#111;&#105;&#115;&#46;&#106;&#97;&#110;&#110;&#105;&#110;&#64;&#105;&#110;&#112;&#45;&#116;&#111;&#117;&#108;&#111;&#117;&#115;&#101;&#46;&#102;&#114;\" target=\"_blank\">&lt;<span id=\"da04bb7ea205b8ade3f68b47c686d450\"></span>\n <script type=\"text/javascript\" > <!--\n document.getElementById(\'da04bb7ea205b8ade3f68b47c686d450\')\n .innerHTML = \'<a href=\"&#109;&#97;&#105;&#108;&#116;&#111;&#58;\'+\'&#102;&#114;&#97;&#110;&#99;&#111;&#105;&#115;&#46;&#106;&#97;&#110;&#110;&#105;&#110;&#64;&#105;&#110;&#112;&#45;&#116;&#111;&#117;&#108;&#111;&#117;&#115;&#101;&#46;&#102;&#114;\'+\'\">\'+\'&#102;&#114;&#97;&#110;&#99;&#111;&#105;&#115;&#46;&#106;&#97;&#110;&#110;&#105;&#110;&#64;&#105;&#110;&#112;&#45;&#116;&#111;&#117;&#108;&#111;&#117;&#115;&#101;&#46;&#102;&#114;\' + \'</a>\';\n // --> </script>&gt;</a><br>\n <b>À: </b><a class=\"moz-txt-link-abbreviated\" href=\"&#109;&#97;&#105;&#108;&#116;&#111;&#58;&#111;&#114;&#105;&#45;&#111;&#97;&#105;&#45;&#117;&#116;&#105;&#108;&#105;&#115;&#97;&#116;&#101;&#117;&#114;&#115;&#64;&#108;&#105;&#115;&#116;&#101;&#115;&#46;&#117;&#110;&#105;&#118;&#45;&#114;&#101;&#110;&#110;&#101;&#115;&#49;&#46;&#102;&#114;\" target=\"_blank\">&#111;&#114;&#105;&#45;&#111;&#97;&#105;&#45;&#117;&#116;&#105;&#108;&#105;&#115;&#97;&#116;&#101;&#117;&#114;&#115;&#64;&#108;&#105;&#115;&#116;&#101;&#115;&#46;&#117;&#110;&#105;&#118;&#45;&#114;&#101;&#110;&#110;&#101;&#115;&#49;&#46;&#102;&#114;</a><br>\n <b>Cc: </b>\"Françoise Schortin\"\n <a class=\"moz-txt-link-rfc2396E\" href=\"&#109;&#97;&#105;&#108;&#116;&#111;&#58;&#102;&#114;&#97;&#110;&#99;&#111;&#105;&#115;&#101;&#46;&#115;&#99;&#104;&#111;&#114;&#116;&#105;&#110;&#64;&#117;&#45;&#112;&#115;&#117;&#100;&#46;&#102;&#114;\" target=\"_blank\">&lt;<span id=\"7a25ae0ffe829bf1f42927476b85cba2\"></span>\n <script type=\"text/javascript\" > <!--\n document.getElementById(\'7a25ae0ffe829bf1f42927476b85cba2\')\n .innerHTML = \'<a href=\"&#109;&#97;&#105;&#108;&#116;&#111;&#58;\'+\'&#102;&#114;&#97;&#110;&#99;&#111;&#105;&#115;&#101;&#46;&#115;&#99;&#104;&#111;&#114;&#116;&#105;&#110;&#64;&#117;&#45;&#112;&#115;&#117;&#100;&#46;&#102;&#114;\'+\'\">\'+\'&#102;&#114;&#97;&#110;&#99;&#111;&#105;&#115;&#101;&#46;&#115;&#99;&#104;&#111;&#114;&#116;&#105;&#110;&#64;&#117;&#45;&#112;&#115;&#117;&#100;&#46;&#102;&#114;\' + \'</a>\';\n // --> </script>&gt;</a><br>\n <b>Envoyé: </b>Jeudi 14 Février 2013 10:41:28<br>\n <b>Objet: </b>Re: [ori-oai-utilisateurs] fonctionnement du\n harvester<br>\n <br>\n <div class=\"moz-cite-prefix\">Bonjour,<br>\n <br>\n Le 13/02/2013 15:41, Françoise Schortin a écrit&nbsp;:<br>\n </div>\n <div class=\"emailFilter_Author_1\"><blockquote>\n <style>p { margin: 0; }</style>\n <div style=\"font-family: arial,helvetica,sans-serif;\n font-size: 12pt; color: #6633ff\">Bonjour,<br>\n <br>\n Je me pose des questions sur le fonctionnement du\n moissonnage<br>\n Nous moissonnons un entrepot : WIMS EDU OAI Repository <a class=\"moz-txt-link-freetext\" href=\"http://oai.unice.fr/Wims/oaiRepository\" target=\"_blank\">http://oai.unice.fr/Wims/oaiRepository</a><br>\n Nous avons en ligne 199 fiches de cet entrepot.<br>\n <br>\n Si une nouvelle fiche est créée dans cet entrepot, est ce\n qu\'en lançant une moisson (manuellement, car je n\'ai rien\n automatisé), <br>\n est ce que cette nouvelle fiche doit apparaitre chez moi ?<br>\n </div>\n </blockquote></div>\n Oui, le moissonneur détecte les nouvelles fiches et celles qui\n on été supprimées.<br>\n <div class=\"emailFilter_Author_1\"><blockquote>\n <div style=\"font-family: arial,helvetica,sans-serif;\n font-size: 12pt; color: #6633ff\">est ce que les anciennes\n fiches vont etre moissonnées à nouveau et faire doublon ?<br>\n <br>\n </div>\n </blockquote></div>\n Non, celles qui sont présentes ont un identifiant qui permet\n de voir qu\'elles sont déjà indexées.<br>\n <div class=\"emailFilter_Author_1\"><blockquote>\n <div style=\"font-family: arial,helvetica,sans-serif;\n font-size: 12pt; color: #6633ff\">J\'ai supprimé la récolte.\n Or, il me reste une fiche dans l\'indexing en provenance de\n cet entrepot, les autres ont été supprimées.<br>\n Quelle peut etre la raison ?<br>\n </div>\n </blockquote></div>\n Cette fiche provient peut-être de la moisson d\'un autre\n entrepôt mais qui a le même identifiant. <br>\n Cela peut arriver lors de moissons en cascade, quand un\n entrepôt A expose les fiches qu\'il a moissonnées dans un\n entrepôt X.<br>\n Une fiche garde l\'identifiant de son entrepôt d\'origine.<br>\n Si on moissonne A + X, alors les fiches de X possèdent un\n compteur de référence, et si on supprime la moisson de X, les\n fiches vont restées indexées au titre de la moisson de A, tant\n que ce compteur ne sera pas a zéro, c\'est-à-dire tant que la\n fiche en provenance de X sera exposée par A.<br>\n Cela peut être une explication de la persistance de cette\n fiche. <br>\n <br>\n François<br>\n <div class=\"emailFilter_Author_1\"><blockquote>\n <div style=\"font-family: arial,helvetica,sans-serif;\n font-size: 12pt; color: #6633ff\"><br>\n Françoise.<br>\n <br>\n <div><span></span>Françoise Rousseau Schortin<br>\n Ingénieur Direction Informatique<br>\n Université Paris-Sud 11 - 91405 ORSAY<br>\n Bat 210 - tel 01 69 15 76 21<span></span><br>\n </div>\n <br>\n </div>\n </blockquote></div>\n <br>\n <br>\n <div class=\"moz-signature\">-- <br>\n <style>\n a:link, a:visited {color: #666666; text-decoration: underline;}\n a:hover, a:active {color: #666666; text-decoration: none;}\n </style>\n <div>\n <table border=\"0\" cellpadding=\"0\" cellspacing=\"0\" width=\"597\">\n <tbody>\n <tr>\n <td align=\"center\" width=\"150\" valign=\"middle\"><a href=\"http://www.inp-toulouse.fr\" target=\"_blank\"><img src=\"#\" alt=\"logo INP\" border=\"0\" height=\"46\" width=\"60\"></a></td>\n <td valign=\"bottom\">\n <div style=\"align-text:left; font-size:11px;\n font-family:Arial;\"><font color=\"#666666\"><b>François&nbsp;Jannin</b><br>\n DSI - Développement et déploiement\n d\'applications<br>\n Tél : +33 (0)5 34 32 30 51<br>\n </font></div>\n </td>\n </tr>\n </tbody>\n </table>\n <img alt=\"INP-TOULOUSE\" src=\"cid:<span id=\"47b43f56b013ea834d235005b15cad25\"></span>\n <script type=\"text/javascript\" > <!--\n document.getElementById(\'47b43f56b013ea834d235005b15cad25\')\n .innerHTML = \'<a href=\"&#109;&#97;&#105;&#108;&#116;&#111;&#58;\'+\'&#112;&#97;&#114;&#116;&#52;&#46;&#48;&#53;&#48;&#51;&#48;&#49;&#48;&#56;&#46;&#48;&#53;&#48;&#56;&#48;&#49;&#48;&#50;&#64;&#105;&#110;&#112;&#45;&#116;&#111;&#117;&#108;&#111;&#117;&#115;&#101;&#46;&#102;&#114;\'+\'\">\'+\'&#112;&#97;&#114;&#116;&#52;&#46;&#48;&#53;&#48;&#51;&#48;&#49;&#48;&#56;&#46;&#48;&#53;&#48;&#56;&#48;&#49;&#48;&#50;&#64;&#105;&#110;&#112;&#45;&#116;&#111;&#117;&#108;&#111;&#117;&#115;&#101;&#46;&#102;&#114;\' + \'</a>\';\n // --> </script>\" height=\"58\" width=\"597\">\n <table border=\"0\" cellpadding=\"0\" cellspacing=\"0\" width=\"597\">\n <tbody>\n <tr>\n <td valign=\"top\">\n <div style=\"text-align:right; font-size:9px;\n font-family:Arial;\"><font color=\"#666666\">INP\n Toulouse<br>\n 6 allée Emile Monso - BP 34038<br>\n 31029 Toulouse cedex 4<br>\n <a href=\"http://www.inp-toulouse.fr\" target=\"_blank\">http://www.inp-toulouse.fr</a><br>\n </font></div>\n </td>\n </tr>\n </tbody>\n </table>\n <div style=\"font-size:9px; font-family: Arial;\" align=\"left\"><img src=\"#\" height=\"16\" width=\"16\"><font color=\"#cccccc\">&nbsp;Avant\n d’imprimer ce courriel, demandez-vous si ceci est\n nécessaire.</font><br>\n </div>\n <table>\n </table>\n </div>\n </div>\n </div>\n <br>\n </div>\n </blockquote></div></div>\n <br>\n <br>\n <div class=\"moz-signature\">-- <br>\n <style>\n a:link, a:visited {color: #666666; text-decoration: underline;}\n a:hover, a:active {color: #666666; text-decoration: none;}\n </style>\n <div>\n <table border=\"0\" cellpadding=\"0\" cellspacing=\"0\" width=\"597\">\n <tbody>\n <tr>\n <td align=\"center\" width=\"150\" valign=\"middle\"><a href=\"http://www.inp-toulouse.fr\" target=\"_blank\"><img src=\"#\" alt=\"logo INP\" border=\"0\" height=\"46\" width=\"60\"></a></td>\n <td valign=\"bottom\">\n <div style=\"align-text:left; font-size:11px;\n font-family:Arial;\"><font color=\"#666666\"><b>François&nbsp;Jannin</b><br>\n DSI - Développement et déploiement d\'applications<br>\n Tél : +33 (0)5 34 32 30 51<br>\n </font></div>\n </td>\n </tr>\n </tbody>\n </table>\n <img alt=\"INP-TOULOUSE\" src=\"cid:<span id=\"5a8a537df0e426625be005558b0e1aff\"></span>\n <script type=\"text/javascript\" > <!--\n document.getElementById(\'5a8a537df0e426625be005558b0e1aff\')\n .innerHTML = \'<a href=\"&#109;&#97;&#105;&#108;&#116;&#111;&#58;\'+\'&#112;&#97;&#114;&#116;&#57;&#46;&#48;&#55;&#48;&#53;&#48;&#54;&#48;&#56;&#46;&#48;&#57;&#48;&#53;&#48;&#52;&#48;&#48;&#64;&#105;&#110;&#112;&#45;&#116;&#111;&#117;&#108;&#111;&#117;&#115;&#101;&#46;&#102;&#114;\'+\'\">\'+\'&#112;&#97;&#114;&#116;&#57;&#46;&#48;&#55;&#48;&#53;&#48;&#54;&#48;&#56;&#46;&#48;&#57;&#48;&#53;&#48;&#52;&#48;&#48;&#64;&#105;&#110;&#112;&#45;&#116;&#111;&#117;&#108;&#111;&#117;&#115;&#101;&#46;&#102;&#114;\' + \'</a>\';\n // --> </script>\" height=\"58\" width=\"597\">\n <table border=\"0\" cellpadding=\"0\" cellspacing=\"0\" width=\"597\">\n <tbody>\n <tr>\n <td valign=\"top\">\n <div style=\"text-align:right; font-size:9px;\n font-family:Arial;\"><font color=\"#666666\">INP Toulouse<br>\n 6 allée Emile Monso - BP 34038<br>\n 31029 Toulouse cedex 4<br>\n <a href=\"http://www.inp-toulouse.fr\" target=\"_blank\">http://www.inp-toulouse.fr</a><br>\n </font></div>\n </td>\n </tr>\n </tbody>\n </table>\n <div style=\"font-size:9px; font-family: Arial;\" align=\"left\"><img src=\"#\" height=\"16\" width=\"16\"><font color=\"#cccccc\">&nbsp;Avant\n d’imprimer ce courriel, demandez-vous si ceci est\n nécessaire.</font><br>\n </div>\n <table>\n </table>\n </div>\n </div>\n\n\n</div><br></div></div><br></div></body></html></div>', created = 1507734570, expire = 1507820970, headers = '', serialized = 0 WHERE cid = '4:9b61122f57af8cc764ccf95f2d8701ef' in /home/ori-oai/drupal/drupal-6.34/includes/cache.inc on line 112.
  • user warning: Table './drupal_www_ori_oai_org/cache_filter' is marked as crashed and last (automatic?) repair failed query: SELECT data, created, headers, expire, serialized FROM cache_filter WHERE cid = '4:a9f4f2ad55d466861f0f001429363eab' in /home/ori-oai/drupal/drupal-6.34/includes/cache.inc on line 27.
  • user warning: Table './drupal_www_ori_oai_org/cache_filter' is marked as crashed and last (automatic?) repair failed query: UPDATE cache_filter SET data = '<div class=\"emailFilter\"><html>\n <head>\n <meta content=\"text/html; charset=UTF-8\" http-equiv=\"Content-Type\">\n </head>\n <body text=\"#000000\" bgcolor=\"#FFFFFF\">\n <div class=\"moz-cite-prefix\">Bonjour,<br>\n Est-ce qu\'en faisant un init du harvester pour repartir de zéro au\n niveau de la base de données ça change quelque chose ?<br>\n Cdt<br>\n <div class=\"moz-signature\">\n <div class=\"moz-signature\">\n <font face=\"Verdana\"><small>\n <font style=\"font-size: 12pt;\">Yohan COLMANT</font><br>\n <font style=\"font-size: 8pt;\">Direction des Systèmes\n d\'Information</font><br>\n <font style=\"font-size: 8pt;\">UVHC - Université de\n Valenciennes et du Hainaut Cambrésis</font><br>\n <font style=\"font-size: 8pt;\">Coordinateur Technique du\n projet ORI-OAI</font>\n </small>\n </font>\n </div>\n </div>\n Le 03/09/2013 13:52, Laurent Léger a écrit :<br>\n </div>\n <div class=\"emailFilter_Toggle\"><div class=\"emailFilter_Author_0\"><blockquote\n cite=\"mid:<span id=\"f8cf920e5bca8ea0f19269ad2eaa9b9c\"></span>\n <script type=\"text/javascript\" > <!--\n document.getElementById(\'f8cf920e5bca8ea0f19269ad2eaa9b9c\')\n .innerHTML = \'<a href=\"&#109;&#97;&#105;&#108;&#116;&#111;&#58;\'+\'&#115;&#121;&#109;&#112;&#97;&#46;&#49;&#51;&#55;&#56;&#50;&#48;&#56;&#56;&#52;&#49;&#46;&#49;&#49;&#57;&#51;&#52;&#46;&#49;&#52;&#57;&#64;&#108;&#105;&#115;&#116;&#101;&#115;&#46;&#117;&#110;&#105;&#118;&#45;&#114;&#101;&#110;&#110;&#101;&#115;&#49;&#46;&#102;&#114;\'+\'\">\'+\'&#115;&#121;&#109;&#112;&#97;&#46;&#49;&#51;&#55;&#56;&#50;&#48;&#56;&#56;&#52;&#49;&#46;&#49;&#49;&#57;&#51;&#52;&#46;&#49;&#52;&#57;&#64;&#108;&#105;&#115;&#116;&#101;&#115;&#46;&#117;&#110;&#105;&#118;&#45;&#114;&#101;&#110;&#110;&#101;&#115;&#49;&#46;&#102;&#114;\' + \'</a>\';\n // --> </script>\"\n type=\"cite\">\n <pre wrap=\"\">Bonjour Jacques\n\nmerci pour ta réponse\n\nc\'est donc surement un pb au niveau de la config du harverster... un pb\nd\'encodage ?\n\npas de soucis par contre pour moissonner d\'autres entrepôts comme Hal,\nrevues.org etc.\n\nà bientôt,\n\nLaurent\n</pre>\n </blockquote></div></div>\n <br>\n </body>\n</html>\n</div>', created = 1507734571, expire = 1507820971, headers = '', serialized = 0 WHERE cid = '4:a9f4f2ad55d466861f0f001429363eab' in /home/ori-oai/drupal/drupal-6.34/includes/cache.inc on line 112.
2 messages / 0 nouveaux
Dernière contribution
francoise.schortin
Fwd: fonctionnement du harvester
Bonjour François,
Sauf erreur de ma part, je n'ai pas reçu de réponse à mon dernier mail; je me permets de retransmettre nos échanges.
Je suis toujours en panne sur ce pb :
Si je veux lancer une moisson périodique (toutes les semaines par ex) pour profiter des modif et nouveautés d'un site, je me retrouve dès le premier moissonnage automatique avec 0 enregistrements.
Je ne peux pas rester dans cette situation car on me demande de moissonner l'entrepot WIMS, y compris les mises à jour.
Suis je la seule dans ce cas ?
Quelqu'un peut il m'aider ?
Françoise.


De: "Françoise Schortin" < >
À: "Francois Jannin" < >
Envoyé: Vendredi 1 Mars 2013 11:50:33
Objet: Re: [ori-oai-utilisateurs] fonctionnement du harvester

Bonjour François,

L'URL http://oai.unice.fr/Wims/oaiRepository?verb=Identify répond :
<?xml version="1.0" encoding="UTF-8" ?>
- <OAI-PMH xmlns="http://www.openarchives.org/OAI/2.0/" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://www.openarchives.org/OAI/2.0/ http://www.openarchives.org/OAI/2.0/OAI-PMH.xsd http://www.lom-fr.fr/xsd/lomfrv1.0/std/ http://www.lom-fr.fr/xsd/lomfrv1.0/std/lomfr.xsd">
  <responseDate>2013-03-01T10:41:31Z</responseDate>
  <request verb="Identify">http://oai.unice.fr/Wims/oaiRepository/index_html</request>
- <Identify>
  <repositoryName>Repository Name</repositoryName>
  <baseURL>http://oai.unice.fr/Wims/oaiRepository</baseURL>
  <protocolVersion>2.0</protocolVersion>
  <adminEmail> </adminEmail>
  <earliestDatestamp>2013-03-01</earliestDatestamp>
  <deletedRecord>no</deletedRecord>
  <granularity>YYYY-MM-DD</granularity>
  </Identify>
  </OAI-PMH>
Que doit on en déduire au niveau de la persistence ?

J'ai l'impression que le problème vient plutot de chez moi :
à cause du fait que "mon" moissonneur inscrit, à chaque moisson, la date du jour dans le champ "Depuis".
Qd je relance une moisson, mon moissonneur commence par supprimer tous les enreg de ma base harvester;
ensuite, il cherche à récupérer les enregistrements qui auraient changé dans l'entrepot depuis le champ Depuis; et comme il n'y a rien de nouveau, il ne récupére rien.
Et je me retrouve avec 0 fiches.
Pour sortir de ce cercle vicieux, il faut que j'efface le champ Depuis, et que je relance la moisson, et je retrouve le mm nb d'enregistrements ... car il n'y avait rien de nouveau dans l'entrepot distant.

Merci pour ton aide.

Françoise.


De: "Francois Jannin" < >
À: "Françoise Schortin" < >
Envoyé: Vendredi 1 Mars 2013 09:30:57
Objet: Re: [ori-oai-utilisateurs] fonctionnement du harvester

Bonjour,

Quel statut à l'entrepôt au niveau de la persistence ?
  S'il est déclaré comme non-persistent, le moissonneur ne doit pas faire d'incrémental au sens strict, mais compare la liste de ce qu'il a moissonné précédemment avec ce qu'il trouve lors de la nouvelle moisson. Il supprime celles qu'il ne trouve plus, et ajoute les nouvelles . S'il supprime tout, c'est que les fiches ne s'y trouvent plus a priori ?
Le mode "transient" est un mode intermédiaire qui nécessite un réglage adéquat entre la fréquence de moissonnage et la duréé de vie des fiches "deleted".


Le comportement de l'entrepôt  doit dans tous les c&as correspondre au mode qu'il déclare en réponse au verbe Identifiy, sinon le moissonneur n'utilisera pas l’algorithme adéquat, ce qui peut provoquer la suppression de fiches.
J'ai l'impression que le problème vient plutot de chez moi :
à cause du fait que "mon" moissonneur inscrit, à chaque moisson, la date du jour dans le champ "Depuis".
Qd je relance une moisson, mon moissonneur commence par supprimer tous les enreg de ma base harvester;
ensuite, il cherche à récupérer les enregistrements qui auraient changé dans l'entrepot depuis le champ Depuis; et comme il n'y a rien de nouveau, il ne récupére rien.
Et je me retrouve avec 0 fiches.
Pour sortir de ce cercle vicieux, il faut que j'efface le champ Depuis, et que je relance la moisson, et je retrouve le mm nb d'enregistrements ... car il n'y avait rien de nouveau dans l'entrepot distant.


François




Le 28/02/2013 18:40, Françoise Schortin a écrit :
Bonjour,

Je continue mes investigations sur le fonctionnement du harvester ...

Mon problème est plutot classique, je pense :
Je veux moissonner un entrepot, et récupérer (manuellement ou automatiquement) les modifications et ajouts de fiches qui auraient pu avoir lieu dans cet entrepôt depuis ma dernière récolte.

je n'arrive pas à la faire fonctionner correctement ce processus : Dès la 2ème moisson, je me retrouve avec 0 fiche ...

Et pas moyen d'en sortir sauf à supprimer - manuellement - dans les "options avancées" la p...n de date du jour qui se met automatiquement dans le champ "Depuis" !
Le harvester fait donc de l'incrémentiel, mais ce qui ne va pas, c'est qu'il supprime tout d'abord... moi je veux bien qu'il supprime tout (c'est mieux pour les fiches modifiées), mais qu'il recrée tout après !
Qu'est ce que je dois faire pour que ça marche ????

Françoise.



De: "Francois Jannin" < >
À: ori-oai-utilisateurs@listes.univ-rennes1.fr
Cc: "Françoise Schortin" < >
Envoyé: Jeudi 14 Février 2013 10:41:28
Objet: Re: [ori-oai-utilisateurs] fonctionnement du harvester

Bonjour,

Le 13/02/2013 15:41, Françoise Schortin a écrit :
Bonjour,

Je me pose des questions sur le fonctionnement du moissonnage
Nous moissonnons un entrepot : WIMS EDU OAI Repository http://oai.unice.fr/Wims/oaiRepository
Nous avons en ligne 199 fiches de cet entrepot.

Si une nouvelle fiche est créée dans cet entrepot, est ce qu'en lançant une moisson (manuellement, car je n'ai rien automatisé),
est ce que cette nouvelle fiche doit apparaitre chez moi ?
Oui, le moissonneur détecte les nouvelles fiches et celles qui on été supprimées.
est ce que les anciennes fiches vont etre moissonnées à nouveau et faire doublon ?

Non, celles qui sont présentes ont un identifiant qui permet de voir qu'elles sont déjà indexées.
J'ai supprimé la récolte. Or, il me reste une fiche dans l'indexing en provenance de cet entrepot, les autres ont été supprimées.
Quelle peut etre la raison ?
Cette fiche provient peut-être de la moisson d'un autre entrepôt mais qui a le même identifiant.
Cela peut arriver lors de moissons en cascade, quand un entrepôt A expose les fiches qu'il a moissonnées dans un entrepôt X.
Une fiche garde l'identifiant de son entrepôt d'origine.
Si on moissonne A + X, alors les fiches de X possèdent un compteur de référence, et si on supprime la moisson de X, les fiches vont restées indexées au titre de la moisson de A, tant que ce compteur ne sera pas a zéro, c'est-à-dire tant que la fiche en provenance de X sera exposée par A.
Cela peut être une explication de la persistance de cette fiche.

François

Françoise.

Françoise Rousseau Schortin
Ingénieur Direction Informatique
Université Paris-Sud 11 - 91405 ORSAY
Bat 210 - tel 01 69 15 76 21



--
logo INP
François Jannin
DSI - Développement et déploiement d'applications
Tél : +33 (0)5 34 32 30 51
INP-TOULOUSE " height="58" width="597">
INP Toulouse
6 allée Emile Monso - BP 34038
31029 Toulouse cedex 4
http://www.inp-toulouse.fr
 Avant d’imprimer ce courriel, demandez-vous si ceci est nécessaire.



--
logo INP
François Jannin
DSI - Développement et déploiement d'applications
Tél : +33 (0)5 34 32 30 51
INP-TOULOUSE " height="58" width="597">
INP Toulouse
6 allée Emile Monso - BP 34038
31029 Toulouse cedex 4
http://www.inp-toulouse.fr
 Avant d’imprimer ce courriel, demandez-vous si ceci est nécessaire.


Yohan Colmant
Bonjour,
Est-ce qu'en faisant un init du harvester pour repartir de zéro au niveau de la base de données ça change quelque chose ?
Cdt
Yohan COLMANT
Direction des Systèmes d'Information
UVHC - Université de Valenciennes et du Hainaut Cambrésis
Coordinateur Technique du projet ORI-OAI
Le 03/09/2013 13:52, Laurent Léger a écrit :
" type="cite">
Bonjour Jacques

merci pour ta réponse

c'est donc surement un pb au niveau de la config du harverster... un pb
d'encodage ?

pas de soucis par contre pour moissonner d'autres entrepôts comme Hal,
revues.org etc.

à bientôt,

Laurent

Options d'affichage des commentaires

Sélectionnez la méthode d'affichage des commentaires que vous préférez, puis cliquez sur « Enregistrer les paramètres » pour activer vos changements.