erreur harvester pb encodage

user warning: Table './drupal_www_ori_oai_org/cache_filter' is marked as crashed and last (automatic?) repair failed query: SELECT data, created, headers, expire, serialized FROM cache_filter WHERE cid = '4:4c5dcb805fa44c6a291ab9d46ae44644' in /home/ori-oai/drupal/drupal-6.34/includes/cache.inc on line 27.
user warning: Table './drupal_www_ori_oai_org/cache_filter' is marked as crashed and last (automatic?) repair failed query: UPDATE cache_filter SET data = '<div class=\"emailFilter\"><!DOCTYPE HTML PUBLIC \"-//W3C//DTD HTML 4.01 Transitional//EN\">\n<html>\n <head>\n <meta content=\"text/html; charset=ISO-8859-15\"\n http-equiv=\"Content-Type\">\n <title></title>\n </head>\n <body text=\"#000000\" bgcolor=\"#ffffff\">\n Bonsoir Françoise, \n </div>', created = 1507752569, expire = 1507838969, headers = '', serialized = 0 WHERE cid = '4:4c5dcb805fa44c6a291ab9d46ae44644' in /home/ori-oai/drupal/drupal-6.34/includes/cache.inc on line 112.
user warning: Table './drupal_www_ori_oai_org/cache_filter' is marked as crashed and last (automatic?) repair failed query: SELECT data, created, headers, expire, serialized FROM cache_filter WHERE cid = '4:4c5dcb805fa44c6a291ab9d46ae44644' in /home/ori-oai/drupal/drupal-6.34/includes/cache.inc on line 27.
user warning: Table './drupal_www_ori_oai_org/cache_filter' is marked as crashed and last (automatic?) repair failed query: UPDATE cache_filter SET data = '<div class=\"emailFilter\"><!DOCTYPE HTML PUBLIC \"-//W3C//DTD HTML 4.01 Transitional//EN\">\n<html>\n <head>\n <meta content=\"text/html; charset=ISO-8859-15\"\n http-equiv=\"Content-Type\">\n <title></title>\n </head>\n <body text=\"#000000\" bgcolor=\"#ffffff\">\n Bonsoir Françoise, \n </div>', created = 1507752569, expire = 1507838969, headers = '', serialized = 0 WHERE cid = '4:4c5dcb805fa44c6a291ab9d46ae44644' in /home/ori-oai/drupal/drupal-6.34/includes/cache.inc on line 112.
user warning: Table './drupal_www_ori_oai_org/cache_filter' is marked as crashed and last (automatic?) repair failed query: SELECT data, created, headers, expire, serialized FROM cache_filter WHERE cid = '4:1f9573d61bb0027ae112b5bec5d145e7' in /home/ori-oai/drupal/drupal-6.34/includes/cache.inc on line 27.
user warning: Table './drupal_www_ori_oai_org/cache_filter' is marked as crashed and last (automatic?) repair failed query: UPDATE cache_filter SET data = '<div class=\"emailFilter\"><!DOCTYPE HTML PUBLIC \"-//W3C//DTD HTML 4.01 Transitional//EN\">\n<html>\n <head>\n <meta content=\"text/html; charset=UTF-8\" http-equiv=\"Content-Type\">\n </head>\n <body bgcolor=\"#ffffff\" text=\"#000000\">\n Ravi que ca te plaise :) \n \n De rien, la communauté est là pour ça :) \n \n Bon courage. \n \n \n \n \n Le 21/03/2011 19:28, Françoise Schortin a écrit :\n <div class=\"emailFilter_Toggle\"><div class=\"emailFilter_Author_0\"><blockquote>\n <style type=\"text/css\">p { margin: 0; }</style>\n <div style=\"font-family: Arial; font-size: 10pt; color: rgb(102,\n 51, 255);\">\n François, tu es merveilleux\n ................................\n Avec ta botte magique, ca marche !!!! du moins pour le\n harvester.\n j\'ignorais totalement qu\'on puisse mettre des\n paramètres derriere cette url !\n j\'ai essayé à tout hasard, sans y croire, et ca marche\n !\n Et en plus je ne m\'adressais pas à toi, mais à François\n Jannin\n Merci, merci, merci, 3xmerci de m\'avoir répondu (ca\n fait un certain temps que ca dure ce pb) \n \n Françoise\n \n PS : Yohan, ca ne marche pas pour le workflow ... sniff\n \n \n \n <hr />\n De: \"françois lefebvre\"\n <a class=\"moz-txt-link-rfc2396E\" href=\"mailto:francois.lefebvre@univ-lille1.fr\"><\n <script type=\"text/javascript\" >  </script>></a> \n À: <a class=\"moz-txt-link-abbreviated\" href=\"mailto:ori-oai-utilisateurs@listes.univ-rennes1.fr\">ori-oai-utilisateurs@listes.univ-rennes1.fr</a> \n Envoyé: Lundi 21 Mars 2011 08:38:16 \n Objet: Re: [ori-oai-utilisateurs] erreur harvester pb\n encodage \n \n Bonjour Françoise, \n \n Je viens de définir une moisson UNIT. \n Je n\'ai pas de problème d\'encodage : \n \n <img alt=\"\" src=\"cid:\n <script type=\"text/javascript\" >  </script>\"> \n \n As tu spécifié l\'encodage dans le common.parameters.properties\n ? \n \n HARVESTER_SQL_CONNECTION_URL=jdbc:mysql://localhost/harvester?characterEncoding=utf8 \n \nWORKFLOW_SQL_CONNECTION_URL=jdbc:mysql://localhost:3306/orioaiworkflow?characterEncoding=utf8& \n \n \n \n \n Bon courage. \n \n \n \n \n Le 18/03/2011 15:47, Françoise Schortin a écrit : \n <div class=\"emailFilter_Author_1\"><blockquote>\n <style>p { margin: 0; }</style>\n <div style=\"font-size: 10pt; color: rgb(102, 51, 255);\n font-family: Arial;\">\n Bonjour\n François,\n \n Je reviens vers toi pour ce pb.\n Comme j\'ai un pb similaire dans le workflow, mais\n qui ne se manifeste pas de manière aussi violente (pas\n de plantage une fois le dao.xml modifié), je mets\n Yohan en copie car il est en train d\'y regarder pour\n la partie workflow.\n \n Je viens de mener un test sur le harvester avec :\n - le dao modifié comme dans le workflow =>\n plantage\n - le dao d\'origine => plantage\n J\'ai récupéré les logs dans les 2 cas, je les\n joins, mais je suppose qu\'ils ne sont pas trop\n explicites\n J\'ai récapitulé ma manip sur un .doc avec copie\n d\'écran et en expliquant tout ce que j\'ai fait.\n \n Ma conclusion, pour le moment, c\'est que c\'est\n clairement un pb d\'encodage, mais que une modif du\n dao.xml n\'y change rien.\n Contrairement au workflow où la modif du dao.xml\n a éliminé les plantages, mais pas l\'affichage erroné\n des données de la base contenant des accents dans les\n écrans.\n \n Merci pour vos efforts pour me sortir de ce m...dier,\n car le responsable des serveurs de BD compte uniformiser\n le paramétrage des serveurs de test et de prod en\n mettant les parametres character_set_server et\n collation_server à \"latin1\", ce qui\n fait que je n\'aurais plus aucun serveur qui marche. \n \n \n \n \n Françoise Rousseau Schortin \n Ingénieur Direction Informatique \n Université Paris-Sud 11 - 91405 ORSAY \n \n <hr />\n De: \"Francois Jannin\" <a moz-do-not-send=\"true\"\n class=\"moz-txt-link-rfc2396E\"\n href=\"mailto:francois.jannin@enseeiht.fr\" target=\"_blank\"><\n <script type=\"text/javascript\" >  </script>></a> \n À: <a moz-do-not-send=\"true\"\n class=\"moz-txt-link-abbreviated\"\n href=\"mailto:ori-oai-utilisateurs@listes.univ-rennes1.fr\"\n target=\"_blank\">ori-oai-utilisateurs@listes.univ-rennes1.fr</a> \n Envoyé: Vendredi 25 Février 2011 16:22:58 \n Objet: Re: [ori-oai-utilisateurs] erreur harvester \n \n Bonjour, \n \n C\'est clairement un problème d\'encodage, mais normalement,\n la même modification du fichier dao.xml devrait avoir le\n même effet que dans le workflow : \n \n <pre class=\"code-java\"><property name=\"url\">\n <value>${hibernate.connection.url}?emulateLocators=true&amp;useUnicode=true&amp;characterEncoding=utf8&amp;useOldUTF8Behavior=true</value>\n</property>\n</pre>\n \n Avez-vous bien lancé le harvester avec l\'option suivante ?\n <pre class=\"code-java\">CATALINA_OPTS=-Dfile.encoding=UTF-8\n</pre>\n Avez-vous toujours la même exception :\n org.hibernate.util.JDBCExceptionReporter - Incorrect string\n value: \'\\xE9liore...\' for column \'record\' at row 1 ? \n \n François \n \n \n \n Le 18/02/2011 17:01, Françoise Schortin a écrit :\n <div class=\"emailFilter_Author_2\"><blockquote>\n <style>p { margin: 0; }</style>\n <div style=\"font-size: 10pt; color: rgb(102, 51, 255);\n font-family: Arial;\">\n Bonjour,\n \n C\'est à moi de m\'excuser pour le délai de\n réponse ... je n\'ai pas bien surveillé la liste ces\n temps-ci ! \n La modif que j\'ai faite est celle préconisée par le\n site ori-oai.org :\n <a moz-do-not-send=\"true\"\n href=\"http://www.ori-oai.org/display/ORIOAIworkflow/Encodage\"\n target=\"_blank\">http://www.ori-oai.org/display/ORIOAIworkflow/Encodage</a>\n Merci d\'avance. \n \n Françoise\n <hr />\n De: \"Francois Jannin\" <a\n moz-do-not-send=\"true\" class=\"moz-txt-link-rfc2396E\"\n href=\"mailto:francois.jannin@enseeiht.fr\"\n target=\"_blank\"><\n <script type=\"text/javascript\" >  </script>></a> \n À: <a moz-do-not-send=\"true\"\n class=\"moz-txt-link-abbreviated\"\n href=\"mailto:ori-oai-utilisateurs@listes.univ-rennes1.fr\"\n target=\"_blank\">ori-oai-utilisateurs@listes.univ-rennes1.fr</a> \n Envoyé: Lundi 7 Février 2011 14:12:51 \n Objet: Re: Fwd: [ori-oai-utilisateurs] erreur\n harvester \n \n Bonjour, \n \n Excusez-moi pour le délai de réponse. \n Pouvez-vous détailler quelle modification avait été\n faite dans dao.xml pour le workflow ? \n Ainsi je pourrais vous indiquer comment repercuter\n cette modification pour le harvester. \n \n Cordialement, \n François \n \n \n Le 28/01/2011 12:12, Françoise Schortin a écrit : \n <div class=\"emailFilter_Author_3\"><blockquote>\n <style>p { margin: 0; }</style>\n <div style=\"font-size: 12pt; color: rgb(0, 0, 0);\n font-family: Times New Roman;\">\n Bonjour,\n Excusez moi de relancer la question (cf mes\n mails ci-dessous); mais je n\'ai pas eu de\n réponse et le problème reste entier.\n Pour résumer:\n Mon serveur de BD est configuré en ce qui\n concerne les parametres character_set_server\n et collation_server en\n latin1. Je ne peux rien y faire \n Du coup, le harvester plante.\n Pour le workflow, j\'avais évidemment le\n meme pb, mais il a pu etre contourné en\n intervenant dans le fichier dao.xml\n J\'ai essayé la meme chose dans le\n harvester, mais ca ne marche pas.\n Qq peut il se pencher sur le pb ? \n Merci.\n \n Françoise Rousseau Schortin \n Ingénieur Direction Informatique \n Université Paris-Sud 11 - 91405 ORSAY \n \n \n <hr />\n De: \"Françoise Schortin\" <a\n moz-do-not-send=\"true\"\n class=\"moz-txt-link-rfc2396E\"\n href=\"mailto:francoise.schortin@u-psud.fr\"\n target=\"_blank\"><\n <script type=\"text/javascript\" >  </script>></a> \n À: <a moz-do-not-send=\"true\"\n class=\"moz-txt-link-abbreviated\"\n href=\"mailto:ori-oai-utilisateurs@listes.univ-rennes1.fr\"\n target=\"_blank\">ori-oai-utilisateurs@listes.univ-rennes1.fr</a> \n Envoyé: Lundi 24 Janvier 2011 18:37:22 \n Objet: Re: [ori-oai-utilisateurs] erreur\n harvester \n \n \n <style>p { margin: 0; }</style>\n <div style=\"font-size: 12pt; color: rgb(0, 0, 0);\n font-family: Times New Roman;\">\n Re-bonjour,\n \n J\'ai fait ce test : j\'ai mis la base\n harvester sur un serveur mysql (de test)\n correctement configuré en ce qui concerne les\n parametres character_set_server et\n collation_server :\n A part toutes ces erreurs \"habituelles\"\n (pas très rassurant qd mme) !) :\n \"24 janv. 2011 18:24:51\n org.apache.catalina.loader.WebappClassLoader\n clearThreadLocalMap \n GRAVE: A web application created a\n ThreadLocal with key of type\n [org.springframework.core.NamedInheritableThreadLocal]\n (value [Request context]) and a value of\n type [null] (value [null]) but failed to\n remove it when the web application was\n stopped. To prevent a memory leak, the\n ThreadLocal has been forcibly removed.\" \n j\'arrive bien à créer une moisson et à\n lancer une récolte ! \n C\'est donc un pb d\'encodage, similaire à celui\n que j\'ai eu pour le workflow. \n Y a t il une possibilité d\'intervenir dans\n hibernate pour pallier à ce pb ? \n Je rappelle que je ne peux pas toucher au\n serveur ... \n Merci pour l\'aide.\n \n Françoise\n <hr />\n De: \"Françoise Schortin\" <a\n moz-do-not-send=\"true\"\n class=\"moz-txt-link-rfc2396E\"\n href=\"mailto:francoise.schortin@u-psud.fr\"\n target=\"_blank\"><\n <script type=\"text/javascript\" >  </script>></a> \n À: <a moz-do-not-send=\"true\"\n class=\"moz-txt-link-abbreviated\"\n href=\"mailto:ori-oai-utilisateurs@listes.univ-rennes1.fr\"\n target=\"_blank\">ori-oai-utilisateurs@listes.univ-rennes1.fr</a> \n Envoyé: Lundi 24 Janvier 2011 18:02:46 \n Objet: Re: [ori-oai-utilisateurs] erreur\n harvester \n \n Bonjour, \n Je me réponds à moi-meme : je galère toujours\n sur ce pb. \n Est ce que ca pourrait être un pb d\'encodage ? \n \n J\'ai eu un pb avec le workflow parce que mon\n serveur mysql (sur lequel je ne peux agir) n\'est\n pas configuré UTF8 en ce qui concerne les\n parametres character_set_server et\n collation_server \n | character_set_client | latin1 \n | \n | character_set_connection | latin1 \n | \n | character_set_database | utf8 \n | \n | character_set_filesystem | binary \n | \n | character_set_results | latin1 \n | \n | character_set_server | latin1 \n | \n | character_set_system | utf8 \n | \n | character_sets_dir |\n /usr/share/mysql/charsets/ | \n et \n | collation_connection | latin1_swedish_ci | \n | collation_database | utf8_general_ci | \n | collation_server | latin1_swedish_ci | \n \n \n Pour le pb de workflow, Grégoire m\'avait dit de\n modifier le fichier dao.xml, ce que j\'ai fait et\n qui a résolu mon pb. \n Du coup, j\'ai fait la meme chose coté harvester,\n mais ca n\'a pas eu du tout le meme effet\n bénéfique !!! \n \n Françoise \n \n ----- Mail original ----- \n De: \"Françoise Schortin\" <a\n moz-do-not-send=\"true\"\n class=\"moz-txt-link-rfc2396E\"\n href=\"mailto:francoise.schortin@u-psud.fr\"\n target=\"_blank\"><\n <script type=\"text/javascript\" >  </script>></a> \n À: \"ori-oai-utilisateurs\" <a\n moz-do-not-send=\"true\"\n class=\"moz-txt-link-rfc2396E\"\n href=\"mailto:ori-oai-utilisateurs@listes.univ-rennes1.fr\"\n target=\"_blank\"><\n <script type=\"text/javascript\" >  </script>></a> \n Envoyé: Vendredi 21 Janvier 2011 12:36:04 \n Objet: [ori-oai-utilisateurs] erreur harvester \n \n Bonjour, \n \n J\'ai une erreur lorsque je lance - pour la\n première fois - une moisson sur le harvester. \n \n Est ce que ca peut etre un pb de memoire tomcat\n ? (je tourne avec les valeurs par defaut 64M,\n mais c\'est la première moisson et la première\n récolte) \n \n Cette erreur se produit lorsque je déclenche la\n récolte (l\'erreur d\'avant n\'est peut etre pas à\n prendre en compte car j\'ai voulu réafficher la\n page sur laquelle j\'étais avant de faire le\n stop, ant init avec init de la BD, ant all, et\n start du harvester) \n \n oriharvester: 112731\n org.hibernate.util.JDBCExceptionReporter.logExceptions(JDBCExceptionReporter.java:101)\n - Incorrect string value: \'\\xE9liore...\' for\n column \'record\' at row 1 \n 112731 [Thread-39] ERROR\n org.hibernate.util.JDBCExceptionReporter -\n Incorrect string value: \'\\xE9liore...\' for\n column \'record\' at row 1 \n oriharvester: 112736\n org.hibernate.event.def.AbstractFlushingEventListener.performExecutions(AbstractFlushingEventListener.java:324)\n - Could not synchronize database state with\n session \n org.hibernate.exception.GenericJDBCException:\n Could not execute JDBC batch update \n at\norg.hibernate.exception.SQLStateConverter.handledNonSpecificException(SQLStateConverter.java:126) \n at\norg.hibernate.exception.SQLStateConverter.convert(SQLStateConverter.java:114) \n \n Merci pour votre aide. \n Françoise. \n \n PJ : le catalina.out \n \n Françoise Rousseau Schortin \n Ingénieur Direction Informatique \n Université Paris-Sud 11 - 91405 ORSAY \n \n \n </div>\n </div>\n </blockquote></div>\n </div>\n </blockquote></div>\n </div>\n </blockquote></div>\n \n <pre class=\"moz-signature\">-- \nCordialement.\n\n\nFrançois Lefebvre\nBibliothèque Universitaire de Lille 1\nCité Scientifique - B.P. 30155\n59653 VILLENEUVE D\'ASCQ CEDEX\nTél.: 03.20.33.60.73</pre>\n </div>\n </blockquote></div></div>\n \n <pre class=\"moz-signature\" cols=\"72\">-- \nCordialement.\n\n\nFrançois Lefebvre\nBibliothèque Universitaire de Lille 1\nCité Scientifique - B.P. 30155\n59653 VILLENEUVE D\'ASCQ CEDEX\nTél.: 03.20.33.60.73</pre>\n </body>\n</html>\n</div>', created = 1507752569, expire = 1507838969, headers = '', serialized = 0 WHERE cid = '4:1f9573d61bb0027ae112b5bec5d145e7' in /home/ori-oai/drupal/drupal-6.34/includes/cache.inc on line 112.
user warning: Table './drupal_www_ori_oai_org/cache_filter' is marked as crashed and last (automatic?) repair failed query: SELECT data, created, headers, expire, serialized FROM cache_filter WHERE cid = '4:403ae49edbe4a22ff25798bf479ff11a' in /home/ori-oai/drupal/drupal-6.34/includes/cache.inc on line 27.
user warning: Table './drupal_www_ori_oai_org/cache_filter' is marked as crashed and last (automatic?) repair failed query: UPDATE cache_filter SET data = '<div class=\"emailFilter\"><html><head><style type=\'text/css\'>p { margin: 0; }</style></head><body><div style=\'font-family: Arial; font-size: 10pt; color: #6633FF\'>François, tu es merveilleux ................................\nAvec ta botte magique, ca marche !!!!  du moins pour le harvester.\nj\'ignorais totalement qu\'on puisse mettre des paramètres derriere cette url !\nj\'ai essayé à tout hasard, sans y croire, et ca marche !\nEt en plus je ne m\'adressais pas à toi, mais à François Jannin\nMerci, merci, merci, 3xmerci de m\'avoir répondu (ca fait un certain temps que ca dure ce pb) Françoise\n \nPS : Yohan, ca ne marche pas pour le workflow ... sniff\n \n\n<hr />\n\nDe: \"françois lefebvre\" <\n <script type=\"text/javascript\" >  </script>> À: \n <script type=\"text/javascript\" >  </script> Envoyé: Lundi 21 Mars 2011 08:38:16 Objet: Re: [ori-oai-utilisateurs] erreur harvester pb encodage Bonjour Françoise, Je viens de définir une moisson UNIT. Je n\'ai pas de problème d\'encodage : <IMG alt=\"\" src=\"cid:\n <script type=\"text/javascript\" >  </script>\"> As tu spécifié l\'encodage dans le common.parameters.properties ? HARVESTER_SQL_CONNECTION_URL=jdbc:mysql://localhost/harvester?characterEncoding=utf8 WORKFLOW_SQL_CONNECTION_URL=jdbc:mysql://localhost:3306/orioaiworkflow?characterEncoding=utf8& Bon courage. Le 18/03/2011 15:47, Françoise Schortin a écrit : \n<div class=\"emailFilter_Toggle\"><div class=\"emailFilter_Author_0\"><BLOCKQUOTE cite=\"#\">\n<STYLE>p { margin: 0; }</STYLE>\n\n<DIV style=\"FONT-SIZE: 10pt; COLOR: rgb(102,51,255); FONT-FAMILY: Arial\">\nBonjour François,\n \nJe reviens vers toi pour ce pb.\nComme j\'ai un pb similaire dans le workflow, mais qui ne se manifeste pas de manière aussi violente (pas de plantage une fois le dao.xml modifié), je mets Yohan en copie car il est en train d\'y regarder pour la partie workflow.\n \nJe viens de mener un test sur le harvester avec :\n- le dao modifié comme dans le workflow => plantage\n- le dao d\'origine => plantage\nJ\'ai récupéré les logs dans les 2 cas, je les joins, mais je suppose qu\'ils ne sont pas trop explicites\nJ\'ai récapitulé ma manip sur un .doc avec copie d\'écran et en expliquant tout ce que j\'ai fait.\n \nMa conclusion, pour le moment, c\'est que c\'est clairement un pb d\'encodage, mais que une modif du dao.xml n\'y change rien.\nContrairement au workflow où la modif du dao.xml a éliminé les plantages, mais pas l\'affichage erroné des données de la base contenant des accents dans les écrans.\n \nMerci pour vos efforts pour me sortir de ce m...dier, car le responsable des serveurs de BD compte uniformiser le paramétrage des serveurs de test et de prod en mettant les parametres character_set_server et collation_server à \"latin1\", ce qui fait que je n\'aurais plus aucun serveur qui marche. Françoise Rousseau Schortin Ingénieur Direction Informatique Université Paris-Sud 11 - 91405 ORSAY \n<hr />\nDe: \"Francois Jannin\" <A class=moz-txt-link-rfc2396E href=\"mailto:francois.jannin@enseeiht.fr\" target=_blank><\n <script type=\"text/javascript\" >  </script>></A> À: <A class=moz-txt-link-abbreviated href=\"mailto:ori-oai-utilisateurs@listes.univ-rennes1.fr\" target=_blank>ori-oai-utilisateurs@listes.univ-rennes1.fr</A> Envoyé: Vendredi 25 Février 2011 16:22:58 Objet: Re: [ori-oai-utilisateurs] erreur harvester Bonjour, C\'est clairement un problème d\'encodage, mais normalement, la même modification du fichier dao.xml devrait avoir le même effet que dans le workflow : <PRE class=code-java><property name=\"url\">\n <value>${hibernate.connection.url}?emulateLocators=true&amp;useUnicode=true&amp;characterEncoding=utf8&amp;useOldUTF8Behavior=true</value>\n</property>\n</PRE> Avez-vous bien lancé le harvester avec l\'option suivante ? <PRE class=code-java>CATALINA_OPTS=-Dfile.encoding=UTF-8\n</PRE>Avez-vous toujours la même exception : org.hibernate.util.JDBCExceptionReporter  - Incorrect string value: \'\\xE9liore...\' for column \'record\' at row 1 ? François Le 18/02/2011 17:01, Françoise Schortin a écrit : \n<div class=\"emailFilter_Author_1\"><BLOCKQUOTE cite=\"#\">\n<STYLE>p { margin: 0; }</STYLE>\n\n<DIV style=\"FONT-SIZE: 10pt; COLOR: rgb(102,51,255); FONT-FAMILY: Arial\">\nBonjour,\n \nC\'est à moi de m\'excuser pour le délai de réponse ... je n\'ai pas bien surveillé la liste ces temps-ci ! La modif que j\'ai faite est celle préconisée par le site ori-oai.org :\n<A href=\"http://www.ori-oai.org/display/ORIOAIworkflow/Encodage\" target=_blank>http://www.ori-oai.org/display/ORIOAIworkflow/Encodage</A>\nMerci d\'avance. Françoise\n<hr />\n\nDe: \"Francois Jannin\" <A class=moz-txt-link-rfc2396E href=\"mailto:francois.jannin@enseeiht.fr\" target=_blank><\n <script type=\"text/javascript\" >  </script>></A> À: <A class=moz-txt-link-abbreviated href=\"mailto:ori-oai-utilisateurs@listes.univ-rennes1.fr\" target=_blank>ori-oai-utilisateurs@listes.univ-rennes1.fr</A> Envoyé: Lundi 7 Février 2011 14:12:51 Objet: Re: Fwd: [ori-oai-utilisateurs] erreur harvester Bonjour, Excusez-moi pour le délai de réponse. Pouvez-vous détailler quelle modification avait été faite dans dao.xml pour le workflow ? Ainsi je pourrais vous indiquer comment repercuter cette modification pour le harvester. Cordialement, François Le 28/01/2011 12:12, Françoise Schortin a écrit : \n<div class=\"emailFilter_Author_2\"><BLOCKQUOTE cite=\"#\">\n<STYLE>p { margin: 0; }</STYLE>\n\n<DIV style=\"FONT-SIZE: 12pt; COLOR: rgb(0,0,0); FONT-FAMILY: Times New Roman\">\nBonjour,\nExcusez moi de relancer la question (cf mes mails ci-dessous); mais je n\'ai pas eu de réponse et le problème reste entier.\nPour résumer:\nMon serveur de BD est configuré en ce qui concerne les parametres character_set_server et collation_server en latin1. Je ne peux rien y faire Du coup, le harvester plante.\nPour le workflow, j\'avais évidemment le meme pb, mais il a pu etre contourné en intervenant dans le fichier dao.xml\nJ\'ai essayé la meme chose dans le harvester, mais ca ne marche pas.\nQq peut il se pencher sur le pb ? \nMerci.\n Françoise Rousseau Schortin Ingénieur Direction Informatique Université Paris-Sud 11 - 91405 ORSAY \n<hr />\n\nDe: \"Françoise Schortin\" <A class=moz-txt-link-rfc2396E href=\"mailto:francoise.schortin@u-psud.fr\" target=_blank><\n <script type=\"text/javascript\" >  </script>></A> À: <A class=moz-txt-link-abbreviated href=\"mailto:ori-oai-utilisateurs@listes.univ-rennes1.fr\" target=_blank>ori-oai-utilisateurs@listes.univ-rennes1.fr</A> Envoyé: Lundi 24 Janvier 2011 18:37:22 Objet: Re: [ori-oai-utilisateurs] erreur harvester \n<STYLE>p { margin: 0; }</STYLE>\n\n<DIV style=\"FONT-SIZE: 12pt; COLOR: rgb(0,0,0); FONT-FAMILY: Times New Roman\">\nRe-bonjour,\n \nJ\'ai fait ce test : j\'ai mis la base harvester sur un serveur mysql (de test) correctement configuré en ce qui concerne les parametres character_set_server et collation_server :\nA part toutes ces erreurs  \"habituelles\" (pas très rassurant qd mme) !) :\n\"24 janv. 2011 18:24:51 org.apache.catalina.loader.WebappClassLoader clearThreadLocalMap GRAVE: A web application created a ThreadLocal with key of type [org.springframework.core.NamedInheritableThreadLocal] (value [Request context]) and a value of type [null] (value [null]) but failed to remove it when the web application was stopped. To prevent a memory leak, the ThreadLocal has been forcibly removed.\" j\'arrive bien à créer une moisson et à lancer une récolte ! C\'est donc un pb d\'encodage, similaire à celui que j\'ai eu pour le workflow. Y a t il une possibilité d\'intervenir dans hibernate pour pallier à ce pb ? \nJe rappelle que je ne peux pas toucher au serveur ... Merci pour l\'aide.\n Françoise\n<hr />\n\nDe: \"Françoise Schortin\" <A class=moz-txt-link-rfc2396E href=\"mailto:francoise.schortin@u-psud.fr\" target=_blank><\n <script type=\"text/javascript\" >  </script>></A> À: <A class=moz-txt-link-abbreviated href=\"mailto:ori-oai-utilisateurs@listes.univ-rennes1.fr\" target=_blank>ori-oai-utilisateurs@listes.univ-rennes1.fr</A> Envoyé: Lundi 24 Janvier 2011 18:02:46 Objet: Re: [ori-oai-utilisateurs] erreur harvester Bonjour, Je me réponds à moi-meme : je galère toujours sur ce pb. Est ce que ca pourrait être un pb d\'encodage ? J\'ai eu un pb avec le workflow parce que mon serveur mysql (sur lequel je ne peux agir) n\'est pas configuré UTF8 en ce qui concerne les parametres character_set_server et collation_server | character_set_client     | latin1                     | | character_set_connection | latin1                     | | character_set_database   | utf8                       | | character_set_filesystem | binary                     | | character_set_results    | latin1                     | | character_set_server     | latin1                     | | character_set_system     | utf8                       | | character_sets_dir       | /usr/share/mysql/charsets/ | et | collation_connection | latin1_swedish_ci | | collation_database   | utf8_general_ci   | | collation_server     | latin1_swedish_ci | Pour le pb de workflow, Grégoire m\'avait dit de modifier le fichier dao.xml, ce que j\'ai fait et qui a résolu mon pb. Du coup, j\'ai fait la meme chose coté harvester, mais ca n\'a pas eu du tout le meme effet bénéfique !!! Françoise ----- Mail original ----- De: \"Françoise Schortin\" <A class=moz-txt-link-rfc2396E href=\"mailto:francoise.schortin@u-psud.fr\" target=_blank><\n <script type=\"text/javascript\" >  </script>></A> À: \"ori-oai-utilisateurs\" <A class=moz-txt-link-rfc2396E href=\"mailto:ori-oai-utilisateurs@listes.univ-rennes1.fr\" target=_blank><\n <script type=\"text/javascript\" >  </script>></A> Envoyé: Vendredi 21 Janvier 2011 12:36:04 Objet: [ori-oai-utilisateurs] erreur harvester Bonjour, J\'ai une erreur lorsque je lance - pour la première fois - une moisson sur le harvester. Est ce que ca peut etre un pb de memoire tomcat ? (je tourne avec les valeurs par defaut 64M, mais c\'est la première moisson et la première récolte) Cette erreur se produit lorsque je déclenche la récolte (l\'erreur d\'avant n\'est peut etre pas à prendre en compte car j\'ai voulu réafficher la page sur laquelle j\'étais avant de faire le stop, ant init avec init de la BD, ant all, et start du harvester) oriharvester: 112731 org.hibernate.util.JDBCExceptionReporter.logExceptions(JDBCExceptionReporter.java:101)  - Incorrect string value: \'\\xE9liore...\' for column \'record\' at row 1  112731 [Thread-39] ERROR org.hibernate.util.JDBCExceptionReporter  - Incorrect string value: \'\\xE9liore...\' for column \'record\' at row 1 oriharvester: 112736 org.hibernate.event.def.AbstractFlushingEventListener.performExecutions(AbstractFlushingEventListener.java:324)  - Could not synchronize database state with session  org.hibernate.exception.GenericJDBCException: Could not execute JDBC batch update         at org.hibernate.exception.SQLStateConverter.handledNonSpecificException(SQLStateConverter.java:126)         at org.hibernate.exception.SQLStateConverter.convert(SQLStateConverter.java:114) Merci pour votre aide. Françoise. PJ : le catalina.out Françoise Rousseau Schortin Ingénieur Direction Informatique Université Paris-Sud 11 - 91405 ORSAY </DIV></DIV></BLOCKQUOTE></div></DIV></BLOCKQUOTE></div></DIV></BLOCKQUOTE></div></div> <PRE class=moz-signature>-- \nCordialement.\n\n\nFrançois Lefebvre\nBibliothèque Universitaire de Lille 1\nCité Scientifique - B.P. 30155\n59653 VILLENEUVE D\'ASCQ CEDEX\nTél.: 03.20.33.60.73</PRE></div></body></html></div>', created = 1507752571, expire = 1507838971, headers = '', serialized = 0 WHERE cid = '4:403ae49edbe4a22ff25798bf479ff11a' in /home/ori-oai/drupal/drupal-6.34/includes/cache.inc on line 112.
user warning: Table './drupal_www_ori_oai_org/cache_filter' is marked as crashed and last (automatic?) repair failed query: SELECT data, created, headers, expire, serialized FROM cache_filter WHERE cid = '4:8638711bf0eb24d861af17135412f990' in /home/ori-oai/drupal/drupal-6.34/includes/cache.inc on line 27.
user warning: Table './drupal_www_ori_oai_org/cache_filter' is marked as crashed and last (automatic?) repair failed query: UPDATE cache_filter SET data = '<div class=\"emailFilter\"><!DOCTYPE HTML PUBLIC \"-//W3C//DTD HTML 4.01 Transitional//EN\">\n<html>\n <head>\n <meta content=\"text/html; charset=UTF-8\" http-equiv=\"Content-Type\">\n </head>\n <body bgcolor=\"#ffffff\" text=\"#000000\">\n Bonjour Françoise, \n \n Je viens de définir une moisson UNIT. \n Je n\'ai pas de problème d\'encodage : \n \n <img src=\"#\" alt=\"\"> \n \n As tu spécifié l\'encodage dans le common.parameters.properties ? \n \n HARVESTER_SQL_CONNECTION_URL=jdbc:mysql://localhost/harvester?characterEncoding=utf8 \n \nWORKFLOW_SQL_CONNECTION_URL=jdbc:mysql://localhost:3306/orioaiworkflow?characterEncoding=utf8& \n \n \n \n \n Bon courage. \n \n \n \n \n Le 18/03/2011 15:47, Françoise Schortin a écrit :\n <div class=\"emailFilter_Toggle\"><div class=\"emailFilter_Author_0\"><blockquote>\n <style type=\"text/css\">p { margin: 0; }</style>\n <div style=\"font-family: Arial; font-size: 10pt; color: rgb(102,\n 51, 255);\">\n Bonjour\n François,\n \n Je reviens vers toi pour ce pb.\n Comme j\'ai un pb similaire dans le workflow, mais qui\n ne se manifeste pas de manière aussi violente (pas de\n plantage une fois le dao.xml modifié), je mets Yohan en\n copie car il est en train d\'y regarder pour la partie\n workflow.\n \n Je viens de mener un test sur le harvester avec :\n - le dao modifié comme dans le workflow =>\n plantage\n - le dao d\'origine => plantage\n J\'ai récupéré les logs dans les 2 cas, je les joins,\n mais je suppose qu\'ils ne sont pas trop explicites\n J\'ai récapitulé ma manip sur un .doc avec copie\n d\'écran et en expliquant tout ce que j\'ai fait.\n \n Ma conclusion, pour le moment, c\'est que c\'est\n clairement un pb d\'encodage, mais que une modif du dao.xml\n n\'y change rien.\n Contrairement au workflow où la modif du dao.xml a\n éliminé les plantages, mais pas l\'affichage erroné des\n données de la base contenant des accents dans les écrans.\n \n Merci pour vos efforts pour me sortir de ce m...dier, car\n le responsable des serveurs de BD compte uniformiser le\n paramétrage des serveurs de test et de prod en mettant les\n parametres character_set_server et collation_server à\n \"latin1\", ce qui fait que je n\'aurais plus aucun serveur qui\n marche. \n \n \n \n \n Françoise Rousseau Schortin \n Ingénieur Direction Informatique \n Université Paris-Sud 11 - 91405 ORSAY \n \n <hr />\n De: \"Francois Jannin\"\n <a class=\"moz-txt-link-rfc2396E\" href=\"mailto:francois.jannin@enseeiht.fr\"><\n <script type=\"text/javascript\" >  </script>></a> \n À: <a class=\"moz-txt-link-abbreviated\" href=\"mailto:ori-oai-utilisateurs@listes.univ-rennes1.fr\">ori-oai-utilisateurs@listes.univ-rennes1.fr</a> \n Envoyé: Vendredi 25 Février 2011 16:22:58 \n Objet: Re: [ori-oai-utilisateurs] erreur harvester \n \n Bonjour, \n \n C\'est clairement un problème d\'encodage, mais normalement, la\n même modification du fichier dao.xml devrait avoir le même effet\n que dans le workflow : \n \n <pre class=\"code-java\"><property name=\"url\">\n <value>${hibernate.connection.url}?emulateLocators=true&amp;useUnicode=true&amp;characterEncoding=utf8&amp;useOldUTF8Behavior=true</value>\n</property>\n</pre>\n \n Avez-vous bien lancé le harvester avec l\'option suivante ?\n <pre class=\"code-java\">CATALINA_OPTS=-Dfile.encoding=UTF-8\n</pre>\n Avez-vous toujours la même exception :\n org.hibernate.util.JDBCExceptionReporter - Incorrect string\n value: \'\\xE9liore...\' for column \'record\' at row 1 ? \n \n François \n \n \n \n Le 18/02/2011 17:01, Françoise Schortin a écrit :\n <div class=\"emailFilter_Author_1\"><blockquote>\n <style>p { margin: 0; }</style>\n <div style=\"font-size: 10pt; color: rgb(102, 51, 255);\n font-family: Arial;\">\n Bonjour,\n \n C\'est à moi de m\'excuser pour le délai de réponse\n ... je n\'ai pas bien surveillé la liste ces temps-ci ! \n La modif que j\'ai faite est celle préconisée par le site\n ori-oai.org :\n <a moz-do-not-send=\"true\"\n href=\"http://www.ori-oai.org/display/ORIOAIworkflow/Encodage\"\n target=\"_blank\">http://www.ori-oai.org/display/ORIOAIworkflow/Encodage</a>\n Merci d\'avance. \n \n Françoise\n <hr />\n De: \"Francois Jannin\" <a moz-do-not-send=\"true\"\n class=\"moz-txt-link-rfc2396E\"\n href=\"mailto:francois.jannin@enseeiht.fr\"\n target=\"_blank\"><\n <script type=\"text/javascript\" >  </script>></a> \n À: <a moz-do-not-send=\"true\"\n class=\"moz-txt-link-abbreviated\"\n href=\"mailto:ori-oai-utilisateurs@listes.univ-rennes1.fr\"\n target=\"_blank\">ori-oai-utilisateurs@listes.univ-rennes1.fr</a> \n Envoyé: Lundi 7 Février 2011 14:12:51 \n Objet: Re: Fwd: [ori-oai-utilisateurs] erreur\n harvester \n \n Bonjour, \n \n Excusez-moi pour le délai de réponse. \n Pouvez-vous détailler quelle modification avait été faite\n dans dao.xml pour le workflow ? \n Ainsi je pourrais vous indiquer comment repercuter cette\n modification pour le harvester. \n \n Cordialement, \n François \n \n \n Le 28/01/2011 12:12, Françoise Schortin a écrit : \n <div class=\"emailFilter_Author_2\"><blockquote>\n <style>p { margin: 0; }</style>\n <div style=\"font-size: 12pt; color: rgb(0, 0, 0);\n font-family: Times New Roman;\">\n Bonjour,\n Excusez moi de relancer la question (cf mes\n mails ci-dessous); mais je n\'ai pas eu de réponse et\n le problème reste entier.\n Pour résumer:\n Mon serveur de BD est configuré en ce qui\n concerne les parametres character_set_server\n et collation_server en\n latin1. Je ne peux rien y faire \n Du coup, le harvester plante.\n Pour le workflow, j\'avais évidemment le meme\n pb, mais il a pu etre contourné en intervenant dans\n le fichier dao.xml\n J\'ai essayé la meme chose dans le harvester,\n mais ca ne marche pas.\n Qq peut il se pencher sur le pb ? \n Merci.\n \n Françoise Rousseau Schortin \n Ingénieur Direction Informatique \n Université Paris-Sud 11 - 91405 ORSAY \n \n \n <hr />\n De: \"Françoise Schortin\" <a\n moz-do-not-send=\"true\" class=\"moz-txt-link-rfc2396E\"\n href=\"mailto:francoise.schortin@u-psud.fr\"\n target=\"_blank\"><\n <script type=\"text/javascript\" >  </script>></a> \n À: <a moz-do-not-send=\"true\"\n class=\"moz-txt-link-abbreviated\"\n href=\"mailto:ori-oai-utilisateurs@listes.univ-rennes1.fr\"\n target=\"_blank\">ori-oai-utilisateurs@listes.univ-rennes1.fr</a> \n Envoyé: Lundi 24 Janvier 2011 18:37:22 \n Objet: Re: [ori-oai-utilisateurs] erreur\n harvester \n \n \n <style>p { margin: 0; }</style>\n <div style=\"font-size: 12pt; color: rgb(0, 0, 0);\n font-family: Times New Roman;\">\n Re-bonjour,\n \n J\'ai fait ce test : j\'ai mis la base\n harvester sur un serveur mysql (de test)\n correctement configuré en ce qui concerne les\n parametres character_set_server et\n collation_server :\n A part toutes ces erreurs \"habituelles\" (pas\n très rassurant qd mme) !) :\n \"24 janv. 2011 18:24:51\n org.apache.catalina.loader.WebappClassLoader\n clearThreadLocalMap \n GRAVE: A web application created a ThreadLocal\n with key of type\n [org.springframework.core.NamedInheritableThreadLocal]\n (value [Request context]) and a value of type\n [null] (value [null]) but failed to remove it\n when the web application was stopped. To prevent\n a memory leak, the ThreadLocal has been forcibly\n removed.\" \n j\'arrive bien à créer une moisson et à lancer\n une récolte ! \n C\'est donc un pb d\'encodage, similaire à celui que\n j\'ai eu pour le workflow. \n Y a t il une possibilité d\'intervenir dans\n hibernate pour pallier à ce pb ? \n Je rappelle que je ne peux pas toucher au\n serveur ... \n Merci pour l\'aide.\n \n Françoise\n <hr />\n De: \"Françoise Schortin\" <a\n moz-do-not-send=\"true\"\n class=\"moz-txt-link-rfc2396E\"\n href=\"mailto:francoise.schortin@u-psud.fr\"\n target=\"_blank\"><\n <script type=\"text/javascript\" >  </script>></a> \n À: <a moz-do-not-send=\"true\"\n class=\"moz-txt-link-abbreviated\"\n href=\"mailto:ori-oai-utilisateurs@listes.univ-rennes1.fr\"\n target=\"_blank\">ori-oai-utilisateurs@listes.univ-rennes1.fr</a> \n Envoyé: Lundi 24 Janvier 2011 18:02:46 \n Objet: Re: [ori-oai-utilisateurs] erreur\n harvester \n \n Bonjour, \n Je me réponds à moi-meme : je galère toujours sur ce\n pb. \n Est ce que ca pourrait être un pb d\'encodage ? \n \n J\'ai eu un pb avec le workflow parce que mon serveur\n mysql (sur lequel je ne peux agir) n\'est pas\n configuré UTF8 en ce qui concerne les parametres\n character_set_server et collation_server \n | character_set_client | latin1 \n | \n | character_set_connection | latin1 \n | \n | character_set_database | utf8 \n | \n | character_set_filesystem | binary \n | \n | character_set_results | latin1 \n | \n | character_set_server | latin1 \n | \n | character_set_system | utf8 \n | \n | character_sets_dir |\n /usr/share/mysql/charsets/ | \n et \n | collation_connection | latin1_swedish_ci | \n | collation_database | utf8_general_ci | \n | collation_server | latin1_swedish_ci | \n \n \n Pour le pb de workflow, Grégoire m\'avait dit de\n modifier le fichier dao.xml, ce que j\'ai fait et qui\n a résolu mon pb. \n Du coup, j\'ai fait la meme chose coté harvester,\n mais ca n\'a pas eu du tout le meme effet bénéfique\n !!! \n \n Françoise \n \n ----- Mail original ----- \n De: \"Françoise Schortin\" <a moz-do-not-send=\"true\"\n class=\"moz-txt-link-rfc2396E\"\n href=\"mailto:francoise.schortin@u-psud.fr\"\n target=\"_blank\"><\n <script type=\"text/javascript\" >  </script>></a> \n À: \"ori-oai-utilisateurs\" <a moz-do-not-send=\"true\"\n class=\"moz-txt-link-rfc2396E\"\n href=\"mailto:ori-oai-utilisateurs@listes.univ-rennes1.fr\"\n target=\"_blank\"><\n <script type=\"text/javascript\" >  </script>></a> \n Envoyé: Vendredi 21 Janvier 2011 12:36:04 \n Objet: [ori-oai-utilisateurs] erreur harvester \n \n Bonjour, \n \n J\'ai une erreur lorsque je lance - pour la première\n fois - une moisson sur le harvester. \n \n Est ce que ca peut etre un pb de memoire tomcat ?\n (je tourne avec les valeurs par defaut 64M, mais\n c\'est la première moisson et la première récolte) \n \n Cette erreur se produit lorsque je déclenche la\n récolte (l\'erreur d\'avant n\'est peut etre pas à\n prendre en compte car j\'ai voulu réafficher la page\n sur laquelle j\'étais avant de faire le stop, ant\n init avec init de la BD, ant all, et start du\n harvester) \n \n oriharvester: 112731\n org.hibernate.util.JDBCExceptionReporter.logExceptions(JDBCExceptionReporter.java:101)\n - Incorrect string value: \'\\xE9liore...\' for column\n \'record\' at row 1 \n 112731 [Thread-39] ERROR\n org.hibernate.util.JDBCExceptionReporter -\n Incorrect string value: \'\\xE9liore...\' for column\n \'record\' at row 1 \n oriharvester: 112736\n org.hibernate.event.def.AbstractFlushingEventListener.performExecutions(AbstractFlushingEventListener.java:324)\n - Could not synchronize database state with session \n org.hibernate.exception.GenericJDBCException: Could\n not execute JDBC batch update \n at\norg.hibernate.exception.SQLStateConverter.handledNonSpecificException(SQLStateConverter.java:126) \n at\norg.hibernate.exception.SQLStateConverter.convert(SQLStateConverter.java:114) \n \n Merci pour votre aide. \n Françoise. \n \n PJ : le catalina.out \n \n Françoise Rousseau Schortin \n Ingénieur Direction Informatique \n Université Paris-Sud 11 - 91405 ORSAY \n \n \n </div>\n </div>\n </blockquote></div>\n </div>\n </blockquote></div>\n </div>\n </blockquote></div></div>\n \n <pre class=\"moz-signature\" cols=\"72\">-- \nCordialement.\n\n\nFrançois Lefebvre\nBibliothèque Universitaire de Lille 1\nCité Scientifique - B.P. 30155\n59653 VILLENEUVE D\'ASCQ CEDEX\nTél.: 03.20.33.60.73</pre>\n </body>\n</html>\n</div>', created = 1507752571, expire = 1507838971, headers = '', serialized = 0 WHERE cid = '4:8638711bf0eb24d861af17135412f990' in /home/ori-oai/drupal/drupal-6.34/includes/cache.inc on line 112.
user warning: Table './drupal_www_ori_oai_org/cache_filter' is marked as crashed and last (automatic?) repair failed query: SELECT data, created, headers, expire, serialized FROM cache_filter WHERE cid = '4:42111d0b0e884f49f1ccf5bbf2814440' in /home/ori-oai/drupal/drupal-6.34/includes/cache.inc on line 27.
user warning: Table './drupal_www_ori_oai_org/cache_filter' is marked as crashed and last (automatic?) repair failed query: UPDATE cache_filter SET data = '<div class=\"emailFilter\"><html><head><style type=\'text/css\'>p { margin: 0; }</style></head><body><div style=\'font-family: Arial; font-size: 10pt; color: #6633FF\'>\nBonjour François,\n \nJe reviens vers toi pour ce pb.\nComme j\'ai un pb similaire dans le workflow, mais qui ne se manifeste pas de manière aussi violente (pas de plantage une fois le dao.xml modifié), je mets Yohan en copie car il est en train d\'y regarder pour la partie workflow.\n \nJe viens de mener un test sur le harvester avec :\n- le dao modifié comme dans le workflow => plantage\n- le dao d\'origine => plantage\nJ\'ai récupéré les logs dans les 2 cas, je les joins, mais je suppose qu\'ils ne sont pas trop explicites\nJ\'ai récapitulé ma manip sur un .doc avec copie d\'écran et en expliquant tout ce que j\'ai fait.\n \nMa conclusion, pour le moment, c\'est que c\'est clairement un pb d\'encodage, mais que une modif du dao.xml n\'y change rien.\nContrairement au workflow où la modif du dao.xml a éliminé les plantages, mais pas l\'affichage erroné des données de la base contenant des accents dans les écrans.\n \nMerci pour vos efforts pour me sortir de ce m...dier, car le responsable des serveurs de BD compte uniformiser le paramétrage des serveurs de test et de prod en mettant les parametres character_set_server et collation_server à \"latin1\", ce qui fait que je n\'aurais plus aucun serveur qui marche. Françoise Rousseau Schortin Ingénieur Direction Informatique Université Paris-Sud 11 - 91405 ORSAY \n<hr />\nDe: \"Francois Jannin\" <\n <script type=\"text/javascript\" >  </script>> À: \n <script type=\"text/javascript\" >  </script> Envoyé: Vendredi 25 Février 2011 16:22:58 Objet: Re: [ori-oai-utilisateurs] erreur harvester Bonjour, C\'est clairement un problème d\'encodage, mais normalement, la même modification du fichier dao.xml devrait avoir le même effet que dans le workflow : <PRE class=code-java><property name=\"url\">\n <value>${hibernate.connection.url}?emulateLocators=true&amp;useUnicode=true&amp;characterEncoding=utf8&amp;useOldUTF8Behavior=true</value>\n</property>\n</PRE> Avez-vous bien lancé le harvester avec l\'option suivante ? <PRE class=code-java>CATALINA_OPTS=-Dfile.encoding=UTF-8\n</PRE>Avez-vous toujours la même exception : org.hibernate.util.JDBCExceptionReporter  - Incorrect string value: \'\\xE9liore...\' for column \'record\' at row 1 ? François Le 18/02/2011 17:01, Françoise Schortin a écrit : \n<div class=\"emailFilter_Toggle\"><div class=\"emailFilter_Author_0\"><BLOCKQUOTE cite=\"#\">\n<STYLE>p { margin: 0; }</STYLE>\n\n<DIV style=\"FONT-SIZE: 10pt; COLOR: rgb(102,51,255); FONT-FAMILY: Arial\">\nBonjour,\n \nC\'est à moi de m\'excuser pour le délai de réponse ... je n\'ai pas bien surveillé la liste ces temps-ci ! La modif que j\'ai faite est celle préconisée par le site ori-oai.org :\n<A href=\"http://www.ori-oai.org/display/ORIOAIworkflow/Encodage\" target=_blank>http://www.ori-oai.org/display/ORIOAIworkflow/Encodage</A>\nMerci d\'avance. Françoise\n\n<hr />\n\nDe: \"Francois Jannin\" <A class=moz-txt-link-rfc2396E href=\"mailto:francois.jannin@enseeiht.fr\" target=_blank><\n <script type=\"text/javascript\" >  </script>></A> À: <A class=moz-txt-link-abbreviated href=\"mailto:ori-oai-utilisateurs@listes.univ-rennes1.fr\" target=_blank>ori-oai-utilisateurs@listes.univ-rennes1.fr</A> Envoyé: Lundi 7 Février 2011 14:12:51 Objet: Re: Fwd: [ori-oai-utilisateurs] erreur harvester Bonjour, Excusez-moi pour le délai de réponse. Pouvez-vous détailler quelle modification avait été faite dans dao.xml pour le workflow ? Ainsi je pourrais vous indiquer comment repercuter cette modification pour le harvester. Cordialement, François Le 28/01/2011 12:12, Françoise Schortin a écrit : \n<div class=\"emailFilter_Author_1\"><BLOCKQUOTE cite=\"#\">\n<STYLE>p { margin: 0; }</STYLE>\n\n<DIV style=\"FONT-SIZE: 12pt; COLOR: rgb(0,0,0); FONT-FAMILY: Times New Roman\">\nBonjour,\nExcusez moi de relancer la question (cf mes mails ci-dessous); mais je n\'ai pas eu de réponse et le problème reste entier.\nPour résumer:\nMon serveur de BD est configuré en ce qui concerne les parametres character_set_server et collation_server en latin1. Je ne peux rien y faire Du coup, le harvester plante.\nPour le workflow, j\'avais évidemment le meme pb, mais il a pu etre contourné en intervenant dans le fichier dao.xml\nJ\'ai essayé la meme chose dans le harvester, mais ca ne marche pas.\nQq peut il se pencher sur le pb ? \nMerci.\n Françoise Rousseau Schortin Ingénieur Direction Informatique Université Paris-Sud 11 - 91405 ORSAY \n<hr />\n\nDe: \"Françoise Schortin\" <A class=moz-txt-link-rfc2396E href=\"mailto:francoise.schortin@u-psud.fr\" target=_blank><\n <script type=\"text/javascript\" >  </script>></A> À: <A class=moz-txt-link-abbreviated href=\"mailto:ori-oai-utilisateurs@listes.univ-rennes1.fr\" target=_blank>ori-oai-utilisateurs@listes.univ-rennes1.fr</A> Envoyé: Lundi 24 Janvier 2011 18:37:22 Objet: Re: [ori-oai-utilisateurs] erreur harvester \n<STYLE>p { margin: 0; }</STYLE>\n\n<DIV style=\"FONT-SIZE: 12pt; COLOR: rgb(0,0,0); FONT-FAMILY: Times New Roman\">\nRe-bonjour,\n \nJ\'ai fait ce test : j\'ai mis la base harvester sur un serveur mysql (de test) correctement configuré en ce qui concerne les parametres character_set_server et collation_server :\nA part toutes ces erreurs  \"habituelles\" (pas très rassurant qd mme) !) :\n\"24 janv. 2011 18:24:51 org.apache.catalina.loader.WebappClassLoader clearThreadLocalMap GRAVE: A web application created a ThreadLocal with key of type [org.springframework.core.NamedInheritableThreadLocal] (value [Request context]) and a value of type [null] (value [null]) but failed to remove it when the web application was stopped. To prevent a memory leak, the ThreadLocal has been forcibly removed.\" j\'arrive bien à créer une moisson et à lancer une récolte ! C\'est donc un pb d\'encodage, similaire à celui que j\'ai eu pour le workflow. Y a t il une possibilité d\'intervenir dans hibernate pour pallier à ce pb ? \nJe rappelle que je ne peux pas toucher au serveur ... Merci pour l\'aide.\n Françoise\n<hr />\n\nDe: \"Françoise Schortin\" <A class=moz-txt-link-rfc2396E href=\"mailto:francoise.schortin@u-psud.fr\" target=_blank><\n <script type=\"text/javascript\" >  </script>></A> À: <A class=moz-txt-link-abbreviated href=\"mailto:ori-oai-utilisateurs@listes.univ-rennes1.fr\" target=_blank>ori-oai-utilisateurs@listes.univ-rennes1.fr</A> Envoyé: Lundi 24 Janvier 2011 18:02:46 Objet: Re: [ori-oai-utilisateurs] erreur harvester Bonjour, Je me réponds à moi-meme : je galère toujours sur ce pb. Est ce que ca pourrait être un pb d\'encodage ? J\'ai eu un pb avec le workflow parce que mon serveur mysql (sur lequel je ne peux agir) n\'est pas configuré UTF8 en ce qui concerne les parametres character_set_server et collation_server | character_set_client     | latin1                     | | character_set_connection | latin1                     | | character_set_database   | utf8                       | | character_set_filesystem | binary                     | | character_set_results    | latin1                     | | character_set_server     | latin1                     | | character_set_system     | utf8                       | | character_sets_dir       | /usr/share/mysql/charsets/ | et | collation_connection | latin1_swedish_ci | | collation_database   | utf8_general_ci   | | collation_server     | latin1_swedish_ci | Pour le pb de workflow, Grégoire m\'avait dit de modifier le fichier dao.xml, ce que j\'ai fait et qui a résolu mon pb. Du coup, j\'ai fait la meme chose coté harvester, mais ca n\'a pas eu du tout le meme effet bénéfique !!! Françoise ----- Mail original ----- De: \"Françoise Schortin\" <A class=moz-txt-link-rfc2396E href=\"mailto:francoise.schortin@u-psud.fr\" target=_blank><\n <script type=\"text/javascript\" >  </script>></A> À: \"ori-oai-utilisateurs\" <A class=moz-txt-link-rfc2396E href=\"mailto:ori-oai-utilisateurs@listes.univ-rennes1.fr\" target=_blank><\n <script type=\"text/javascript\" >  </script>></A> Envoyé: Vendredi 21 Janvier 2011 12:36:04 Objet: [ori-oai-utilisateurs] erreur harvester Bonjour, J\'ai une erreur lorsque je lance - pour la première fois - une moisson sur le harvester. Est ce que ca peut etre un pb de memoire tomcat ? (je tourne avec les valeurs par defaut 64M, mais c\'est la première moisson et la première récolte) Cette erreur se produit lorsque je déclenche la récolte (l\'erreur d\'avant n\'est peut etre pas à prendre en compte car j\'ai voulu réafficher la page sur laquelle j\'étais avant de faire le stop, ant init avec init de la BD, ant all, et start du harvester) oriharvester: 112731 org.hibernate.util.JDBCExceptionReporter.logExceptions(JDBCExceptionReporter.java:101)  - Incorrect string value: \'\\xE9liore...\' for column \'record\' at row 1  112731 [Thread-39] ERROR org.hibernate.util.JDBCExceptionReporter  - Incorrect string value: \'\\xE9liore...\' for column \'record\' at row 1 oriharvester: 112736 org.hibernate.event.def.AbstractFlushingEventListener.performExecutions(AbstractFlushingEventListener.java:324)  - Could not synchronize database state with session  org.hibernate.exception.GenericJDBCException: Could not execute JDBC batch update         at org.hibernate.exception.SQLStateConverter.handledNonSpecificException(SQLStateConverter.java:126)         at org.hibernate.exception.SQLStateConverter.convert(SQLStateConverter.java:114) Merci pour votre aide. Françoise. PJ : le catalina.out Françoise Rousseau Schortin Ingénieur Direction Informatique Université Paris-Sud 11 - 91405 ORSAY </DIV></DIV></BLOCKQUOTE></div></DIV></BLOCKQUOTE></div></div></div></body></html></div>', created = 1507752571, expire = 1507838971, headers = '', serialized = 0 WHERE cid = '4:42111d0b0e884f49f1ccf5bbf2814440' in /home/ori-oai/drupal/drupal-6.34/includes/cache.inc on line 112.

4 messages / 0 nouveaux

Sujet clos

22 mars 2011 - 2:12pm

francoislefebvre

erreur harvester pb encodage

Ravi que ca te plaise :)

De rien, la communauté est là pour ça :)

Bon courage.

Le 21/03/2011 19:28, Françoise Schortin a écrit :

François, tu es merveilleux ................................

Avec ta botte magique, ca marche !!!! du moins pour le harvester.

j'ignorais totalement qu'on puisse mettre des paramètres derriere cette url !

j'ai essayé à tout hasard, sans y croire, et ca marche !

Et en plus je ne m'adressais pas à toi, mais à François Jannin

Merci, merci, merci, 3xmerci de m'avoir répondu (ca fait un certain temps que ca dure ce pb)

Françoise

PS : Yohan, ca ne marche pas pour le workflow ... sniff

De: "françois lefebvre" < >
À: ori-oai-utilisateurs@listes.univ-rennes1.fr
Envoyé: Lundi 21 Mars 2011 08:38:16
Objet: Re: [ori-oai-utilisateurs] erreur harvester pb encodage

Bonjour Françoise,

Je viens de définir une moisson UNIT.
Je n'ai pas de problème d'encodage :

">

As tu spécifié l'encodage dans le common.parameters.properties ?

HARVESTER_SQL_CONNECTION_URL=jdbc:mysql://localhost/harvester?characterEncoding=utf8

WORKFLOW_SQL_CONNECTION_URL=jdbc:mysql://localhost:3306/orioaiworkflow?characterEncoding=utf8&

Bon courage.

Le 18/03/2011 15:47, Françoise Schortin a écrit :
Bonjour François,

Je reviens vers toi pour ce pb.

Comme j'ai un pb similaire dans le workflow, mais qui ne se manifeste pas de manière aussi violente (pas de plantage une fois le dao.xml modifié), je mets Yohan en copie car il est en train d'y regarder pour la partie workflow.

Je viens de mener un test sur le harvester avec :

- le dao modifié comme dans le workflow => plantage

- le dao d'origine => plantage

J'ai récupéré les logs dans les 2 cas, je les joins, mais je suppose qu'ils ne sont pas trop explicites

J'ai récapitulé ma manip sur un .doc avec copie d'écran et en expliquant tout ce que j'ai fait.

Ma conclusion, pour le moment, c'est que c'est clairement un pb d'encodage, mais que une modif du dao.xml n'y change rien.

Contrairement au workflow où la modif du dao.xml a éliminé les plantages, mais pas l'affichage erroné des données de la base contenant des accents dans les écrans.

Merci pour vos efforts pour me sortir de ce m...dier, car le responsable des serveurs de BD compte uniformiser le paramétrage des serveurs de test et de prod en mettant les parametres character_set_server et collation_server à "latin1", ce qui fait que je n'aurais plus aucun serveur qui marche.

Françoise Rousseau Schortin
Ingénieur Direction Informatique
Université Paris-Sud 11 - 91405 ORSAY

De: "Francois Jannin" < >
À: ori-oai-utilisateurs@listes.univ-rennes1.fr
Envoyé: Vendredi 25 Février 2011 16:22:58
Objet: Re: [ori-oai-utilisateurs] erreur harvester

Bonjour,

C'est clairement un problème d'encodage, mais normalement, la même modification du fichier dao.xml devrait avoir le même effet que dans le workflow :
<property name="url">
 <value>${hibernate.connection.url}?emulateLocators=true&amp;useUnicode=true&amp;characterEncoding=utf8&amp;useOldUTF8Behavior=true</value>
</property>
Avez-vous bien lancé le harvester avec l'option suivante ?
CATALINA_OPTS=-Dfile.encoding=UTF-8
Avez-vous toujours la même exception : org.hibernate.util.JDBCExceptionReporter - Incorrect string value: '\xE9liore...' for column 'record' at row 1 ?

François

Le 18/02/2011 17:01, Françoise Schortin a écrit :

Bonjour,

C'est à moi de m'excuser pour le délai de réponse ... je n'ai pas bien surveillé la liste ces temps-ci !
La modif que j'ai faite est celle préconisée par le site ori-oai.org :

http://www.ori-oai.org/display/ORIOAIworkflow/Encodage

Merci d'avance.

Françoise

De: "Francois Jannin" < >
À: ori-oai-utilisateurs@listes.univ-rennes1.fr
Envoyé: Lundi 7 Février 2011 14:12:51
Objet: Re: Fwd: [ori-oai-utilisateurs] erreur harvester

Bonjour,

Excusez-moi pour le délai de réponse.
Pouvez-vous détailler quelle modification avait été faite dans dao.xml pour le workflow ?
Ainsi je pourrais vous indiquer comment repercuter cette modification pour le harvester.

Cordialement,
François

Le 28/01/2011 12:12, Françoise Schortin a écrit :

Bonjour,

Excusez moi de relancer la question (cf mes mails ci-dessous); mais je n'ai pas eu de réponse et le problème reste entier.

Pour résumer:

Mon serveur de BD est configuré en ce qui concerne les parametres character_set_server et collation_server en latin1. Je ne peux rien y faire
Du coup, le harvester plante.

Pour le workflow, j'avais évidemment le meme pb, mais il a pu etre contourné en intervenant dans le fichier dao.xml

J'ai essayé la meme chose dans le harvester, mais ca ne marche pas.

Qq peut il se pencher sur le pb ?

Merci.

Françoise Rousseau Schortin
Ingénieur Direction Informatique
Université Paris-Sud 11 - 91405 ORSAY

De: "Françoise Schortin" < >
À: ori-oai-utilisateurs@listes.univ-rennes1.fr
Envoyé: Lundi 24 Janvier 2011 18:37:22
Objet: Re: [ori-oai-utilisateurs] erreur harvester

Re-bonjour,

J'ai fait ce test : j'ai mis la base harvester sur un serveur mysql (de test) correctement configuré en ce qui concerne les parametres character_set_server et collation_server :

A part toutes ces erreurs "habituelles" (pas très rassurant qd mme) !) :

"24 janv. 2011 18:24:51 org.apache.catalina.loader.WebappClassLoader clearThreadLocalMap
GRAVE: A web application created a ThreadLocal with key of type [org.springframework.core.NamedInheritableThreadLocal] (value [Request context]) and a value of type [null] (value [null]) but failed to remove it when the web application was stopped. To prevent a memory leak, the ThreadLocal has been forcibly removed."
j'arrive bien à créer une moisson et à lancer une récolte !
C'est donc un pb d'encodage, similaire à celui que j'ai eu pour le workflow.
Y a t il une possibilité d'intervenir dans hibernate pour pallier à ce pb ?

Je rappelle que je ne peux pas toucher au serveur ...
Merci pour l'aide.

Françoise

De: "Françoise Schortin" < >
À: ori-oai-utilisateurs@listes.univ-rennes1.fr
Envoyé: Lundi 24 Janvier 2011 18:02:46
Objet: Re: [ori-oai-utilisateurs] erreur harvester

Bonjour,
Je me réponds à moi-meme : je galère toujours sur ce pb.
Est ce que ca pourrait être un pb d'encodage ?

J'ai eu un pb avec le workflow parce que mon serveur mysql (sur lequel je ne peux agir) n'est pas configuré UTF8 en ce qui concerne les parametres character_set_server et collation_server
| character_set_client | latin1 |
| character_set_connection | latin1 |
| character_set_database | utf8 |
| character_set_filesystem | binary |
| character_set_results | latin1 |
| character_set_server | latin1 |
| character_set_system | utf8 |
| character_sets_dir | /usr/share/mysql/charsets/ |
et
| collation_connection | latin1_swedish_ci |
| collation_database | utf8_general_ci |
| collation_server | latin1_swedish_ci |

Pour le pb de workflow, Grégoire m'avait dit de modifier le fichier dao.xml, ce que j'ai fait et qui a résolu mon pb.
Du coup, j'ai fait la meme chose coté harvester, mais ca n'a pas eu du tout le meme effet bénéfique !!!

Françoise

----- Mail original -----
De: "Françoise Schortin" < >
À: "ori-oai-utilisateurs" < >
Envoyé: Vendredi 21 Janvier 2011 12:36:04
Objet: [ori-oai-utilisateurs] erreur harvester

Bonjour,

J'ai une erreur lorsque je lance - pour la première fois - une moisson sur le harvester.

Est ce que ca peut etre un pb de memoire tomcat ? (je tourne avec les valeurs par defaut 64M, mais c'est la première moisson et la première récolte)

Cette erreur se produit lorsque je déclenche la récolte (l'erreur d'avant n'est peut etre pas à prendre en compte car j'ai voulu réafficher la page sur laquelle j'étais avant de faire le stop, ant init avec init de la BD, ant all, et start du harvester)

oriharvester: 112731 org.hibernate.util.JDBCExceptionReporter.logExceptions(JDBCExceptionReporter.java:101) - Incorrect string value: '\xE9liore...' for column 'record' at row 1
112731 [Thread-39] ERROR org.hibernate.util.JDBCExceptionReporter - Incorrect string value: '\xE9liore...' for column 'record' at row 1
oriharvester: 112736 org.hibernate.event.def.AbstractFlushingEventListener.performExecutions(AbstractFlushingEventListener.java:324) - Could not synchronize database state with session
org.hibernate.exception.GenericJDBCException: Could not execute JDBC batch update
at org.hibernate.exception.SQLStateConverter.handledNonSpecificException(SQLStateConverter.java:126)
at org.hibernate.exception.SQLStateConverter.convert(SQLStateConverter.java:114)

Merci pour votre aide.
Françoise.

PJ : le catalina.out

Françoise Rousseau Schortin
Ingénieur Direction Informatique
Université Paris-Sud 11 - 91405 ORSAY
-- 
Cordialement.


François Lefebvre
Bibliothèque Universitaire de Lille 1
Cité Scientifique - B.P. 30155
59653 VILLENEUVE D'ASCQ CEDEX
Tél.: 03.20.33.60.73

-- 
Cordialement.


François Lefebvre
Bibliothèque Universitaire de Lille 1
Cité Scientifique - B.P. 30155
59653 VILLENEUVE D'ASCQ CEDEX
Tél.: 03.20.33.60.73

21 mars 2011 - 7:28pm

francoise.schortin

François, tu es merveilleux ................................

Avec ta botte magique, ca marche !!!! du moins pour le harvester.

j'ignorais totalement qu'on puisse mettre des paramètres derriere cette url !

j'ai essayé à tout hasard, sans y croire, et ca marche !

Et en plus je ne m'adressais pas à toi, mais à François Jannin

Merci, merci, merci, 3xmerci de m'avoir répondu (ca fait un certain temps que ca dure ce pb)

Françoise

PS : Yohan, ca ne marche pas pour le workflow ... sniff

De: "françois lefebvre" < >
À:
Envoyé: Lundi 21 Mars 2011 08:38:16
Objet: Re: [ori-oai-utilisateurs] erreur harvester pb encodage

Bonjour Françoise,

Je viens de définir une moisson UNIT.
Je n'ai pas de problème d'encodage :

">

As tu spécifié l'encodage dans le common.parameters.properties ?

HARVESTER_SQL_CONNECTION_URL=jdbc:mysql://localhost/harvester?characterEncoding=utf8

WORKFLOW_SQL_CONNECTION_URL=jdbc:mysql://localhost:3306/orioaiworkflow?characterEncoding=utf8&

Bon courage.

Le 18/03/2011 15:47, Françoise Schortin a écrit :

Bonjour François,

Je reviens vers toi pour ce pb.

Comme j'ai un pb similaire dans le workflow, mais qui ne se manifeste pas de manière aussi violente (pas de plantage une fois le dao.xml modifié), je mets Yohan en copie car il est en train d'y regarder pour la partie workflow.

Je viens de mener un test sur le harvester avec :

- le dao modifié comme dans le workflow => plantage

- le dao d'origine => plantage

J'ai récupéré les logs dans les 2 cas, je les joins, mais je suppose qu'ils ne sont pas trop explicites

J'ai récapitulé ma manip sur un .doc avec copie d'écran et en expliquant tout ce que j'ai fait.

Ma conclusion, pour le moment, c'est que c'est clairement un pb d'encodage, mais que une modif du dao.xml n'y change rien.

Contrairement au workflow où la modif du dao.xml a éliminé les plantages, mais pas l'affichage erroné des données de la base contenant des accents dans les écrans.

Merci pour vos efforts pour me sortir de ce m...dier, car le responsable des serveurs de BD compte uniformiser le paramétrage des serveurs de test et de prod en mettant les parametres character_set_server et collation_server à "latin1", ce qui fait que je n'aurais plus aucun serveur qui marche.

Françoise Rousseau Schortin
Ingénieur Direction Informatique
Université Paris-Sud 11 - 91405 ORSAY

De: "Francois Jannin" < >
À: ori-oai-utilisateurs@listes.univ-rennes1.fr
Envoyé: Vendredi 25 Février 2011 16:22:58
Objet: Re: [ori-oai-utilisateurs] erreur harvester

Bonjour,

C'est clairement un problème d'encodage, mais normalement, la même modification du fichier dao.xml devrait avoir le même effet que dans le workflow :
<property name="url">
 <value>${hibernate.connection.url}?emulateLocators=true&amp;useUnicode=true&amp;characterEncoding=utf8&amp;useOldUTF8Behavior=true</value>
</property>
Avez-vous bien lancé le harvester avec l'option suivante ?
CATALINA_OPTS=-Dfile.encoding=UTF-8
Avez-vous toujours la même exception : org.hibernate.util.JDBCExceptionReporter - Incorrect string value: '\xE9liore...' for column 'record' at row 1 ?

François

Le 18/02/2011 17:01, Françoise Schortin a écrit :

Bonjour,

C'est à moi de m'excuser pour le délai de réponse ... je n'ai pas bien surveillé la liste ces temps-ci !
La modif que j'ai faite est celle préconisée par le site ori-oai.org :

http://www.ori-oai.org/display/ORIOAIworkflow/Encodage

Merci d'avance.

Françoise

De: "Francois Jannin" < >
À: ori-oai-utilisateurs@listes.univ-rennes1.fr
Envoyé: Lundi 7 Février 2011 14:12:51
Objet: Re: Fwd: [ori-oai-utilisateurs] erreur harvester

Bonjour,

Excusez-moi pour le délai de réponse.
Pouvez-vous détailler quelle modification avait été faite dans dao.xml pour le workflow ?
Ainsi je pourrais vous indiquer comment repercuter cette modification pour le harvester.

Cordialement,
François

Le 28/01/2011 12:12, Françoise Schortin a écrit :

Bonjour,

Excusez moi de relancer la question (cf mes mails ci-dessous); mais je n'ai pas eu de réponse et le problème reste entier.

Pour résumer:

Mon serveur de BD est configuré en ce qui concerne les parametres character_set_server et collation_server en latin1. Je ne peux rien y faire
Du coup, le harvester plante.

Pour le workflow, j'avais évidemment le meme pb, mais il a pu etre contourné en intervenant dans le fichier dao.xml

J'ai essayé la meme chose dans le harvester, mais ca ne marche pas.

Qq peut il se pencher sur le pb ?

Merci.

Françoise Rousseau Schortin
Ingénieur Direction Informatique
Université Paris-Sud 11 - 91405 ORSAY

De: "Françoise Schortin" < >
À: ori-oai-utilisateurs@listes.univ-rennes1.fr
Envoyé: Lundi 24 Janvier 2011 18:37:22
Objet: Re: [ori-oai-utilisateurs] erreur harvester

Re-bonjour,

J'ai fait ce test : j'ai mis la base harvester sur un serveur mysql (de test) correctement configuré en ce qui concerne les parametres character_set_server et collation_server :

A part toutes ces erreurs "habituelles" (pas très rassurant qd mme) !) :

"24 janv. 2011 18:24:51 org.apache.catalina.loader.WebappClassLoader clearThreadLocalMap
GRAVE: A web application created a ThreadLocal with key of type [org.springframework.core.NamedInheritableThreadLocal] (value [Request context]) and a value of type [null] (value [null]) but failed to remove it when the web application was stopped. To prevent a memory leak, the ThreadLocal has been forcibly removed."
j'arrive bien à créer une moisson et à lancer une récolte !
C'est donc un pb d'encodage, similaire à celui que j'ai eu pour le workflow.
Y a t il une possibilité d'intervenir dans hibernate pour pallier à ce pb ?

Je rappelle que je ne peux pas toucher au serveur ...
Merci pour l'aide.

Françoise

De: "Françoise Schortin" < >
À: ori-oai-utilisateurs@listes.univ-rennes1.fr
Envoyé: Lundi 24 Janvier 2011 18:02:46
Objet: Re: [ori-oai-utilisateurs] erreur harvester

Bonjour,
Je me réponds à moi-meme : je galère toujours sur ce pb.
Est ce que ca pourrait être un pb d'encodage ?

J'ai eu un pb avec le workflow parce que mon serveur mysql (sur lequel je ne peux agir) n'est pas configuré UTF8 en ce qui concerne les parametres character_set_server et collation_server
| character_set_client | latin1 |
| character_set_connection | latin1 |
| character_set_database | utf8 |
| character_set_filesystem | binary |
| character_set_results | latin1 |
| character_set_server | latin1 |
| character_set_system | utf8 |
| character_sets_dir | /usr/share/mysql/charsets/ |
et
| collation_connection | latin1_swedish_ci |
| collation_database | utf8_general_ci |
| collation_server | latin1_swedish_ci |

Pour le pb de workflow, Grégoire m'avait dit de modifier le fichier dao.xml, ce que j'ai fait et qui a résolu mon pb.
Du coup, j'ai fait la meme chose coté harvester, mais ca n'a pas eu du tout le meme effet bénéfique !!!

Françoise

----- Mail original -----
De: "Françoise Schortin" < >
À: "ori-oai-utilisateurs" < >
Envoyé: Vendredi 21 Janvier 2011 12:36:04
Objet: [ori-oai-utilisateurs] erreur harvester

Bonjour,

J'ai une erreur lorsque je lance - pour la première fois - une moisson sur le harvester.

Est ce que ca peut etre un pb de memoire tomcat ? (je tourne avec les valeurs par defaut 64M, mais c'est la première moisson et la première récolte)

Cette erreur se produit lorsque je déclenche la récolte (l'erreur d'avant n'est peut etre pas à prendre en compte car j'ai voulu réafficher la page sur laquelle j'étais avant de faire le stop, ant init avec init de la BD, ant all, et start du harvester)

oriharvester: 112731 org.hibernate.util.JDBCExceptionReporter.logExceptions(JDBCExceptionReporter.java:101) - Incorrect string value: '\xE9liore...' for column 'record' at row 1
112731 [Thread-39] ERROR org.hibernate.util.JDBCExceptionReporter - Incorrect string value: '\xE9liore...' for column 'record' at row 1
oriharvester: 112736 org.hibernate.event.def.AbstractFlushingEventListener.performExecutions(AbstractFlushingEventListener.java:324) - Could not synchronize database state with session
org.hibernate.exception.GenericJDBCException: Could not execute JDBC batch update
at org.hibernate.exception.SQLStateConverter.handledNonSpecificException(SQLStateConverter.java:126)
at org.hibernate.exception.SQLStateConverter.convert(SQLStateConverter.java:114)

Merci pour votre aide.
Françoise.

PJ : le catalina.out

Françoise Rousseau Schortin
Ingénieur Direction Informatique
Université Paris-Sud 11 - 91405 ORSAY

-- 
Cordialement.


François Lefebvre
Bibliothèque Universitaire de Lille 1
Cité Scientifique - B.P. 30155
59653 VILLENEUVE D'ASCQ CEDEX
Tél.: 03.20.33.60.73

21 mars 2011 - 8:38am

(Répondre à #2) #3

francoislefebvre

Bonjour Françoise,

Je viens de définir une moisson UNIT.
Je n'ai pas de problème d'encodage :

As tu spécifié l'encodage dans le common.parameters.properties ?

HARVESTER_SQL_CONNECTION_URL=jdbc:mysql://localhost/harvester?characterEncoding=utf8

WORKFLOW_SQL_CONNECTION_URL=jdbc:mysql://localhost:3306/orioaiworkflow?characterEncoding=utf8&

Bon courage.

Le 18/03/2011 15:47, Françoise Schortin a écrit :

Bonjour François,

Je reviens vers toi pour ce pb.

Comme j'ai un pb similaire dans le workflow, mais qui ne se manifeste pas de manière aussi violente (pas de plantage une fois le dao.xml modifié), je mets Yohan en copie car il est en train d'y regarder pour la partie workflow.

Je viens de mener un test sur le harvester avec :

- le dao modifié comme dans le workflow => plantage

- le dao d'origine => plantage

J'ai récupéré les logs dans les 2 cas, je les joins, mais je suppose qu'ils ne sont pas trop explicites

J'ai récapitulé ma manip sur un .doc avec copie d'écran et en expliquant tout ce que j'ai fait.

Ma conclusion, pour le moment, c'est que c'est clairement un pb d'encodage, mais que une modif du dao.xml n'y change rien.

Contrairement au workflow où la modif du dao.xml a éliminé les plantages, mais pas l'affichage erroné des données de la base contenant des accents dans les écrans.

Merci pour vos efforts pour me sortir de ce m...dier, car le responsable des serveurs de BD compte uniformiser le paramétrage des serveurs de test et de prod en mettant les parametres character_set_server et collation_server à "latin1", ce qui fait que je n'aurais plus aucun serveur qui marche.

Françoise Rousseau Schortin
Ingénieur Direction Informatique
Université Paris-Sud 11 - 91405 ORSAY

De: "Francois Jannin" < >
À: ori-oai-utilisateurs@listes.univ-rennes1.fr
Envoyé: Vendredi 25 Février 2011 16:22:58
Objet: Re: [ori-oai-utilisateurs] erreur harvester

Bonjour,

C'est clairement un problème d'encodage, mais normalement, la même modification du fichier dao.xml devrait avoir le même effet que dans le workflow :
<property name="url">
 <value>${hibernate.connection.url}?emulateLocators=true&amp;useUnicode=true&amp;characterEncoding=utf8&amp;useOldUTF8Behavior=true</value>
</property>
Avez-vous bien lancé le harvester avec l'option suivante ?
CATALINA_OPTS=-Dfile.encoding=UTF-8
Avez-vous toujours la même exception : org.hibernate.util.JDBCExceptionReporter - Incorrect string value: '\xE9liore...' for column 'record' at row 1 ?

François

Le 18/02/2011 17:01, Françoise Schortin a écrit :

Bonjour,

C'est à moi de m'excuser pour le délai de réponse ... je n'ai pas bien surveillé la liste ces temps-ci !
La modif que j'ai faite est celle préconisée par le site ori-oai.org :

http://www.ori-oai.org/display/ORIOAIworkflow/Encodage

Merci d'avance.

Françoise

De: "Francois Jannin" < >
À: ori-oai-utilisateurs@listes.univ-rennes1.fr
Envoyé: Lundi 7 Février 2011 14:12:51
Objet: Re: Fwd: [ori-oai-utilisateurs] erreur harvester

Bonjour,

Excusez-moi pour le délai de réponse.
Pouvez-vous détailler quelle modification avait été faite dans dao.xml pour le workflow ?
Ainsi je pourrais vous indiquer comment repercuter cette modification pour le harvester.

Cordialement,
François

Le 28/01/2011 12:12, Françoise Schortin a écrit :

Bonjour,

Excusez moi de relancer la question (cf mes mails ci-dessous); mais je n'ai pas eu de réponse et le problème reste entier.

Pour résumer:

Mon serveur de BD est configuré en ce qui concerne les parametres character_set_server et collation_server en latin1. Je ne peux rien y faire
Du coup, le harvester plante.

Pour le workflow, j'avais évidemment le meme pb, mais il a pu etre contourné en intervenant dans le fichier dao.xml

J'ai essayé la meme chose dans le harvester, mais ca ne marche pas.

Qq peut il se pencher sur le pb ?

Merci.

Françoise Rousseau Schortin
Ingénieur Direction Informatique
Université Paris-Sud 11 - 91405 ORSAY

De: "Françoise Schortin" < >
À: ori-oai-utilisateurs@listes.univ-rennes1.fr
Envoyé: Lundi 24 Janvier 2011 18:37:22
Objet: Re: [ori-oai-utilisateurs] erreur harvester

Re-bonjour,

J'ai fait ce test : j'ai mis la base harvester sur un serveur mysql (de test) correctement configuré en ce qui concerne les parametres character_set_server et collation_server :

A part toutes ces erreurs "habituelles" (pas très rassurant qd mme) !) :

"24 janv. 2011 18:24:51 org.apache.catalina.loader.WebappClassLoader clearThreadLocalMap
GRAVE: A web application created a ThreadLocal with key of type [org.springframework.core.NamedInheritableThreadLocal] (value [Request context]) and a value of type [null] (value [null]) but failed to remove it when the web application was stopped. To prevent a memory leak, the ThreadLocal has been forcibly removed."
j'arrive bien à créer une moisson et à lancer une récolte !
C'est donc un pb d'encodage, similaire à celui que j'ai eu pour le workflow.
Y a t il une possibilité d'intervenir dans hibernate pour pallier à ce pb ?

Je rappelle que je ne peux pas toucher au serveur ...
Merci pour l'aide.

Françoise

De: "Françoise Schortin" < >
À: ori-oai-utilisateurs@listes.univ-rennes1.fr
Envoyé: Lundi 24 Janvier 2011 18:02:46
Objet: Re: [ori-oai-utilisateurs] erreur harvester

Bonjour,
Je me réponds à moi-meme : je galère toujours sur ce pb.
Est ce que ca pourrait être un pb d'encodage ?

J'ai eu un pb avec le workflow parce que mon serveur mysql (sur lequel je ne peux agir) n'est pas configuré UTF8 en ce qui concerne les parametres character_set_server et collation_server
| character_set_client | latin1 |
| character_set_connection | latin1 |
| character_set_database | utf8 |
| character_set_filesystem | binary |
| character_set_results | latin1 |
| character_set_server | latin1 |
| character_set_system | utf8 |
| character_sets_dir | /usr/share/mysql/charsets/ |
et
| collation_connection | latin1_swedish_ci |
| collation_database | utf8_general_ci |
| collation_server | latin1_swedish_ci |

Pour le pb de workflow, Grégoire m'avait dit de modifier le fichier dao.xml, ce que j'ai fait et qui a résolu mon pb.
Du coup, j'ai fait la meme chose coté harvester, mais ca n'a pas eu du tout le meme effet bénéfique !!!

Françoise

----- Mail original -----
De: "Françoise Schortin" < >
À: "ori-oai-utilisateurs" < >
Envoyé: Vendredi 21 Janvier 2011 12:36:04
Objet: [ori-oai-utilisateurs] erreur harvester

Bonjour,

J'ai une erreur lorsque je lance - pour la première fois - une moisson sur le harvester.

Est ce que ca peut etre un pb de memoire tomcat ? (je tourne avec les valeurs par defaut 64M, mais c'est la première moisson et la première récolte)

Cette erreur se produit lorsque je déclenche la récolte (l'erreur d'avant n'est peut etre pas à prendre en compte car j'ai voulu réafficher la page sur laquelle j'étais avant de faire le stop, ant init avec init de la BD, ant all, et start du harvester)

oriharvester: 112731 org.hibernate.util.JDBCExceptionReporter.logExceptions(JDBCExceptionReporter.java:101) - Incorrect string value: '\xE9liore...' for column 'record' at row 1
112731 [Thread-39] ERROR org.hibernate.util.JDBCExceptionReporter - Incorrect string value: '\xE9liore...' for column 'record' at row 1
oriharvester: 112736 org.hibernate.event.def.AbstractFlushingEventListener.performExecutions(AbstractFlushingEventListener.java:324) - Could not synchronize database state with session
org.hibernate.exception.GenericJDBCException: Could not execute JDBC batch update
at org.hibernate.exception.SQLStateConverter.handledNonSpecificException(SQLStateConverter.java:126)
at org.hibernate.exception.SQLStateConverter.convert(SQLStateConverter.java:114)

Merci pour votre aide.
Françoise.

PJ : le catalina.out

Françoise Rousseau Schortin
Ingénieur Direction Informatique
Université Paris-Sud 11 - 91405 ORSAY

-- 
Cordialement.


François Lefebvre
Bibliothèque Universitaire de Lille 1
Cité Scientifique - B.P. 30155
59653 VILLENEUVE D'ASCQ CEDEX
Tél.: 03.20.33.60.73

18 mars 2011 - 3:47pm

(Répondre à #3) #4

francoise.schortin

Bonjour François,

Je reviens vers toi pour ce pb.

Comme j'ai un pb similaire dans le workflow, mais qui ne se manifeste pas de manière aussi violente (pas de plantage une fois le dao.xml modifié), je mets Yohan en copie car il est en train d'y regarder pour la partie workflow.

Je viens de mener un test sur le harvester avec :

- le dao modifié comme dans le workflow => plantage

- le dao d'origine => plantage

J'ai récupéré les logs dans les 2 cas, je les joins, mais je suppose qu'ils ne sont pas trop explicites

J'ai récapitulé ma manip sur un .doc avec copie d'écran et en expliquant tout ce que j'ai fait.

Ma conclusion, pour le moment, c'est que c'est clairement un pb d'encodage, mais que une modif du dao.xml n'y change rien.

Contrairement au workflow où la modif du dao.xml a éliminé les plantages, mais pas l'affichage erroné des données de la base contenant des accents dans les écrans.

Merci pour vos efforts pour me sortir de ce m...dier, car le responsable des serveurs de BD compte uniformiser le paramétrage des serveurs de test et de prod en mettant les parametres character_set_server et collation_server à "latin1", ce qui fait que je n'aurais plus aucun serveur qui marche.

Françoise Rousseau Schortin
Ingénieur Direction Informatique
Université Paris-Sud 11 - 91405 ORSAY

De: "Francois Jannin" < >
À:
Envoyé: Vendredi 25 Février 2011 16:22:58
Objet: Re: [ori-oai-utilisateurs] erreur harvester

Bonjour,

C'est clairement un problème d'encodage, mais normalement, la même modification du fichier dao.xml devrait avoir le même effet que dans le workflow :

<property name="url">
 <value>${hibernate.connection.url}?emulateLocators=true&amp;useUnicode=true&amp;characterEncoding=utf8&amp;useOldUTF8Behavior=true</value>
</property>

Avez-vous bien lancé le harvester avec l'option suivante ?

CATALINA_OPTS=-Dfile.encoding=UTF-8

Avez-vous toujours la même exception : org.hibernate.util.JDBCExceptionReporter - Incorrect string value: '\xE9liore...' for column 'record' at row 1 ?

François

Le 18/02/2011 17:01, Françoise Schortin a écrit :

Bonjour,

C'est à moi de m'excuser pour le délai de réponse ... je n'ai pas bien surveillé la liste ces temps-ci !
La modif que j'ai faite est celle préconisée par le site ori-oai.org :

http://www.ori-oai.org/display/ORIOAIworkflow/Encodage

Merci d'avance.

Françoise

De: "Francois Jannin" < >
À: ori-oai-utilisateurs@listes.univ-rennes1.fr
Envoyé: Lundi 7 Février 2011 14:12:51
Objet: Re: Fwd: [ori-oai-utilisateurs] erreur harvester

Bonjour,

Excusez-moi pour le délai de réponse.
Pouvez-vous détailler quelle modification avait été faite dans dao.xml pour le workflow ?
Ainsi je pourrais vous indiquer comment repercuter cette modification pour le harvester.

Cordialement,
François

Le 28/01/2011 12:12, Françoise Schortin a écrit :

Bonjour,

Excusez moi de relancer la question (cf mes mails ci-dessous); mais je n'ai pas eu de réponse et le problème reste entier.

Pour résumer:

Mon serveur de BD est configuré en ce qui concerne les parametres character_set_server et collation_server en latin1. Je ne peux rien y faire
Du coup, le harvester plante.

Pour le workflow, j'avais évidemment le meme pb, mais il a pu etre contourné en intervenant dans le fichier dao.xml

J'ai essayé la meme chose dans le harvester, mais ca ne marche pas.

Qq peut il se pencher sur le pb ?

Merci.

Françoise Rousseau Schortin
Ingénieur Direction Informatique
Université Paris-Sud 11 - 91405 ORSAY

De: "Françoise Schortin" < >
À: ori-oai-utilisateurs@listes.univ-rennes1.fr
Envoyé: Lundi 24 Janvier 2011 18:37:22
Objet: Re: [ori-oai-utilisateurs] erreur harvester

Re-bonjour,

J'ai fait ce test : j'ai mis la base harvester sur un serveur mysql (de test) correctement configuré en ce qui concerne les parametres character_set_server et collation_server :

A part toutes ces erreurs "habituelles" (pas très rassurant qd mme) !) :

"24 janv. 2011 18:24:51 org.apache.catalina.loader.WebappClassLoader clearThreadLocalMap
GRAVE: A web application created a ThreadLocal with key of type [org.springframework.core.NamedInheritableThreadLocal] (value [Request context]) and a value of type [null] (value [null]) but failed to remove it when the web application was stopped. To prevent a memory leak, the ThreadLocal has been forcibly removed."
j'arrive bien à créer une moisson et à lancer une récolte !
C'est donc un pb d'encodage, similaire à celui que j'ai eu pour le workflow.
Y a t il une possibilité d'intervenir dans hibernate pour pallier à ce pb ?

Je rappelle que je ne peux pas toucher au serveur ...
Merci pour l'aide.

Françoise

De: "Françoise Schortin" < >
À: ori-oai-utilisateurs@listes.univ-rennes1.fr
Envoyé: Lundi 24 Janvier 2011 18:02:46
Objet: Re: [ori-oai-utilisateurs] erreur harvester

Bonjour,
Je me réponds à moi-meme : je galère toujours sur ce pb.
Est ce que ca pourrait être un pb d'encodage ?

J'ai eu un pb avec le workflow parce que mon serveur mysql (sur lequel je ne peux agir) n'est pas configuré UTF8 en ce qui concerne les parametres character_set_server et collation_server
| character_set_client | latin1 |
| character_set_connection | latin1 |
| character_set_database | utf8 |
| character_set_filesystem | binary |
| character_set_results | latin1 |
| character_set_server | latin1 |
| character_set_system | utf8 |
| character_sets_dir | /usr/share/mysql/charsets/ |
et
| collation_connection | latin1_swedish_ci |
| collation_database | utf8_general_ci |
| collation_server | latin1_swedish_ci |

Pour le pb de workflow, Grégoire m'avait dit de modifier le fichier dao.xml, ce que j'ai fait et qui a résolu mon pb.
Du coup, j'ai fait la meme chose coté harvester, mais ca n'a pas eu du tout le meme effet bénéfique !!!

Françoise

----- Mail original -----
De: "Françoise Schortin" < >
À: "ori-oai-utilisateurs" < >
Envoyé: Vendredi 21 Janvier 2011 12:36:04
Objet: [ori-oai-utilisateurs] erreur harvester

Bonjour,

J'ai une erreur lorsque je lance - pour la première fois - une moisson sur le harvester.

Est ce que ca peut etre un pb de memoire tomcat ? (je tourne avec les valeurs par defaut 64M, mais c'est la première moisson et la première récolte)

Cette erreur se produit lorsque je déclenche la récolte (l'erreur d'avant n'est peut etre pas à prendre en compte car j'ai voulu réafficher la page sur laquelle j'étais avant de faire le stop, ant init avec init de la BD, ant all, et start du harvester)

oriharvester: 112731 org.hibernate.util.JDBCExceptionReporter.logExceptions(JDBCExceptionReporter.java:101) - Incorrect string value: '\xE9liore...' for column 'record' at row 1
112731 [Thread-39] ERROR org.hibernate.util.JDBCExceptionReporter - Incorrect string value: '\xE9liore...' for column 'record' at row 1
oriharvester: 112736 org.hibernate.event.def.AbstractFlushingEventListener.performExecutions(AbstractFlushingEventListener.java:324) - Could not synchronize database state with session
org.hibernate.exception.GenericJDBCException: Could not execute JDBC batch update
at org.hibernate.exception.SQLStateConverter.handledNonSpecificException(SQLStateConverter.java:126)
at org.hibernate.exception.SQLStateConverter.convert(SQLStateConverter.java:114)

Merci pour votre aide.
Françoise.

PJ : le catalina.out

Françoise Rousseau Schortin
Ingénieur Direction Informatique
Université Paris-Sud 11 - 91405 ORSAY

Sujet clos

Valoriser le patrimoine numérique scientifique, pédagogique et documentaire des universités et le partager par un réseau de portails communicants en OAI

Traduction auto Google

Aide

Options d'affichage des commentaires