import et chargement de données bloqués

[touv]

Décrire le bogue
L'import d'un fichier ou d'une requête est soudainement bloqué. Lorsque je clique sur le bouton « importer les données » rien ne se passe, l’instance semble figé.

Reproduire
Étapes pour reproduire le comportement :

inconnu

[touv]

La suppression des taches de fond, Vider le cache, redémarrer le navigateur, ces actions semblent ne pas résoudre le problème

[touv]

Dans les logs des taches de fond on observe une erreur laconique

[touv]

Pour le moment, la meilleure manière de résoudre en production le problème est de recréer un container (ce qui évite la rupture de service).
A tester si un simple stop/start pourrait résoudre le pb...

[touv]

un aspect étonnant de ce problème est qu'il touche exclusivement une instance, les autres peuvent continuer de faire des imports normalement

[AnaelKremer]

cette instance avait elle interrogé l'API d'OpenAlex ?

[touv]

cette instance avait elle interrogé l'API d'OpenAlex ?

à priori oui,
nous avons également un deuxième signalement avec le chargement d'un fichier CSV

[touv]

🐞 le même import via le mode personnalisé (sans rien changé) pourrait fonctionner

[AnaelKremer]

cette instance avait elle interrogé l'API d'OpenAlex ?

à priori oui, nous avons également un deuxième signalement avec le chargement d'un fichier CSV

Ok, je crois savoir de quelle instance il s'agit, l'import de CSV avait été fait après le bug pour voir si un autre format était accepté.

J'avais déjà rencontré ce problème plusieurs fois, toujours après des interrogations de l'API OpenAlex, mais de 2 façons différentes :

• une annulation manuelle du chargement du corpus
• une coupure de l'API qui bloquait le chargement et l'instance

Dans les 2 cas, il n'était plus possible ni de charger quoique ce soit d'autre, ni de supprimer l'instance. Il y avait un problème de loop qui ne s'arrêtait pas à l'époque mais tu avais fait un fix. Je n'ai depuis plus rencontré ce problème...

Pour supprimer ces instances, j'ai attendu qu'une version supérieure de Lodex existe, j'ai tenté la suppression dans la version la plus récente, car elle supprime toutes les mêmes intances des containers en versions inférieures, et ça avait fonctionné.

[cguele]

J'ai rencontré le même problème hier : chargement OpenAlex via l'API qui s'interrompt sans possibilité de recharger l'instance. Les logs sont vides mais les fichiers en cache suite à l'interrogation sont bien présents - mon instance est également vide

[AnaelKremer]

Le bug de Christa s'est produit sur une version 14.0.62 avec le loader Openalex by txt dans le catalogue.
Je lui ai donné un loader avec buffer et clé API ça n'a pas plus marché, on parle de 118 000 notices. Il y a quelques semaines je pouvais en récupérer plus de 400 000 via cette méthode.

J'ai testé un ptit corpus avec le même loader sur une 14.0.64 ça fonctionne, j'ai ensuite testé la requête de Christa avec une année en moins pour passer en dessous de 100 000 ça a bloqué aussi... Plus possible de charger autre chose sur les 2 instances désormais.

Année par année, environ 23000 notices, les 2 loaders fonctionnent. Ca parait donc être la volumétrie qui pose problème.

[touv]

Ok, vous êtes sur quelle machine ?

[touv]

A priori, si le chargement plante, il bloque la file d'attente (bull) et celle-ci reste bloquée pour l'instance en question.
Si on supprime le job manuellement ou via la suppression des taches de fond, la file reste bloquée.

Pour tenter de mieux comprendre le problème, la prochaine version activera par défaut les logs ezs. Ce qui permettra d'avoir la raison de l’arrêt de loader. #2219

Si par hasard, le problème était lié à un bug bull, le package va être mise à jour #2220

[touv]

La fil d'attente est bloquée à partir du moment ou le serveur redémarre automatiquement suite à arret pour dépassement de mémoire

[touv]

Le second problème fait l'objet d'une issue séparée #2230

[touv]

Le premier problème devrait être corrigé avec cette #2233

[KingJuliann]

Bonjour, j'ai interrompu un chargement après avoir chargé le mauvais jeu de données, et mon instance est également bloquée. Le chargement ne se fait plus et je ne peux plus rien faire non plus. Je suis sur la V14.0.64