Nouveau serveur 2024, quelques questions pour planification #29
Comments
biggrizzly
changed the title
Le reste, c'est au-dessus de mes compétences. |
Pour MaraiDB, je pense qu'il faut rester sur du 10.5 max cf https://www.spip.net/fr_article4351.html peut-être même une 10.3 vu qu'on est encore en SPIP 3.2.
Comme le disais déjà @martinarnaud on peut passer en PHP 7.4 sans problème.
Là dessus je laisse @rastapopougros et @Fil répondre, je n'ai jamais touché à Sphinx.
Ça devrait passer sans pb cf https://github.com/seenthis/hebergement/wiki/Installation-de-translate-shell
Normalement on peut s'en passer, c'est le principe de
No problemo.
Fais au mieux, on te fait confiance :)
À voir si on garde tout ça, ce dossier contient certainement des données qui datent tellement qu'elle sont inutiles à ce jour. Tu en pense quoi @Fil
Normalement on peut se passer de celui-ci aussi, mais certaines vignettes d'images distantes contenues dans le dossier risquent de ne pas se recréer si l'image en face a disparu. Vos avis ? |
Du coup non si ya le cache de microcache qui contient le html final de quasiment tout si je comprends bien, de chaque seen déjà généré.
Tu peux remplacer quasi tel quel par Manticore qui est le fork plus mieux libre. Je l'ai fait sur plusieurs machines sans problème. Ça permet ensuite d'avoir des paquets maintenus vraiment à jour et de monter de version. |
|
Merci 1000 fois pour vos réponses et suggestions à tous trois. En résumé :
Il ne me reste plus qu'à avancer sur la suite de ma recette de configuration. |
|
C'est amusant les contraintes. Là, par exemple, on est sur Debian 12, pour avoir un système récent, et installer un MariaDB 10.3 sur un Debian 12, ce n'est pas naturel. Heureusement, on n'est pas les seuls avec ce genre de besoins, et en fait on a de la chance, vraiment. |
Ouf, on pourra basculer en 10.5 une fois seenthis passé en SPIP 4 ! |
|
On est bien d'accord que l'objectif, c'est 10.11 ? Parce que 10.5, ce n'est pas supporté, non plus, nativement, sur Debian 12 :-)) |
|
Rien de certain pour 10.11, à ce jour SPIP est annoncé compatible 10.5 max. |
|
Soit on est conservateur, et on reste en 10.5 (via docker). Soit on est aventuriers, et on démontre que SPIP4 fonctionne avec MariaDB 10.11. :-) |
|
Je viens de revoir le processus d'installation en installant docker, comme ça c'est fait, et en installant mariabd 10.3 pour la partie serveur dans docker. Mais alors que je me disais "chouette, ça fonctionne", je me souviens qu'il faut aussi une partie cliente. Et là, pas possible de l'installer avec docker. La partie cliente, ce sont des binaires, pas simplement un port TCP à partager. Donc, je réinstalle mariadb10.3 pour la partie cliente via APT et le référentiel Olvy. Mais je ne le pourrais pas plus tard quand on passera à 10.5. J'ai un petit peu l'impression de tourner en rond. Il y a vraiment des incompatibilités sévères de SPIP3 avec les versions avancées de MariaDB ? J'avoue ne pas avoir spécialement envie de ne migrer "que" sur Debian 11. (...) On restera en client 10.3 autant que nécessaire. On pourra passer en server 10.5 si ça nous chante. |
|
Hello, désolé j'arrive peut être un peu après la bataille, mais pour info on a une machine en debian 12 qui fait tourner des SPIP ( SPIP 3 et 4 ) et rien à signaler |
|
Merci pour le signalement @benchti j'en causais justement hier avec marcimat, et donc @biggrizzly on peut passer sans pb en mariadb 10.11 (désolé pour le délai, c'est le we tout ça...). |
|
Hu hu... On dira que j'ai passé ce temps à parfaire ma connaissance de docker, mariadb et seenthis... :-) |
|
Avancement:
|
|
Je tombe sur un nouvel os. Installer manticore, facile, ça installe la version 6. |
|
Go pour un conteneur docker... Il existe un conteneur en version 3. |
|
Là tout de suite j'ai la V6 en local mais c'est bien possible que j'ai d'abord migré petit à petit oui. Je suppose que tu as lu cette page : https://manual.manticoresearch.com/Installation/Migration_from_Sphinx Mais il est possible aussi que j'ai migré la partie logicielle et config (que les index soient bien définis comme avant) MAIS que j'ai ensuite tout réindexé à zéro depuis le SPIP (avec la commande spip-cli "indexer:indexer"). |
|
Les conteneurs manticore ne contiennent pas le convertisseur :-/ J'ai tenté de lancer une réindexation. spip-cli n'est pas présente de ce que je crois détecter sur le seenthis de prod'. Et le nouveau non-plus, je n'ai rien fait pour l'installer. Je ne suis pas familier de ces outils. Et donc, j'ai tenté de copier-coller la déclaration d'index de seenthis. Quand je le fais, le démon refuse de démarrer. J'ai consulté le site spip : https://contrib.spip.net/Indexer-Installation-et-Configuration#Installation-de-Sphinx sans y trouver de mention de manticore et des différences qu'il convient de gérer. Comment puis-je obtenir de l'aide ?
Je constate que sphinx existe en docker aussi. Peut-être qu'il s'agit d'une solution potentielle ? Merci pour vos retours. |
|
La diff c'est surtout le binaire : #!/usr/bin/env php
<?php
# Correction bug paquet debian / ubuntu
if (!is_dir('/var/run/manticore')) {
mkdir('/var/run/manticore');
}
# Recherche et inclusions des configurations
foreach (glob(__DIR__ . '/conf.d-enabled/*.conf') as $conf) {
include $conf;
}
Pour l'index j'ai pareil que dans la doc SPIP à part le path= Même si ya pas spip-cli on peut lancer la réindexation complète depuis l'admin du SPIP, c'est juste plus chiant et long qu'en cli. Et sinon faut installer spip-cli. :p https://contrib.spip.net/SPIP-Cli#Installation |
|
@rastapopougros : puis-je te demander ton assistance ? J'ai créé ton compte, ajouté ta clef. J'ai mis ton mot de passe par défaut dans un fichier caché facile à trouver dans ton répertoire, ce qui doit te permettre de le modifier. Tu es dans le groupe des sudoers. Je créerai les comptes des autres habitués dans le courant du WE. |
|
@brunob : j'ai créé ton compte avec la clef que j'ai trouvé sur la prod. N'hésitez pas à me biper si ça fonctionne ou pas. Qui d'autre est volontaire pour aider et avoir un accès ? :-) |
|
@biggrizzly je viens de tenter de me connecter et ça tourne dans le vide sans aller plus loin que ça : Pas d'urgence hein :) |
|
Forcément, si j'ouvre pas le pare-feu... :-/ |
|
Ok j'y suis, j'ai personnalisé mon pass et viré le fichier qui contenait le pass temporaire :) |
|
Je me suis connecté et changé le pass aussi. $ sudo service manticore status
Active: active (running) since Sat 2024-03-16 14:18:24 CET; 2 days ago
MAIS…
WARNING: table 'seenthis': prealloc: failed to open /var/local/manticore/seenthis.lock: Permission denied - NOT SERVINGDu coup : $ ls -l /var/local/
total 8
drwxr-sr-x 3 root staff 4096 16 mars 14:10 manticore
drwxr-xr-x 8 114 adm 4096 9 mars 18:33 sphinxEst-ce qu'il faudrait pas que le dossier "manticore" ait des droits permettant au logiciel/service "manticore" d'écrire dedans (pas juste dans les sous-dossiers qui sont dedans) ? |
|
J'étions persuadé d'avoir veillé à cela. Manticore tournait quand j'ai fait les tests. Mais peut-être que depuis il s'est passé d'autres choses... Merci en tout cas de m'avoir rejoint ;-) J'avais chowné le répertoire seenthis dans manticore, mais pas manticore. Apparemment, ça indexe les nouveaux posts. Y-aurait plus qu'à relancer l'indexation de zéro en fait ? Je tente à l'instant, et ça sort avec erreur : |
|
Les emails sont activés. |
|
A propos de l'indexation : c'est sans doute trivial, mais je ne suis pas capable de déterminer l'origine de l'erreur. |
|
Je soupçonne que l'anomalie du communication pourrait être liée à MariaDB, et au bazar laissé par les différentes installations. Je n'ai pas forcément envie de tout recommencer. Mais peut-être. |
Désolé, je n'ai jamais touché à la partie indexation :\ |
|
Je réinstalle depuis une machine vierge. Histoire de m'assurer que tout est bien propre. |
|
Me revoilà au même point. L'indexation des nouveaux articles : OK. Au moins suis-je assuré d'avoir un système stable et propre désormais. Je vais tâcher d'étudier plus avant tous les logs. |
|
Padawan le stage 2 atteint il a: Ajout dans searchd.conf Génial. |
|
Je n'ai pas accès à l'espace |
Je veux bien y jeter un œil, mais je n'ai pas d'adresse publique pour accéder à la version de dev. Sinon, tu peux te créer un compte super admin temporaire avec |
|
Alors. Je me suis créé un utilisateur admin. Puis j'ai tenté de lancer l'indexation. J'ai eu une erreur 500, indiquant une mémoire insuffisante. J'ai mis à memory_limit à 1Go, et c'est allé jusqu'au bout. Mais ça s'arrête au même endroit qu'en ligne de commande. Ca n'indexe pas rien, mais presque rien. La machine est toujours à la même adresse. seenthis2.zoo-logique.org. Je l'éteins en général en fin de journée, pour éviter que des bots y parviennent. Mais je peux la laisser allumée. Ton utilisateur est toujours présent, clef publique y compris. Le mot de passe par défaut a été modifié, cf. fichier caché. C'est vrai aussi pour les autres utilisateurs. Les alternatives sont :
Des avis, la foule ? |
|
Quoi qu'il en soit, le serveur est à ta disposition @brunob. Il y a un snapshot. Tout est (presque) comme l'autre serveur. L'instance de référence est dans /var/www/stprod |
|
Pas d'urgence @biggrizzly mais |
|
Oubli... Corrigé :) |
|
Je viens de regarder pour ne pas te laisser tout seul @biggrizzly mais je n'ai pas plus de chance que toi pour une première. Je découvre https://github.com/seenthis/seenthis_sphinx/blob/971accdfb5b53f66e4a4b9ed57952690f93a74d5/indexer_sphinx.php et me demande si ce vieux truc est toujours d'actualité, si oui c'est peut-être ça qui nous manque ping @Fil ? Edit: ha ben l'info était pourtant dans ce wiki https://github.com/seenthis/hebergement/wiki/Installation-par-compilation-de-sphinx ^^ |
|
Ouille ça fait effectivement bien vieux code… Avec un SPIP à jour, et un plugin Indexer à jour, il serait quand même pas mal de se reposer uniquement sur les API fournies :
|
|
Le code en question a eu le temps d'évoluer depuis qu'il est là, je ne faisais que pointer son existence, en attendant je viens de lancer le bouzin avec |
|
Merci à vous deux d'avoir regardé. J'ai passé les derniers WE du temps en utilisant le serveur pour tester des modifications sur le code source. Aussi, @brunob je peux te le laisser à disposition pour que tu interviennes sur le code source à ta convenance, afin de valider la migration SPIP4, si tu as du temps pour ça, et que le serveur te permet de procéder plus facilement. Si tu souhaites avancer, il faudra que tu me dises si je peux/dois ajouter des accès (ssh/sftp/autre ?) pour te faciliter la vie. J'en profite pour glisser une considération qui m'importe relativement à ce changement de serveur : le vieux serveur en Debian 8 ne permet pas facilement de traiter les journaux, pour savoir ce qu'il se passe avec les bots. C'est très frustrant par rapport à mes habitudes de travail sur ELK. Il y a aussi le fait que j'aimerais tester des formules de filtrage automatique des IP, et bosser, là aussi, sur un vieux serveur, ce n'est pas idéal. Donc, vivement que nous réussission à mettre à jour SeenThis, merci d'avance pour votre implication, et tout et tout ;-) |
|
Voilà, le temps d'un aller/retour en vélo à l'école et le script a terminé son job, avec quelques warnings en boucle sur la fin cf : Reste à voir ce que ça indexé, et pour ça faut que je cherche comment on peut checker la chose en cli. Je vois bien ça sans savoir si c'est bon : De ce que je vois ici les données devraient être dans Je vais comparer avec la prod. Trouvé dans le wiki que je cite plus haut Je viens de relancer l'indexation et une fois terminée le service mariadb est J'ai vidé l'index avec |
|
Je m'y recolle, à ce jour on a bien 20 lignes dans Je lance Peut-être un délai pour que l'indexation se fasse ? |
|
Hélas, ces lignes sont à priori issues de mes propres créations de posts. Je viens de créer un nouveau post, est-ce que tu le vois dans l'index ? |
|
Nope, toujours 20 lignes dans la table, je pense qu'il manque un truc dans la conf , mais n'ayant jamais utilisé ces outils je vais devoir me plonger plus loin dans leur doc et méthodes de debug :\ |
|
Hello, Est-ce qu'il ne serait pas plus pratique de migrer SeenThis vers la dernière version de SPIP, puis de vérifier si l'indexation ne fonctionne pas mieux ? |
On pourrait, mais je ne peux assurer que ça réglera le problème d'indexation avec Sphinx, comme je le disais cet outil est hors de mon scope. Si @rastapopougros qui semble le maîtriser peut y jeter un œil ça nous permettrait d'avancer. |
|
Dans les grandes lignes, comme je le disais, à mon avis il faut prendre le temps de ne PLUS utiliser le vieux script dédié, et d'utiliser uniquement ce que fournit le plugin SPIP de base (+ pipeline s'il faut compléter). Mais pour ça il faut s'assurer d'indexer la même chose dans les mêmes champs de Manticore (ou clés du JSON quand c'est dans le JSON). Normalement ça peut se faire sans changer de version de SPIP, car le plugin Indexer à jour fonctionne toujours en SPIP 3.2 à priori. Pour ça il faut commencer par comprendre et lister ce que fait le vieux script, majoritairement c'est dans ce tableau : https://github.com/seenthis/seenthis_sphinx/blob/971accdfb5b53f66e4a4b9ed57952690f93a74d5/indexer_sphinx.php#L93 Ce dernier indexe les choses :
|
|
Merci pour le retour, si tu le sens de recoder ce plugin gogogo. De mon côté, je vais plutôt tenter de faire fonctionner le bouzin en l'état. Je viens de faire un test simple, récupération d'une requête exécuté par le script d'indexation. Si je la lance manuellement en cli j'obtiens : Ce qui me fait penser que c'est bon, mais non car il y a toujours 20 items dans la "table" après ça. En comparant avec la prod il y a cette différence : VS en dev Puis : VS en dev La différence de structure me questionne, ainsi que le fait qu'il n'y a pas de "base" avec sphinx alors qu'il y en a une avec Manticore. |
|
Alors oui avant quoi que ce soit dans SPIP, il faut impérativement que l'installation soit pile comme attendue, les bons champs, avec les bons types (et le bon nom de base utilisé dans le define dans SPIP) |
|
@biggrizzly comment as-tu recréé la table manticore seenthis ? (à partir de quelles infos) |
|
J'ai honte, je découvre que les select en cli sont limités à 20 lignes par défaut, |
|
J'ai créé le fichier de configuration dans Manticore sur le modèle du serveur actuel, en adaptant ce qui me paraissait devoir l'être, puis j'ai démarré Manticore, puis c'est tout. J'ai fait tout ça sans trop approfondir, je ne connais ni SPIP, ni Manticore/Sphinx, et je ne suis pas développeur PHP ;-) |
https://lesjoiesducode.fr/content/040/SoylOjH.mp4 Pas mieux pour moi, je ne connais rien à manticore/sphinx/indexer, mais je suis persévérant, je l'aurai... ^^ |
|
Je crois bien que l'indexation a collé la machine en overload, elle ne répond plus et je ne peux plus m'y connecter. La suite au prochain épisode. |
|
La machine répond de nouveau et.... je confirme l'indexation fonctionne bien :) Il faudra juste trouver un truc pour relancer l'indexation complète sans que ça explose et zou. Edit : on doit être à environ la moitié des posts indexés cf Après vérification on a indexé jusqu'au post id 907000. |
|
|
Hello,
La nouvelle VM est enfin en cours d'installation.
J'ai quelques questions pour l'organisation de la chose.
Il s'agit d'une VM en Debian 12.
Le dépôt PHP seront celui de Sury, ce qui signifie que nous pouvons installer du PHP 7.1 comme sur la prod, et du PHP 8.2+ en même temps.
Le dépôt MariaDB sera l'officiel, je compte installer la version 10.11 LTS.
Pour le certificat, j'hésite encore entre certbot et acme, ça n'a pas beaucoup d'importance.
Les questions que je me pose :
D'autres considérations :
Merci pour vos réponses aux différentes questions, dans l'immédiat.
Les volumes de données actuels (en Mo, uniquement ce qui dépasse le Go) :
The text was updated successfully, but these errors were encountered: