[2.7.1] Erreur de synchronisation des taxons #274
Comments
geoek
changed the title
|
Je pense que c'est plutôt lié au ticket #261 et donc un soucis de configuration Apache de TaxHub mais j'ai pas tout compris aux soucis discutés dans ce ticket car je comprends pas grand chose à Apache... |
|
Oui c'est bien ça, quand on tape sur l'URL qui est indiquée en erreur dans les logs : https://taxhub.biodiv-occitanie.fr/api/taxref?orderby=cd_nom&fields=listes&limit=10000&page=1 |
|
Ok merci @camillemonchicourt . Je vais regarder ça d'un peu plus prés ! |
|
Salut @sgrimault, en regardant rapidement, j'ai bien l'impression que c'est un soucis de configuration Apache de TaxHub, mais cette fois-ci pas de redirection HTTPS > HTTP, mais d'ajout de "/taxhub/" dans l'URL de l'API comme vu ci-dessus lors de mes tests. |
|
Pourtant l'erreur est assez explicite : Il se retrouve avec un appel HTTP en clair... |
|
OK donc en effet, vraiment comme l'autre ticket que j'ai pas tout compris, mais qui indiquait le même soucis et qui se trouve au niveau de la conf Apache de TaxHub, pas au niveau d'Occtax-mobile. |
|
Alors j'ai commencé à regarder un peu. Je met les informations là, mais dites moi s'il vaut mieux les placer dans un autre sujet car le problème me semble entre occtax-mobile et taxhub, voire geonature. L'adresse api qui pose problème dans les log est : Si on y accède, le navigateur nous redirige vers : https://taxhub.biodiv-occitanie.fr/taxhub/api/taxref/?orderby=cd_nom&fields=listes&limit=10000&page=1 => Il rajoute donc un /taxhub et ca ne fonctionne pas. Par contre, si on rajoute un '/' avant le '?', l'api fonctionne et renvoie bien les données. Mais je ne suis quand même pas du tout sûr de ma configuration Apache (qui fonctionne apparemment pour tout, sauf pour cet appel d'API).
Chose étrange, la documentation de taxhub précise pour l'update 1.13 : Si TaxHub est à la racine de votre serveur web http://taxhub.mondomain.fr, le paramètre APPLICATION_ROOT doit être égal à "/" et non "" Je dois donc avoir des problèmes de configuration quelque part... Même si, tout fonctionne sans messages particuliers dans les logs. Voici la conf apache de geonature et taxhub (dans les dernières versions de geonature, je n'ai pas trouvé d'exemples de conf apache lorsque l'on est à la racine du serveur et non en sous domaine). J'ai laissé les lignes commentées, qui avaient dû servir de tests. geonature.conf : Configuration GeoNature<VirtualHost *:80> RewriteEngine on <VirtualHost *:443> SSLEngine on taxhub.conf : ' Configuration TaxHub<VirtualHost *:80> RewriteEngine on <VirtualHost *:443> SSLEngine on |
|
C'est bon, problème apparemment résolu de mon coté :
Ca m'a permis de me plonger un peu plus dans les configurations apache et de nettoyer en partie ma conf (même si ca reste toujours très complexe cette partie...) On peut clore ce ticket, merci ! |
|
voir #261 |
|
Pourrais-tu partager tes modifications de la configuration TaxHub ? |
|
De mon coté, dans la conf taxhub-le-ssl.conf, j'ai cet ajout dans la configuration qui fonctionne bien : |
|
OK merci pour ces retours. Par contre, dans les différents échanges, je vois un sujet qui est plus pour @sgrimault :
Dans le code d'Occtax-mobile, dans les appels à la route /taxref..., il manque un espace après "taxref" ( Ça c'est pas normal, à modifier dans le code d'Occtax-mobile, il me semble. |
|
Alors voici ce que je retiens de ces problèmes et des corrections à faire :
TAXHUB : => On peut voir que j'ai 2 virtual host, un pour http et un pour https. Et le premier ne fait que rediriger les requetes http vers des requetes https. J'ai ici rajouté les 2 RequestHeader qui ont permis à la synchro occtax mobile de fonctionner (magique pour moi, j'ai suivi le post de Donovan) GEONATURE : => Ici aussi deux virtual host, comme pour taxhub. A noter que l'ajout des RequestHeader dans ce fichier seulement n'était pas suffisant pour moi. Il a fallu que je les rajoute également dans le fichier de TaxHub => A noter également que je n'ai pas l'impression d'avoir de configuration activée pour geonature ou taxhub (comme il est précisé dans la documentation), mais tout semble fonctionner quand même. Bref, je ne vous aide peut etre pas vraiment. Ma configuration me semble bien simple mais fonctionne. Je vais essayer de prendre un deuxième serveur pour installer avec la meme configuration (sans sous domaine) et faire des tests sans risquer de tout casser ! |
|
pareil pour moi je suis à la racine sur taxons.flavia-ape.fr ;) |
|
Voici la conf Apache de base de TaxHub que l'on fournit : https://github.com/PnX-SI/TaxHub/blob/develop/taxhub_apache.conf Mais bon, tu me diras, tout cela va perdre son intérêt car avec la version 2.15.0 de GeoNature sortie hier, TaxHub 2.0.0 est intégré à GeoNature quand on utilise celui-ci. Et donc son API aussi, comme expliqué dans PnX-SI/GeoNature#3280. Donc TaxHub n'a plus de configuration Apache. Déjà répercuté sur le serveur de DEMO : https://demo.geonature.fr/geonature/api/gn_commons/t_mobile_apps On va d'ailleurs pouvoir doucement supprimer le paramètre Et donc tout cela se veut de plus en plus simple. :-) |
|
Alors c'est bien ce que j'avais vu mais ca ne correspond pas totalement à ma conf Apache qui doit dater d'anciennes versions. Ce que je propose, comme l'a dit @DonovanMaillard : rajouter par sécurité, dans taxhub.conf les 2 directives RequestHeader après Location. (par contre, chez moi, il a fallut que je le fasse dans geonature.conf ET dans taxhub.com (voir mes fichiers dans le post précédent)) @DonovanMaillard, est ce que toi tu as une configuration classique d'apache telle qu'elle s'installe officiellement (donc avec les configuration dans conf-available + un vhost dans sites-available qui appelle cette conf) ou est ce que comme moi, tu as tout dans ton fichier de configuration dans sites-available ? (pour geonature et pour taxhub ?) Je me demande si les différences de configuration ne viendrait pas aussi de l'installation des certificats Let's Encrypt par certobot sur le serveur. Il me semble que l'on peut spécifier des options genre -apache pour lors de la création des certificats, il mette aussi les configurations à jour automatiquement. Et sinon, comme le dit Camille, pour la 2.15, ça va bien simplifier d'avoir taxhub intégré dans geonature. À voir si le problème se reproduit lors de l'appel de l'API. |
|
Bonjour, De mon coté je vais voir et tester cette histoire de la présence ou non du '/' avant les query parameters. Pour moi les deux requêtes |
|
Ah OK OK, je pensais que la pratique était d'avoir un /à la fin, avant les paramètres. |
Version de l'application
###Terminal
Pixel 6a avec Android 14 et d'autres téléphones sous android 10 -> 14
Bonjour à tous·tes,
il faudrait réouvrir ce ticket : #238
je suis passé sur cette configuration (voir ci dessus) et j'ai toujours ce meme comportement :
[fr.geonature.datasync.api.ClientKt] --> GET https://taxhub.biodiv-occitanie.fr/api/taxref?orderby=cd_nom&fields=listes&limit=10000&page=1 INFO: [fr.geonature.datasync.api.ClientKt] <-- HTTP FAILED: java.net.UnknownServiceException: CLEARTEXT communication to taxhub.biodiv-occitanie.fr not permitted by network security policyJ'ai l'impression qu'il y a un problème sur la route TaxRef. Il avait été évoqué une erreur de HTTPS mais tout me parrait bien configurer et ça fonctionnait très bien avant. (l'erreur était apparu entre la RC2 et la RC3 mais je n'avais pas des versions de GN et TH compatible à l'époque. Aujourd'hui, tout devrait etre compatible).
¨Pour info, les logs complets :
16:38:05.407 INFO: [fr.geonature.occtax.MainApplication] starting fr.geonature.occtax2 (version 2.7.1)... 16:38:05.407 INFO: [fr.geonature.occtax.MainApplication] logs directory: '/storage/emulated/0/Android/data/fr.geonature.occtax2/logs' 16:38:05.407 INFO: [fr.geonature.occtax.MainApplication] internal storage: 'MountPoint(mountPath=/storage/emulated/0, storageType=INTERNAL)' 16:38:05.409 INFO: [fr.geonature.occtax.MainApplication] external storage: 'null' 16:38:05.455 INFO: [fr.geonature.commons.data.DatabaseModule] loading local database '/storage/emulated/0/Android/data/fr.geonature.occtax2/databases/data.db'... 16:38:05.456 INFO: [fr.geonature.datasync.features.settings.usecase.UpdateSettingsFromRemoteUseCase] loading app configuration... 16:38:05.457 INFO: [fr.geonature.datasync.settings.DataSyncSettingsFileDataSourceImpl] loading data sync settings from '/storage/emulated/0/Android/data/fr.geonature.occtax2/settings_occtax.json'... 16:38:05.469 INFO: [fr.geonature.datasync.api.GeoNatureAPIClientImpl] set server base URLs (GeoNature: 'https://geonature.biodiv-occitanie.fr', TaxHub: 'https://taxhub.biodiv-occitanie.fr')... 16:38:05.479 INFO: [fr.geonature.datasync.features.settings.usecase.UpdateSettingsFromRemoteUseCase] updating app configuration from 'https://geonature.biodiv-occitanie.fr'... 16:38:05.546 INFO: [fr.geonature.datasync.api.ClientKt] --> GET https://geonature.biodiv-occitanie.fr/api/gn_commons/t_mobile_apps 16:38:05.725 INFO: [fr.geonature.datasync.api.ClientKt] <-- 200 OK https://geonature.biodiv-occitanie.fr/api/gn_commons/t_mobile_apps (178ms, 2507-byte body) 16:38:05.730 INFO: [fr.geonature.datasync.packageinfo.PackageInfoRepositoryImpl] updating settings for 'fr.geonature.occtax2'... 16:38:05.733 INFO: [fr.geonature.datasync.packageinfo.io.AppSettingsJsonWriter] updating app settings '/storage/emulated/0/Android/data/fr.geonature.occtax2/settings_occtax.json' 16:38:05.734 INFO: [fr.geonature.datasync.settings.DataSyncSettingsFileDataSourceImpl] loading data sync settings from '/storage/emulated/0/Android/data/fr.geonature.occtax2/settings_occtax.json'... 16:38:05.735 INFO: [fr.geonature.datasync.api.GeoNatureAPIClientImpl] set server base URLs (GeoNature: 'https://geonature.biodiv-occitanie.fr', TaxHub: 'https://taxhub.biodiv-occitanie.fr')... 16:38:05.737 INFO: [fr.geonature.datasync.features.settings.usecase.UpdateSettingsFromRemoteUseCase] app configuration successfully updated from 'https://geonature.biodiv-occitanie.fr' 16:38:05.737 INFO: [fr.geonature.occtax.ui.home.HomeActivity] reloading settings after update... 16:38:05.738 INFO: [fr.geonature.occtax.features.settings.data.AppSettingsFileLocalDataSourceImpl] loading settings from '/storage/emulated/0/Android/data/fr.geonature.occtax2/settings_occtax.json'... 16:38:05.739 INFO: [fr.geonature.occtax.features.settings.io.AppSettingsJsonReader] input date settings loaded ('start': datetime, 'end': null) 16:38:05.742 INFO: [fr.geonature.occtax.features.settings.data.AppSettingsFileLocalDataSourceImpl] loading additional settings from '/storage/emulated/0/Android/data/fr.geonature.occtax2/settings_occtax.local.json'... 16:38:05.743 INFO: [fr.geonature.occtax.features.settings.repository.AppSettingsRepositoryImpl] no app settings found locally at '/storage/emulated/0/Android/data/fr.geonature.occtax2/settings_occtax.local.json' 16:38:05.744 INFO: [fr.geonature.occtax.features.settings.repository.AppSettingsRepositoryImpl] default app settings successfully loaded 16:38:05.748 INFO: [fr.geonature.datasync.sync.DataSyncViewModel] starting local data synchronization... 16:38:05.802 DEBUG: [fr.geonature.maps.ui.MapFragment] configure User-Agent for osmdroid: 'fr.geonature.maps/0.8.4' 16:38:05.806 INFO: [fr.geonature.maps.layer.presentation.LayerSettingsViewModel] preparing all layers: 'OpenStreetMap': [https://a.tile.openstreetmap.org, https://b.tile.openstreetmap.org, https://c.tile.openstreetmap.org] (active: true) 'OpenTopoMap': [https://a.tile.opentopomap.org, https://b.tile.opentopomap.org, https://c.tile.opentopomap.org] (active: true) 'IGN plan v2': [https://wxs.ign.fr/essentiels/geoportail/wmts?REQUEST=GetTile&SERVICE=WMTS&VERSION=1.0.0&STYLE=normal&TILEMATRIXSET=PM&FORMAT=image/png&LAYER=GEOGRAPHICALGRIDSYSTEMS.PLANIGNV2] (active: true) 'IGN ortho': [https://wxs.ign.fr/ortho/geoportail/wmts?REQUEST=GetTile&SERVICE=WMTS&VERSION=1.0.0&STYLE=normal&TILEMATRIXSET=PM&FORMAT=image/jpeg&LAYER=ORTHOIMAGERY.ORTHOPHOTOS] (active: true) 'IGN cadastre': [https://wxs.ign.fr/parcellaire/geoportail/wmts?REQUEST=GetTile&SERVICE=WMTS&VERSION=1.0.0&STYLE=normal&TILEMATRIXSET=PM&FORMAT=image/png&LAYER=CADASTRALPARCELS.PARCELS] (active: true), using online layers: true... 16:38:05.903 INFO: [fr.geonature.datasync.sync.DataSyncViewModel] configure data sync periodic worker (repeat interval: 7d, with additional data: true)... 16:38:05.993 INFO: [fr.geonature.datasync.sync.usecase.DataSyncUseCase] starting local data synchronization from 'https://geonature.biodiv-occitanie.fr' (with additional data: true)... 16:38:05.994 INFO: [fr.geonature.datasync.sync.usecase.DataSyncUseCase] synchronize dataset... 16:38:05.996 INFO: [fr.geonature.datasync.api.ClientKt] --> POST https://geonature.biodiv-occitanie.fr/api/meta/datasets (19-byte body) 16:38:28.870 INFO: [fr.geonature.datasync.api.ClientKt] <-- 200 OK https://geonature.biodiv-occitanie.fr/api/meta/datasets (22873ms, 5759867-byte body) 16:38:30.828 INFO: [fr.geonature.datasync.sync.usecase.DataSyncUseCase] dataset to update: 1528 16:38:30.838 INFO: [fr.geonature.datasync.sync.usecase.DataSyncUseCase] synchronize users... 16:38:30.839 INFO: [fr.geonature.datasync.api.ClientKt] --> GET https://geonature.biodiv-occitanie.fr/api/users/menu/1 16:38:30.896 INFO: [fr.geonature.datasync.api.ClientKt] <-- 200 OK https://geonature.biodiv-occitanie.fr/api/users/menu/1 (56ms, 173908-byte body) 16:38:30.972 INFO: [fr.geonature.datasync.sync.usecase.DataSyncUseCase] users to update: 1511 16:38:30.979 INFO: [fr.geonature.datasync.sync.usecase.DataSyncUseCase] synchronize taxonomy ranks... 16:38:30.981 INFO: [fr.geonature.datasync.api.ClientKt] --> GET https://taxhub.biodiv-occitanie.fr/api/taxref/regnewithgroupe2 16:38:31.821 INFO: [fr.geonature.datasync.api.ClientKt] <-- 200 OK https://taxhub.biodiv-occitanie.fr/api/taxref/regnewithgroupe2 (839ms, 776-byte body) 16:38:31.844 INFO: [fr.geonature.datasync.sync.usecase.DataSyncUseCase] taxonomy ranks to update: 48 16:38:31.847 INFO: [fr.geonature.datasync.sync.usecase.DataSyncUseCase] synchronize nomenclature types... 16:38:31.849 INFO: [fr.geonature.datasync.api.ClientKt] --> GET https://geonature.biodiv-occitanie.fr/api/nomenclatures/nomenclatures/taxonomy 16:38:31.973 INFO: [fr.geonature.datasync.api.ClientKt] <-- 200 OK https://geonature.biodiv-occitanie.fr/api/nomenclatures/nomenclatures/taxonomy (123ms, 317765-byte body) 16:38:32.174 INFO: [fr.geonature.datasync.sync.usecase.DataSyncUseCase] nomenclature types to update: 78 16:38:32.186 INFO: [fr.geonature.datasync.sync.usecase.DataSyncUseCase] nomenclature to update: 790 16:38:32.186 INFO: [fr.geonature.datasync.sync.usecase.DataSyncUseCase] synchronize nomenclature default values... 16:38:32.188 INFO: [fr.geonature.datasync.api.ClientKt] --> GET https://geonature.biodiv-occitanie.fr/api/occtax/defaultNomenclatures 16:38:32.220 INFO: [fr.geonature.datasync.api.ClientKt] <-- 200 OK https://geonature.biodiv-occitanie.fr/api/occtax/defaultNomenclatures (31ms, 282-byte body) 16:38:32.225 INFO: [fr.geonature.datasync.sync.usecase.DataSyncUseCase] nomenclature default values to update: 17 16:38:32.275 INFO: [fr.geonature.datasync.api.ClientKt] --> GET https://taxhub.biodiv-occitanie.fr/api/taxref/version 16:38:32.305 INFO: [fr.geonature.datasync.api.ClientKt] <-- 200 OK https://taxhub.biodiv-occitanie.fr/api/taxref/version (28ms, 90-byte body) 16:38:32.325 INFO: [fr.geonature.datasync.sync.repository.SynchronizeTaxaRepositoryImpl] taxa last synchronization date from remote: 2024-01-23T16:29:32Z 16:38:32.326 INFO: [fr.geonature.datasync.sync.repository.SynchronizeTaxaRepositoryImpl] synchronize taxa... 16:38:32.330 INFO: [fr.geonature.datasync.api.ClientKt] --> GET https://taxhub.biodiv-occitanie.fr/api/taxref?orderby=cd_nom&fields=listes&limit=10000&page=1 16:38:32.366 INFO: [fr.geonature.datasync.api.ClientKt] <-- HTTP FAILED: java.net.UnknownServiceException: CLEARTEXT communication to taxhub.biodiv-occitanie.fr not permitted by network security policy 16:38:32.376 WARN: [fr.geonature.datasync.sync.repository.SynchronizeTaxaRepositoryImpl] taxa synchronization finished with errors 16:38:32.886 WARN: [fr.geonature.datasync.sync.worker.DataSyncWorker] Synchronisation des taxons terminée avec des erreurs 16:38:32.888 INFO: [fr.geonature.datasync.sync.worker.DataSyncWorker] local data synchronization finished with failed tasks in 26.981sMerci d'avance.
The text was updated successfully, but these errors were encountered: