v2.4.4 - Add HiFi assembler MetaMDBG

1 Contexte scientifique

Idem précèdent

2 Description de la demande

Amélioration de l'assemblage des données pacbio HiFi en donnant la possibilité d'utilise metaMDBG

3 Organisation

3.1 Planning

test de metaMDBG par rapport aux autre assembleur (HiFiasm et MetaFlye) sur différents jeux de données donc les résultats sont connus: septembre 2024. Choisir si on garde le 3 ou si on en laisse que 2. Voir comment il fournit l'info de la circularité, tester aussi le co-assemblage.

développement : octobre 2024

test du workflow et modification des conséquences du changement : novembre 2024

Mise à jour des images singularity (en profiter pour mettre à jour les autres outils) : fin novembre 2024

Intégration et tests fonctionnel à mettre à jour : début décembre 2024

3.2 Personnes

Implémentation : Philippe Ruiz

Tests et revue du code : Claire et Philippe Ruiz

4. Échéancier

voir planning

5 Critères de validation

Nos trois jeux de tests sont ok et les nouveaux outputs sont validés manuellement !

Test du pipeline et revue de code : Claire sur projets réels

6 Bilans et modifications du planning et des ressources

Bilan du 16 décembre 2024

Pas de changement dans les ressources du projet. Décalage de la date de release pour cause de réponses aux reviewers pour le papier et du retard pris par Claire dans les tests de la version précédente.

checkM2 : toutes les versions sont vérifiées et ok.

A faire :

• merge branch CD_HitAA -> master
• renommer branch 239-metamdbg -> devel ?? ==> finalement on ne change pas le nom, on utilisera devel la prochaine fois
• vérifier la mise à disposition des 2 versions de chaque image singularity (2.4.2 et 2.4.3) ==> dans le prochaine version (239-metamdbg) on va faire évoluer les images singularity et donc on déposer l'image "devel"
• mise à jour et test des images singularity ==> possibilité de faire des images avec un seul outil et de dire dans la config à nextflow de l'utiliser
• relire la documentation ==> Claire doit relire les outputs PR lui envoie

Bilan du 27 janvier 2025

Nouveau planning dû aux retards accumulé à cause de la priorité donnée au papier.

mise à jour des outils qui ne changent rien dans les images singularity : février 2025

test de metaMDBG par rapport aux autre assembleur (HiFiasm et MetaFlye) sur différents jeux de données donc les résultats sont connus: MARS 2025. Choisir si on garde le 3 ou si on en laisse que 2. Voir comment il fournit l'info de la circularité, tester aussi le co-assemblage.

développement : AVRIL 2025

test du workflow et modification des conséquences du changement : MAI 2025

Mise à jour des images singularity (avec les outils qui changent des choses) : FIN JUIN 2025

Intégration et tests fonctionnel à mettre à jour : FIN JUILLET 2025

Pas de changement dans les ressources du projet.

Bilan du 25 février 2025

mise à jour des outils qui ne changent rien dans les images singularity : février 2025. A peu prés ok, voir la liste sur l'issue qui se fait au fur et à mesure et on a déjà commencé aussi les outils prioritaires qui changent des choses. On fait un peu tout en même temps finalement mais on avance.

Le reste du planning n'a pas bougé.

test de metaMDBG par rapport aux autre assembleur (HiFiasm et MetaFlye) sur différents jeux de données donc les résultats sont connus: MARS 2025. Choisir si on garde le 3 ou si on en laisse que 2. Voir comment il fournit l'info de la circularité, tester aussi le co-assemblage.

développement metaMDBG à finaliser : AVRIL 2025

test du workflow et modification des conséquences du changement : MAI 2025

Mise à jour des images singularity (avec les outils qui changent des choses) : FIN JUIN 2025

Intégration et tests fonctionnel à mettre à jour : FIN JUILLET 2025

Pas de changement dans les ressources du projet.

Bilan du 13 mai 2025

test de metaMDBG par rapport aux autre assembleur (HiFiasm et MetaFlye) sur différents jeux de données donc les résultats sont connus: MARS 2025. Choisir si on garde le 3 ou si on en laisse que 2. La circularité est notée come dans hifiasm et le co-asemblage se configure comme Hifiasm également, tout est ok et fonctionne. ==> retard dû à l'exploration des cas limites. nouvelle dead line le 20 mai.

Update du 20 mai : MetaMDBG consomme moins de ressources RAM et cpu et produit des assemblages de bonnes qualités. Quand 3 souches proches Hifiasm couvre mieux les génomes attendus que MetaMDBG mais semble faire plus de chimères. Pour le moment le choix a été fait de garder les 3 mais de mettre metaMDBG par défaut pour le HiFi.

développement metaMDBG à finaliser : AVRIL 2025 ==> OK

test du workflow et modification des conséquences du changement : MAI 2025

Mise à jour des images singularity (avec les outils qui changent des choses) : FIN JUIN 2025

Intégration et tests fonctionnel à mettre à jour : FIN JUILLET 2025

Pas de changement dans les ressources du projet.

Bilan du 28 mai 2025

MetaMDBG : est-ce que les tests sont ok ? Rajout d'un test fonctionnel ok. Il faut rajouter les données dans le repository de jeux de tests. On y est presque. Ok pour le timing prévu donc.

Note : rajouter un message d'erreur pour prévenir l'utilisateur que si il a préconisé un assembleur --assembly et mis un assemblage dans la samplesheet, l'assemblage ne sera pas rééffectué.

Plantage binette (pyfastx) : Philippe a rencontré le problème une fois mais ensuite le même test a fonctionné correctement. Il faut donc retester et si cela se reproduit le remonter à Jean avec le jeux de données et la commande.

réponses reviewers : En cours mais les données marines font un binning très moche. Claire regarde si ce ne serait pas à cause d'un assemblage chimérique.

bug kingdom unknown : C'est la base de données qui a changé, le kingdom était nommé superkingdom et donc on doit modifier le code en conséquence. Ce sera corrigé dans la prochaine version en juillet.

Mise à jour des dépendances (voir issue dédiée) : On fait encore eggnog mapper et samtools et ce sera ok pour cette version.

Point sur les autres issues. On a fermée quelques issues.

Prochain point prévu le : 19 juin juste Philippe et Claire

Autre point avec Céline : le 23 juin à 10h. Maria n'est pas disponible.

Pas de changement dans les ressources du projet.