Parallélisation des codes

je parlerai de la façon d'utiliser plusieurs machines en même temps (en parallèle) pour diminuer le temps de réponse d'une application avec plusieurs possibilités :
1-on ne fait rien : juste confiance au compilateur pour le faire tout seul et utiliser le max de processeurs disponibles sur une machine donnée, avec des possibilités de "speed down" si on n'a pas fait attention à l'architecture sous-jacente (importance de la hiérarchie mémoire)
2-embarassingly parallel : on peut lancer plusieurs instances du même code sur des données différentes
3-plus compliqué : on ré-écrit son code séquentiel sous forme d'un graphe de processus communiquants
Je ferai un rapide survol de la bibliothèque MPI et/ou des bibli. numériques déjà parallélisées (scalapack, petsc, mumps, ...)