Si vous n'avez pas de trace d'humidité sur vos murs du genre salpetre ou autre champignon c'est que ca doit aller. Vu que les températures s'y pretent n'hésitez pas à bien aérer la pièce pour que ce soit sec avant les travaux.
La mousse jaune autour du dormant c'est tout à fait normal c'est ce qui comble l'espace entre la nouvelle fenêtre et l'ancien bati pour éviter le passage du froid. Mais si vous trouvez que le joint de fenetre est mal fait vous pourrez toujours remettre du joint c'est facile. C'est de la mousse polyuréthane expansive en bombe probablement.
Vous pouvez isoler ce mur c'est un cas d'école assez classique mais quelle surface etes-vous pret à sacrifier pour l'isolant... Concernant le prix et les isolants classiques que vous pouvez trouver partout :
- laine de verre, économique, bon isolant thermique et phonique
- laine de roche, pareil que laine de verre mais un peu meilleure et un peu plus chère
- polystyrène, pas cher, facile à poser mais moins bon thermiquement pour une même épaisseur
- isolants minces, principalement utilisés pour les combles aménagés
Chez moi par exemple j'ai mis 75mm de laine de verre + BA13 sur ossature et un mur brique en mauvais état également mais un peu plus correct que le votre. Vous pourrez le faire si vous prenez les bons matériaux et que vous n'avez pas 2 mains gauches !!

Pour isoler votre mur de facade vous pouvez vous en tirer aux environs de 100-200€ de matériaux et une bonne journée de bricolage !
Je ne suis pas professionnel alors j'apporte ma maigre expérience, d'autres avis seront bienvenus.