Es un problema de fuente. Cualquiera que sea la fuente que haya establecido como valor predeterminado de matplotlib, no tiene ese carácter en particular. Hay varias formas de solucionar esto, pero va a depender bastante del sistema. (Puede ser tan simple como asegurarse de tener instalado el paquete de fuentes adecuado.)
Puede establecer las fuentes que matplotlib usará en su .matplotlibrc file. Si no encuentra la fuente exacta que está tratando de usar, puede especificar la ruta completa al archivo de fuente .ttf apropiado en el archivo .matplotlibrc. Por lo general, no será necesario que hagas esto.
Sin embargo, hay una manera más simple, en el caso particular que especificó anteriormente.
En general, es mejor utilizar matplotlib's mathtext rendering para cosas como símbolos griegos. P.ej. do matplotlib.pyplot.xlabel(r'Sarcomere Length ($\mu m$)')
en su lugar.
Tenía la esperanza de evitar usar Computer Modern solo para las unidades, pero supongo que no es tan importante. – srunni