Carga dinámica de módulos python

Question

En python, ¿cómo se agregan módulos dinámicamente a un paquete mientras se está ejecutando su programación?

Quiero ser capaz de añadir módulos al directorio del paquete de un proceso exterior, y ser capaz de utilizar los nuevos módulos en mi programa:

import package 

def doSomething(name): 
    pkg = __import__("package." + name) 
    mod = getattr(pkg, name) 
    mod.doSomething() 

¿Cómo se hace esto?

Answer 1

Agregue el directorio del módulo al sys.path y use la instrucción normal import.

Answer 2

Su código es casi correcto.

Véase la función __import__.

def doSomething(name): 
    name = "package." + name 
    mod = __import__(name, fromlist=['']) 
    mod.doSomething() 

Answer 3

para detectar cambios en un directorio, en Linux, puede utilizar pyinotify (here es un buen ejemplo de trabajo); en una Mac, fsevents (a través del paquete PyObjC que viene con su Mac); en Windows, Directory Change Notifications a través de win32api (o el módulo de la biblioteca estándar de Python ctypes). AFAIK, nadie ha completado estos diversos enfoques en un paquete portátil. (Por supuesto, en el peor de los casos, puede recurrir a enfoques de "tecnología más baja", como el sondeo periódico, como Tim Golden's article, quizás con un toque de "alertas de un proceso externo" a través de una señal, etc.).

Una vez que tenga la notificación y el nombre del módulo nuevo o modificado, debería funcionar el código que muestra en la pregunta.

Answer 4

Bastien ya ha respondido a la pregunta, de todos modos se puede encontrar útil esta función que utilizo para cargar todos los módulos de una subcarpeta en un diccionario:

def loadModules(): 
    res = {} 
    import os 
    # check subfolders 
    lst = os.listdir("services") 
    dir = [] 
    for d in lst: 
     s = os.path.abspath("services") + os.sep + d 
     if os.path.isdir(s) and os.path.exists(s + os.sep + "__init__.py"): 
      dir.append(d) 
    # load the modules 
    for d in dir: 
     res[d] = __import__("services." + d, fromlist = ["*"]) 
    return res 

Esta otra es crear una instancia de un objeto de una clase definida en uno de los módulos cargados por la primera función:

def getClassByName(module, className): 
    if not module: 
     if className.startswith("services."): 
      className = className.split("services.")[1] 
     l = className.split(".") 
     m = __services__[l[0]] 
     return getClassByName(m, ".".join(l[1:])) 
    elif "." in className: 
     l = className.split(".") 
     m = getattr(module, l[0]) 
     return getClassByName(m, ".".join(l[1:])) 
    else: 
     return getattr(module, className) 

una forma sencilla de utilizar esas funciones es la siguiente:

mods = loadModules() 
cls = getClassByName(mods["MyModule"], "submodule.filepy.Class") 
obj = cls() 

Obviamente, puede reemplazar todas las referencias de subcarpetas de "servicios" por parámetros.

Answer 5

Un truco con la respuesta de Bastien ... La función __import__() devuelve el objeto del paquete, no el objeto del módulo. Si usa la siguiente función, cargará dinámicamente el módulo del paquete y le devolverá el módulo, no el paquete.

def my_import(name): 
    mod = __import__(name) 
    components = name.split('.') 
    for comp in components[1:]: 
     mod = getattr(mod, comp) 
    return mod 

entonces usted puede hacer:

mod = my_import('package.' + name) 
mod.doSomething() 

Answer 6

import importlib 

module = importlib.import_module('my_package.my_module') 
my_class = getattr(module, 'MyClass') 
my_instance = my_class()