Python: forma óptima de agregar al diccionario los valores de la lista

Question

Estoy creando una clase con un diccionario con claves enteras y valores de lista, entre otros. Sin embargo, agregar valores a este diccionario parece ser un cuello de botella real y me preguntaba si podría haber algún modo de acelerar mi código.

class myClass(): 

    def __init__(self): 
    self.d = defaultdict(list) 

    def addValue(self, index, value): 
    self.d[index].append(value) 

¿Es esta la mejor manera de hacerlo? Realmente no me importa el orden de los valores, así que tal vez haya una estructura de datos más adecuada con un apéndice más rápido. Por otra parte, 'append' no parece ser el problema principal, porque si simplemente anexo a una lista vacía, el código es mucho más rápido. Supongo que es la carga de la lista previamente almacenada la que ocupa la mayor parte del tiempo.

---

descubrí que el problema no está en el dict, pero en la lista de adición (a pesar de que se reivindique lo contrario en mi post original, por lo que pido disculpas). Este problema se debe a un error en el recolector de basura de Python, que está bien explicado en this other question. Desactivar el gc antes de agregar todos los valores y luego volver a habilitarlo, ¡acelera enormemente el proceso!

Answer 1

Como conclusión, puedo decir que mi código en la pregunta original es más rápido o más rápido que todas las demás sugerencias.

Answer 2

compararlo con esto:

class myClass(): 

    def __init__(self): 
    self.d = {} 

    def addValue(self, index, value): 
    self.d.setdefault(index, []).append(value) 

Answer 3

Dicen "Es mejor pedir perdón que permiso.". Ahora no estás pidiendo permiso personalmente, pero pensé que tal vez defaultdict sí, y eso es lo que ralentiza.

try esto:

class myClass(): 

    def __init__(self): 
    self.d = {} 

    def addValue(self, index, value): 
    try: 
     self.d[index].append(value) 
    except KeyError: 
     self.d[index] = [value] 

Este intenta acceder a la clave index en el diccionario, si no existe se levantará un KeyError, y actuar en consecuencia.

¿Es más rápido?