búsqueda rápida para el último elemento en un Django QuerySet?

Question

Tengo un modelo llamado Valor. Valor tiene un robot. Estoy consultando de esta manera:

Valor.objects.filter(robot=r).reverse()[0] 

para obtener el último robot Valor the r. Valor.objects.filter (robot = r) .count() es aproximadamente 200000 y obtener los últimos elementos lleva aproximadamente 4 segundos en mi PC.

¿Cómo puedo acelerarlo? Estoy preguntando de la manera incorrecta?

Answer 1

Parece que su conjunto de datos va a ser lo suficientemente grande como para querer desnormalizar un poco las cosas. ¿Has intentado hacer un seguimiento del último objeto Valor en el objeto Robot?

class Robot(models.Model): 
    # ... 
    last_valor = models.ForeignKey('Valor', null=True, blank=True) 

y luego usar un post_savesignal para realizar la actualización.

from django.db.models.signals import post_save 

def record_last_valor(sender, **kwargs): 
    if kwargs.get('created', False): 
     instance = kwargs.get('instance') 
     instance.robot.last_valor = instance 

post_save.connect(record_last_valor, sender=Valor) 

Va a pagar el costo de una transacción db adicional al crear los objetos de Valor pero la consulta del last_valor estará ardiendo rápido. Juega con él y ve si la compensación vale la pena para tu aplicación.

Answer 2

Bueno, no hay una cláusula order_by así que me pregunto qué quiere decir con 'last'. Suponiendo que haya querido decir "último agregado",

Valor.objects.filter(robot=r).order_by('-id')[0] 

podría hacer el trabajo por usted.

Answer 3

¿Existe una cláusula de límite en django? De esta forma puedes tener el db, simplemente devuelve un solo registro.

MySQL

select * from table where x = y limit 1 

servidor SQL

select top 1 * from table where x = y 

oráculo

select * from table where x = y and rownum = 1 

Sé que esto no se traduce en Django, pero alguien puede volver y limpiar esto.

Answer 4

Si ninguna de las sugerencias anteriores funciona, sugiero eliminar a Django de la ecuación y ejecutar este sql en bruto en su base de datos. Supongo que en sus nombres de tabla, por lo que puede que tenga que ajustar en consecuencia:

SELECT * FROM valor v WHERE v.robot_id = [robot_id] ORDER BY id DESC LIMIT 1; 

¿Eso es lenta? Si es así, haga que su RDBMS (¿MySQL?) Le explique el plan de consulta. Esto le indicará si está realizando escaneos completos de tablas, lo que obviamente no quiere con una tabla tan grande. También puede editar su pregunta e incluir el esquema de la tabla valor para que podamos verla.

Además, se puede ver el SQL que Django está generando al hacer esto (utilizando el criterio de consulta proporcionado por Peter Rowell):

qs = Valor.objects.filter(robot=r).order_by('-id')[0] 
print qs.query 

Asegúrese de que SQL es similar a la consulta 'en bruto' que he publicado encima. También puede hacer que su RDBMS le explique ese plan de consulta.

Answer 5

La sintaxis MySQL óptima para este problema sería algo a lo largo de las líneas de:

SELECT * FROM table WHERE x=y ORDER BY z DESC LIMIT 1 

El Django equivalente de esto sería:

Valor.objects.filter(robot=r).order_by('-id')[:1][0] 

Aviso cómo esta solución utiliza el método de Django slicing a limite el conjunto de consulta antes de compilando la lista de objetos.

Answer 6

bastante rápido también debería ser:

qs = Valor.objects.filter(robot=r) # <-- it doesn't hit the database 
count = qs.count()     # <-- first hit the database, compute a count 
last_item = qs[ count-1 ]   # <-- second hit the database, get specified rownum 

Por lo tanto, en la práctica se ejecuta sólo 2 consultas SQL;)

Answer 7

La forma correcta de hacer esto, es el uso de la incorporada en el método de QuerySet última() y alimentarlo cualquiera que sea la columna (nombre del campo) por la que debe ordenar. El inconveniente es que solo puede ordenar por una sola columna db.

La implementación actual se ve así y está optimizada en el mismo sentido que la sugerencia de @ Aaron.

def latest(self, field_name=None): 
    """ 
    Returns the latest object, according to the model's 'get_latest_by' 
    option or optional given field_name. 
    """ 
    latest_by = field_name or self.model._meta.get_latest_by 
    assert bool(latest_by), "latest() requires either a field_name parameter or 'get_latest_by' in the model" 
    assert self.query.can_filter(), \ 
      "Cannot change a query once a slice has been taken." 
    obj = self._clone() 
    obj.query.set_limits(high=1) 
    obj.query.clear_ordering() 
    obj.query.add_ordering('-%s' % latest_by) 
    return obj.get() 

Answer 8

Django 1.6 introduce .First() y .last():

https://docs.djangoproject.com/en/1.6/ref/models/querysets/#last

Por lo que podría simplemente hacer:

Valor.objects.filter(robot=r).last() 

Answer 9

Model_Name.objects.first() 

// Para obtener primero elemento

Model_name.objects.last() 

// Para obtener la última()

en mi caso el pasado no es trabajo, porque sólo hay una fila en la base de datos pueden ser de ayuda completa para u también :)