En lo personal, yo he usado tanto Solr y Elasticsearch con Django con pajar y han sido felices con los resultados de ambos. Solr parecía tener una curva de aprendizaje un poco más pronunciada, pero no fue suficiente para romper el trato. Si tiene en mente una implementación basada en la nube para su proyecto, puede optar por ElasticSearch ya que presenta indexación distribuida y algunas otras funciones útiles en ese tipo de entorno. No tengo ninguna experiencia con Xapian, así que no te induciré a error con ninguna información allí.
Es posible que desee echa un vistazo a este post del creador de Elasticsearch https://stackoverflow.com/a/2288211/1608085 (sí, va a ser un poco sesgada)
También puedes ver esta respuesta anterior para una comparación de Solr y Elasticsearch https://stackoverflow.com/a/10213568/1608085
En lugar de preguntar "Por qué", sería más útil enumerar algunas razones si está familiarizado con Sphinx y puede compararlo con ElasticSearch & Solr. – Medorator