Implementación de MapReduce en Scala

Question

Me gustaría encontrar un framework MapReduce bueno y robusto, para ser utilizado desde Scala.

Answer 1

Para agregar a la respuesta en Hadoop: hay al menos dos envolturas de Scala que hacen que el trabajo con Hadoop sea más apetecible.

Scala MapReduce (SMR): http://scala-blogs.org/2008/09/scalable-language-and-scalable.html

SHadoop: http://jonhnny-weslley.blogspot.com/2008/05/shadoop.html

UPD 05 de octubre 11

También hay Scoobi marco, que tiene impresionante expresividad.

Answer 2

http://hadoop.apache.org/ es independiente del idioma.

Answer 3

Puede estar interesado en scouchdb, una interfaz de Scala para usar CouchDB.

Otra idea es usar GridGain. ScalaDudes tiene un ejemplo del uso de GridGain con Scala. Y here es otro ejemplo.

Answer 4

Hace un tiempo, encontré exactamente este problema y terminé escribiendo una pequeña infraestructura para que sea fácil usar Hadoop desde Scala. Lo usé por mi cuenta por un tiempo, pero finalmente logré ponerlo en la web. Se llama (muy originalmente) ScalaHadoop.

Answer 5

a otro punto de jshen:

hadoop de streaming simplemente utiliza sockets. Al usar transmisiones de Unix, su código (cualquier idioma) simplemente tiene que poder leer desde stdin y arrojar secuencias delimitadas por tabuladores. implemente un asignador y, si es necesario, un reductor (y si corresponde, configúrelo como el combinador).

Answer 6

Para una API scala en la parte superior de hadoop echa un vistazo a Scoobi, todavía está en desarrollo, pero muestra una gran promesa. También hay algún esfuerzo para implementar colecciones distribuidas en la parte superior de hadoop en el Scala incubator, pero ese esfuerzo aún no se puede utilizar.

También hay un nuevo contenedor scala para la cascada de Twitter, llamado Scalding. Después de mirar brevemente la documentación de escaldado parece que si bien hace que la integración con cascada sea más suave, todavía no resuelve lo que veo como el principal problema con la cascada: tipo de seguridad. Cada operación en cascada opera en tuplas en cascada (básicamente una lista de valores de campo con o sin un esquema separado), lo que significa que escribe errores, es decir Unir una clave como una Cadena y una clave como Largo lleva a fallas de tiempo de ejecución.

Answer 7

En lo personal, me he convertido en un gran fan de la chispa

http://spark-project.org/

Usted tiene la capacidad de hacer Cluster de Computación en memoria, lo que reduce significativamente los gastos generales que iba a experimentar operaciones de MapReduce uso intensivo del disco.