2012-08-27 24 views
7

Tengo datos de entrada en un archivo aplanado. Quiero normalizar estos datos, dividiéndolos en tablas. ¿Puedo hacerlo perfectamente con pandas - es decir, leyendo los datos aplanados en una instancia DataFrame y luego aplicando algunas funciones para obtener las instancias DataFrame resultantes?pandas: normalizar un DataFrame

Ejemplo:

datos me es dado en el disco en forma de un archivo CSV como esto:

ItemId ClientId PriceQuoted ItemDescription 
1  1   10   scroll of Sneak 
1  2   12   scroll of Sneak 
1  3   13   scroll of Sneak 
2  2   2500   scroll of Invisible 
2  4   2200   scroll of Invisible 

Quiero crear dos tramas de datos:

ItemId ItemDescription 
1  scroll of Sneak 
2  scroll of Invisibile 

y

ItemId ClientId PriceQuoted 
1  1   10 
1  2   12 
1  3   13 
2  2   2500 
2  4   2200 

Si pandas solo tiene una buena solución para el caso más simple (resultados de normalización en 2 tablas con relación de varios a uno, como en el ejemplo anterior), podría ser suficiente para mis necesidades actuales. Sin embargo, es posible que necesite una solución más general en el futuro.

Respuesta

9
In [30]: df = pandas.read_csv('foo1.csv', sep='[\s]{2,}') 

In [30]: df 
Out[30]: 
    ItemId ClientId PriceQuoted  ItemDescription 
0  1   1   10  scroll of Sneak 
1  1   2   12  scroll of Sneak 
2  1   3   13  scroll of Sneak 
3  2   2   2500 scroll of Invisible 
4  2   4   2200 scroll of Invisible 

In [31]: df1 = df[['ItemId', 'ItemDescription']].drop_duplicates().set_index('ItemId') 

In [32]: df1 
Out[32]: 
      ItemDescription 
ItemId 
1   scroll of Sneak 
2  scroll of Invisible 

In [33]: df2 = df[['ItemId', 'ClientId', 'PriceQuoted']] 

In [34]: df2 
Out[34]: 
    ItemId ClientId PriceQuoted 
0  1   1   10 
1  1   2   12 
2  1   3   13 
3  2   2   2500 
4  2   4   2200 
Cuestiones relacionadas