# -*- coding: utf-8 -*-
import pandas as pd
import matplotlib.pyplot as plt
lapsed=pd.read_csv("http://www.tlu.ee/~jaagup/andmed/muu/5klass.txt")
lapsed

lapsed.head()
lapsed.tail()
lapsed.columns
lapsed.describe()

lapsed.as_matrix(["pikkus"]).T[0].tolist() #Tavalise massiivina

lapsed.sort_values(by="eesnimi").head()
lapsed.sort_values(by="eesnimi", ascending=False).head()
lapsed.eesnimi
lapsed["eesnimi"]
lapsed[["eesnimi", "pikkus"]]
lapsed.loc[10:20, ["eesnimi", "pikkus"]]
lapsed.loc[17, "eesnimi"]
lapsed[lapsed.pikkus>163]
lapsed[(lapsed.pikkus>163) & (lapsed.mass<55)]
lapsed.pikkus.mean()
lapsed.apply(max)
lapsed[["pikkus", "mass"]].apply(lambda x: x.max()-x.min())
lapsed.pikkus.value_counts()

lapsed.eesnimi.str.lower()
lapsed.eesnimi.str.find("a")

lapsed2=lapsed.copy()
lapsed2.loc[lapsed2.eesnimi=="Juku", "eesnimi"]="Juhan"
lapsed2["mpikkus"]=lapsed2["pikkus"]/100
lapsed2
uuslaps=lapsed2.iloc[0].copy()
uuslaps
uuslaps.eesnimi="Mait"
uuslaps.pikkus=165
uuslaps.mass=66
uuslaps.sugu="m"
lapsed2=lapsed2.append(uuslaps, ignore_index=True)
lapsed2.tail()
lapsed2.to_csv(index=False)
lapsed2.to_csv("d:/jaagup/f1.csv", index=False)

lapsed.groupby(["sugu"]).pikkus.min()
lapsed.groupby(["sugu"]).max()
lapsed.groupby(["sugu"]).sugu.count()
lapsed.groupby(["sugu"])["pikkus", "mass"].min()

lapsed.pikkus.plot()
lapsed.pikkus.hist()
lapsed.pikkus.hist(by=lapsed.sugu)
lapsed.pikkus.plot(kind="bar")
lapsed.pikkus.plot.box()
lapsed.boxplot(by="sugu")
lapsed[["pikkus", "sugu"]].boxplot(by="sugu")
lapsed.plot.scatter(x='pikkus', y='mass')

ax=lapsed[lapsed.sugu=="n"].plot.scatter(x='pikkus', y='mass', c="r")
lapsed[lapsed.sugu=="m"].plot.scatter(x='pikkus', y='mass', c='b', ax=ax)

lapsed.pikkus.plot.kde()

lapsed.mass.cumsum()
lapsed.mass.cumsum().plot()

poisid=lapsed[lapsed.sugu=="m"]
poisid
sortpoisid=poisid.sort_values(by="pikkus")

plt.axis([0, 40, 100, 200])
sortpoisid.pikkus.plot(kind="bar")
plt.axhline(sortpoisid.pikkus.mean())
sortpoisid.pikkus.diff()

p=lapsed.groupby("sugu").pikkus
p
p.mean().plot.bar(yerr=p.std())

pd.crosstab(lapsed.sugu, lapsed.pikkus)

pakid=pd.read_csv("http://www.tlu.ee/~jaagup/andmed/muu/5klasspakid.txt")
lapsedpakkidega=pd.merge(lapsed, pakid, left_on="sugu", right_on="sugu")
lapsedpakkidega
lapsedpakkidega.groupby(["sugu"]).pakimass.sum()