kokku=165687818
plokkkokku=0
algus=""
puhver=[]
kogupuhver=[]
f2=open("plokid4_eest_tahestikus.txt", "w")
read=open("4gram_eest.txt").readlines()
read=[rida.strip() for rida in read]
read.sort(key=lambda rida: rida[1:4])
for rida in read:
  if (algus!=rida[1:4]):
   #  if "D" in algus:
     if algus: 
          puhver.sort(key=lambda k: k[0])
          kogupuhver.append([algus, plokkkokku, 100*plokkkokku/kokku, puhver[:]])
     algus=rida[1:4]
     plokkkokku=0
     puhver=[]
  m=rida.strip().split(",")
  puhver.append([rida[0], int(m[1])])
  plokkkokku+=int(m[1])


#puhver.sort(key=lambda k: -k[1])
puhver.sort(key=lambda k: k[0])
kogupuhver.append([algus, plokkkokku, 100*plokkkokku/kokku, puhver[:]])
kogupuhver.sort(key=lambda k: k[0])
for kirje in kogupuhver:
  print(" "+kirje[0], kirje[1], str(round(kirje[2], 4))+"%", sep=",", file=f2)
  for rida in kirje[3]:
     print(rida[0],rida[1], str(round(100*rida[1]/kirje[1]))+"%", sep=",", file=f2)
f2.close()