import sys
fnimi="A2_arenduskorpus.txt"
if len(sys.argv)==2: fnimi=sys.argv[1]
sisendfail="sonaliigid/"+fnimi
valjund_sonaliigid="nelikud/"+fnimi
print(valjund_sonaliigid)
f1=open(sisendfail, "r", encoding="utf-8")
f3=open(valjund_sonaliigid, "w", encoding="utf-8")
npikkus=4
hoidla={}
nr=0
for rida in f1:
  nr+=1
  if nr % 10000 == 0: print(nr)
  r=rida.strip().replace("Z", "")
  ngramid=[r[koht: koht+npikkus] for koht in range(len(r)-npikkus+1)]
  for ngram in ngramid:
    if ngram in hoidla: hoidla[ngram]+=1
    else: hoidla[ngram]=1
votmed=list(hoidla.keys())
votmed.sort()
for voti in votmed:
    print(voti, hoidla[voti], sep=",", file=f3)
f3.close()