import json
with open("osakaalud_taga.txt") as f1:
  osakaalud=json.load(f1)
#print(osakaalud)

def sobiv(kolmik):
  return "D" in kolmik and "$" not in kolmik and "^" not in kolmik

#for sliik in ["A2", "B1", "B2", "C1"]:
if 1==1:
 sonaliik = open("sonaliigid_koos.txt").readlines()
 sonaliik=[rida.strip() for rida in sonaliik]
 tekst = open("/mnt/c/jaagup/22/korpused/etnc19_reference_corpus_clean.txt").readlines()
 vastus=open("refcorp_harv_osakaal_taga.txt", "w", encoding="utf-8")
 for reanr in range(len(sonaliik)):
   if reanr%100000==0: print(reanr)
   teated=[]
   srida=sonaliik[reanr].replace("Z", "")
   nelikud=[srida[koht:koht+4] for koht in range(len(srida)-3)]
   for nelik in nelikud:
     kolmik=nelik[1:4]
     lisa=nelik[0]
     if sobiv(kolmik):
      if kolmik not in osakaalud:
        teated.append("puuduv kolmik "+kolmik)
      else:
        if lisa not in osakaalud[kolmik]:
           teated.append("puuduv  eeskontekst "+lisa+">"+kolmik)
        if osakaalud[kolmik][lisa][1]<5:
           teated.append(str(round(osakaalud[kolmik][lisa][1], 3))+"% "+lisa+">"+kolmik)

   if teated:
     print(tekst[reanr].strip(), file=vastus)
     print(sonaliik[reanr], file=vastus)
     print("\n".join(teated), file=vastus)
     print(file=vastus)
 vastus.close()