import json
import stanza
protsendipiir=1
fnimi="C1"
sisendtekstifail="/home/juku/oma/23/06/m2-corpus-main/test/margendusega/"+fnimi+".txt"
with open("/home/juku/oma/23/03/kolmikud/v2/osakaalud_koik_ees.txt") as f1:
  osakaalud_ees=json.load(f1)
with open("/home/juku/oma/23/03/kolmikud/v2/osakaalud_koik_taga.txt") as f1:
  osakaalud_taga=json.load(f1)
sisend=open(sisendtekstifail, encoding="utf-8").readlines()
sisend=[rida.strip() for rida in sisend]+[""]
while sisend[0]=="": sisend.pop(0)
nlp=stanza.Pipeline(lang="et", processors="tokenize,pos")
parandused=[]
piiriall=0
neistparandatud=0
paranduskogused={}
kolmikuparandused={}

def yhenda(kolmikud, parandused):
    v=[]
    for kolmik in kolmikud:
        if kolmik[2]:
          k=kolmik[:]+[[]]
          for parandus in parandused:
             if parandus[0]>=kolmik[0] and parandus[1]<=kolmik[1]:
                k[-1].append(parandus[:]+["tervik"])
             if parandus[0]<kolmik[0] and parandus[1]>kolmik[0] and parandus[1]<=kolmik[1]:
                k[-1].append(parandus[:]+["osaline ees"])
             if parandus[0]>=kolmik[0] and parandus[0]<=kolmik[0] and parandus[1]>kolmik[1]:
                k[-1].append(parandus[:]+["osaline taga"])
          v.append(k)
    return v

for rida in sisend:
    if rida.startswith("S "):
        print(rida)
        kolmikud=[]
        parandused=[]
        dok=nlp(rida[2:])
        jada="".join([sona.xpos for sona in  dok.sentences[0].words])+"$"
        koht=0
        print(jada)
        while koht<len(jada)-2:
          if jada[koht]!='Z':
             abi=koht
             kolmik=""
             while len(kolmik)<3 and abi<len(jada)-1:
                if jada[abi]!='Z':
                  kolmik+=jada[abi]
                abi+=1
             kolmikuots=abi
             if len(kolmik)==3:
                while jada[abi]=="Z": abi+=1
                taga=jada[abi]
                otsakoht=abi+1
                abi=koht-1                
                while abi>=0 and jada[abi]=='Z': abi-=1
                if abi>=0: 
                    ees=jada[abi]
                    alguskoht=abi
                else: 
                    ees="^"
                    alguskoht=0
                kommentaar="-"
                eesprotsent=0
                if kolmik in osakaalud_ees:
                    if ees in osakaalud_ees[kolmik]:
                        eesprotsent=osakaalud_ees[kolmik][ees][1]
                    else:
                        kommentaar+=" puuduv eeskontekst"
                else:
                    kommentaar+=" puuduv eeskonteksti kolmik"  
                kolmikud.append([alguskoht, kolmikuots, eesprotsent<protsendipiir, ees+">"+kolmik, "ees", ees, eesprotsent, kommentaar])                  
                kommentaar="-"
                tagaprotsent=0
                if kolmik in osakaalud_taga:
                    if taga in osakaalud_taga[kolmik]:
                        tagaprotsent=osakaalud_taga[kolmik][taga][1]
                    else:
                        kommentaar+=" puuduv tagakontekst"
                else:
                    kommentaar+=" puuduv taga kolmik"                    
                kolmikud.append([koht, otsakoht, tagaprotsent<protsendipiir, kolmik+"<"+taga, "taga", taga, tagaprotsent, kommentaar])                  
          koht+=1
        #print(kolmikud)
    if rida.startswith("A"):
        m=rida[2:].split("|||")
        alates, kuni=map(int, m[0].split())
        parandused.append([alates, kuni, m[1], m[5]])
    if len(rida.strip())==0: 
        #print(parandused)
        print(yhenda(kolmikud, parandused))
        for k in yhenda(kolmikud, parandused):
            if k[3] not in kolmikuparandused:
                kolmikuparandused[k[3]]={"puudub":[]}
            piiriall+=1
            if k[-1]: 
                neistparandatud+=1
            else:
                kolmikuparandused[k[3]]["puudub"].append(0)
            for p in k[-1]:
                if p[3]=="0":
                    if p[2] not in paranduskogused:
                        paranduskogused[p[2]]=0
                    if p[2] not in kolmikuparandused:
                        kolmikuparandused[k[3]][p[2]]=[]
                    paranduskogused[p[2]]+=1
                    kolmikuparandused[k[3]][p[2]].append(p)

print(piiriall, neistparandatud)
print(paranduskogused)
abi=[]
for voti in paranduskogused:
  abi.append([voti, paranduskogused[voti]])
abi.sort(key=lambda k: -k[1])
for rida in abi:
    print(rida[0], rida[1])

for kolmik in kolmikuparandused:
      print(kolmik)
      votmed=list(kolmikuparandused[kolmik].keys())
      votmed.sort(key=lambda voti: -len(kolmikuparandused[kolmik][voti]))
      kolmikuparandused[kolmik]["votmed"]=votmed
      kokku=0
      for voti in votmed:
#         print("   ", voti, len(kolmikuparandused[kolmik][voti]), str(kolmikuparandused[kolmik][voti]))      
          kokku+=len(kolmikuparandused[kolmik][voti])
      kolmikuparandused[kolmik]["kokku"]=kokku
      if kokku>0:
         kolmikuparandused[kolmik]["parandusosakaal"]=(kokku-len(kolmikuparandused[kolmik]["puudub"]))/kokku
      else: kolmikuparandused[kolmik]["parandusosakaal"]=-1
      
#print(kolmikuparandused)
f2=open(fnimi+"_"+str(protsendipiir)+"_jarjestus.txt", "w")
kolmikuvotmed=list(kolmikuparandused.keys())
kolmikuvotmed.sort(key=lambda k: -kolmikuparandused[k]["parandusosakaal"])
for kvoti in kolmikuvotmed:
  print(kvoti, kolmikuparandused[kvoti]["parandusosakaal"], kolmikuparandused[kvoti]["kokku"], file=f2)
  for pvoti in kolmikuparandused[kvoti]["votmed"]:
     print("  ", pvoti, len(kolmikuparandused[kvoti][pvoti]),  str(kolmikuparandused[kvoti][pvoti]), file=f2)
f2.close()