import stanza
nlp=stanza.Pipeline(lang="et", processors="tokenize")

def loePuhver():
    f=open("all_errors_corrections_min5.csv", encoding="utf-8")
    p={}
    for rida in f:
        m=rida.split(";")
        p[m[0]]=m[2]
    return p


def asendaTekst(tekst):
    t=nlp(tekst)
    sonad=[sona.text for lause in t.sentences for sona in lause.words]
    tekstikoht=0
    sonakoht=0
    vahe=""
    while tekstikoht<len(tekst):
        if tekst[tekstikoht]!=sonad[sonakoht][0]:
             vahe+=tekst[tekstikoht]
             tekstikoht+=1
        else: 
            if vahe:
                sonad.insert(sonakoht, vahe)
                sonakoht+=1
                vahe=""
            tekstikoht+=len(sonad[sonakoht])
            sonakoht+=1
    for nr in range(len(sonad)):
         sona=sonad[nr].lower()
         if sona in puhver:
            sona=puhver[sona]
            if sonad[nr][0].isupper():
                sona=sona[0].upper()+sona[1:]
            sonad[nr]=sona

    return "".join(sonad)

puhver=loePuhver()

import os
sisendkaust="tekstisisend/"
valjundkaust="tekstivaljund/"
fnimed=os.listdir(sisendkaust)

for fnimi in fnimed:
  if fnimi.endswith(".txt"):
    with open(valjundkaust+fnimi, "w", encoding="utf-8") as f2:
        print(asendaTekst(open(sisendkaust+fnimi, encoding="utf-8").read()), file=f2, end="")

#print(asendaTekst("Ütletakse, et aadrisel Kapsa 3 üba venekeeles tansime."))