import java.net.*;
import java.io.*;
import java.util.*;
/**
* Klass URLidelt saabuvate andmetega tegelemiseks
*/
public class URLabi{
  /**
  * Väljastab HTML-lehelt masiivina lingid.
  */
  public static String[] lingid(String sisu) throws IOException{
    Vector v=new Vector();
    StringTokenizer st1=new StringTokenizer(sisu, "<>", true);
    while(st1.hasMoreTokens()){
      if((st1.nextToken().equals("<"))&st1.hasMoreTokens()){
        String juhtrida=st1.nextToken();
        StringTokenizer tag=new StringTokenizer(juhtrida, " \n\t=\"");
        while(tag.hasMoreTokens()){
          if(tag.nextToken().toLowerCase().equals("href")&
                                       tag.hasMoreTokens()){
            String link=tag.nextToken();
            v.addElement(link);
          }
        }
      }
    }
    String[] tulemus=new String[v.size()];
    for(int i=0; i<v.size(); i++)tulemus[i]=(String)v.elementAt(i);
    return tulemus;
  }

  public static String absoluutseks(String kontekst, String viide)
  throws IOException
  {
   try{
    if(viide.indexOf("://")<0)
      return(new URL(new URL(kontekst), viide)).toString();
   } catch(Exception e){ viide=""; }
    return viide;
  }

  public static String[] absoluutseteks(String kontekst, String viited[])
  throws IOException{
    String tulemus[]=new String[viited.length];
    for(int i=0; i<viited.length; i++)
      tulemus[i]=absoluutseks(kontekst, viited[i]);
    return tulemus;
  }

  /**
  * Väljastab etteantud aadressi sisu.
  */
  public static String URLsisu(String url) throws IOException{
    BufferedReader sisse=new BufferedReader(
      new InputStreamReader(
        new URL(url).openConnection().getInputStream()
      )
    );
    StringBuffer tulemus=new StringBuffer();
    String rida=sisse.readLine();
    while(rida!=null){
      tulemus.append(rida+"\n");
      rida=sisse.readLine();
    }
    System.out.println("URLsisu pikkus="+tulemus.length());
    return new String(tulemus);
  }


  /**
  * Väljastab etteantud aadressil paiknevad viited.
  */
  public static String[] URLlingid(String url){
    boolean korras=true;
    String[] absoluutlingid=null;
    try{
       String sisu=URLsisu(url);
       String lingid[]=lingid(sisu);
       absoluutlingid=absoluutseteks(url, lingid);
    }catch(IOException e){
      korras=false;
      e.printStackTrace();
    }
    if(!korras) absoluutlingid=new String[0];
    return absoluutlingid;
  }


  /**
  * Laeb etteantud URLi sisu faili.
  */
  public static boolean kopeeri(String url, String failinimi){
    boolean korras=true;
    try{
      InputStream in=new URL(url).openConnection().getInputStream();
      OutputStream out=new FileOutputStream(failinimi);
//      int hulk=0;
      int nr=in.read();
      while(nr>=0){
        out.write(nr);
        nr=in.read();
//        hulk++;
//        if((hulk%1000)==0)System.out.print(hulk/1000+" ");
      }
      in.close();
      out.close();
    }catch(Exception e){korras=false; e.printStackTrace();}
    return korras;
  }

  /**
  * Kopeerib faili kohalikku masinasse, kui url asub urlalusest allpool. 
  */
  public static boolean kopeeri(String url, String urlalus, String algkataloog){
    if(!url.startsWith(urlalus))return false;
    String failinimi=algkataloog+File.separator+url.substring(urlalus.length()).
       replace('/', File.separatorChar);
    if(failinimi.endsWith(File.separator))failinimi+="index.html";
    String kataloog=failinimi.substring(0, failinimi.lastIndexOf(File.separator));
    new File(kataloog).mkdirs();
    return kopeeri(url, failinimi);
  }
}