Resultados 1 al 11 de 11

Tema: Pago $ por automatización de extraccion de datos web

  1. #1
    da fuck?
    Avatar de CerBBero
    Fecha de ingreso
    21 Jul, 06
    Ubicación
    Shile
    Mensajes
    5,149

    Pago $ por automatización de extraccion de datos web

    Hola,
    No estoy seguro si este thread debiera ir aquí, en el foro lenguajes de programación o en webmasters (hasta se me ocurrió postearlo en off-topic )... de hecho no se si puse bien el titulo xD. La idea es:
    Necesito datos históricos de temperatura por hora de Santiago. Estos datos están gratis aquí: History | Weather Underground <-- se puede cambiar la fecha a gusto, y al final de la página se genera una tabla con los datos que necesito, es decir por ej.:

    ...... etc....


    (Columna horas, Temp., Pto de rocío).
    El problema es que yo necesito los datos desde el 2006 en adelante, hora por hora, dia por día, mes por mes, año por año en 1 solo archivo excel (para luego procesarlo y hacer cosillas que es otro tema)... comencé a hacerlo con copy-paste en excel, pero como en 5 horas con cuea logré unos 3 meses de datos y quedé chato , porque además de copiar y pegar e ir avanzando por día, tengo que ordenar la maldita tabla de la hora 1 a la hora 24 (la página entrega en formato 12AM a 11PM ) y borrar las mediciones repetidas (fíjense que en el ejemplo que puse repiten 2 veces la hora 12:00AM y 3:00AM).

    En fin, supongo que algún computín que se maneje en bases de datos (?), lenguaje de programación web (?) o algo así, sea capaz de hacer un script que llame a la data del server y que entregue un archivo con una tabla con tooodas las horas que se necesitan de un suacate!. Para eso, está disponible el API Weather API : Weather Underground también gratis, que supongo es de gran ayuda (me contacté con la gente de la web y me dieron esa solución). En resumen, estoy dispuesto a pagar por el trabajo. Así que si tienes algo de tiempo y te quieres ganar unas lucas, la pega es tuya!. Los terminos y condiciones $ se conversarán por MP, email o teléfono.

    Salu2
    Última edición por CerBBero; 23/01/2013 a las 00:30



  2. #2
    AntiLongisMode: Activated Avatar de argg
    Fecha de ingreso
    20 Oct, 09
    Ubicación
    La Florida
    Mensajes
    311

    Re: Pago $ por automatización de extraccion de datos web

    MP Enviado!

  3. #3
    Guru
    Avatar de Cosme
    Fecha de ingreso
    27 Feb, 05
    Ubicación
    Santiago
    Mensajes
    9,294

    Re: Pago $ por automatización de extraccion de datos web

    Yo tengo un ratito para hacer algo
    cuando termine (o me aburra) lo publico

    ---------- Post added at 07:55 ---------- Previous post was at 07:24 ----------

    jojojo, voy como avión:



    ---------- Post added at 08:19 ---------- Previous post was at 07:55 ----------

    jojojo,falta menos




    no he querido tirar el run largo todavía ming

    ---------- Post added at 08:24 ---------- Previous post was at 08:19 ----------

    yap, se fue el run largo, ahora solo queda tomarse un tecito y esperar.


    ¿Quieres jugar TomClancy: The Division?
    Sabias que hay una especie de beta del gameplay llamado "Ghost Recon: Phantoms"
    ¿Quieres jugar con nosotros?
    Míranos en steam en el grupo GR: Phantoms Chile



  4. #4
    da fuck?
    Avatar de CerBBero
    Fecha de ingreso
    21 Jul, 06
    Ubicación
    Shile
    Mensajes
    5,149

    Re: Pago $ por automatización de extraccion de datos web

    Hola,
    Que bueno que hay interesados . Veo que le estás agregando la data de "humedad", mejor que mejor.

    Aunque obviamente le puedo pagar solo a 1 persona por el trabajo, así que sería al primero que tenga resultados acorde al siguiente ejemplo que hice:

    ejemplo.rar

    salu2.

    pd: si se puede ampliar el rango para que tome los datos desde el 2004, mejor aún.
    Última edición por CerBBero; 23/01/2013 a las 09:10



  5. #5
    Guru
    Avatar de Cosme
    Fecha de ingreso
    27 Feb, 05
    Ubicación
    Santiago
    Mensajes
    9,294

    Re: Pago $ por automatización de extraccion de datos web

    uta, la posdata llego despues de que habia tirado el run, de alli pego los datos


    ¿Quieres jugar TomClancy: The Division?
    Sabias que hay una especie de beta del gameplay llamado "Ghost Recon: Phantoms"
    ¿Quieres jugar con nosotros?
    Míranos en steam en el grupo GR: Phantoms Chile



  6. #6
    Buscando el norte
    Avatar de Kensho
    Fecha de ingreso
    16 Aug, 06
    Ubicación
    En este cuerpo que me contiene.
    Mensajes
    2,436

    Re: Pago $ por automatización de extraccion de datos web

    por si te sirve, usando yahoo weather puedes usar YQL (sentencias SQL) para obtener datos en formato json o xml, luego procesarlos sería trivial hasta con jQuery

    Ejemplo:

    http://query.yahooapis.com/v1/public/yql?q=select item from weather.forecast where location="CAXX0518" and item.pubDate >= '2012-06-23'&format=json
    A los que contemplan la luna las nubes a veces ofrecen una pausa.

    Portable: Shure se-215 / HifiMan RE-0 / Sennheiser PX-200 II | Studio: Samson Resolv 40a / Fiio A1 | HT: Onkyo TX-SR 308 / Paradigm Titan Monitor v. 6

  7. #7
    da fuck?
    Avatar de CerBBero
    Fecha de ingreso
    21 Jul, 06
    Ubicación
    Shile
    Mensajes
    5,149

    Re: Pago $ por automatización de extraccion de datos web

    Cita Iniciado por Kensho Ver mensaje
    por si te sirve, usando yahoo weather puedes usar YQL (sentencias SQL) para obtener datos en formato json o xml, luego procesarlos sería trivial hasta con jQuery

    Ejemplo:

    http://query.yahooapis.com/v1/public/yql?q=select item from weather.forecast where location="CAXX0518" and item.pubDate >= '2012-06-23'&format=json
    Claro, me imagino que no debe ser demasiado difícil para el que maneja el tema, por eso ofrezco pagar por la tareita ya que no tengo el tiempo para aprender como hacerlo



  8. #8
    Pajarito Nuevo
    Fecha de ingreso
    14 Apr, 11
    Mensajes
    6

    Re: Pago $ por automatización de extraccion de datos web

    no me cargan las pag

  9. #9
    da fuck?
    Avatar de CerBBero
    Fecha de ingreso
    21 Jul, 06
    Ubicación
    Shile
    Mensajes
    5,149

    Re: Pago $ por automatización de extraccion de datos web

    El usuario Cosme ya me entregó los datos *casi* perfectos, pero lo mas importante es que logró la extracción de datos que era lo principal... gracias de todos modos a los demás interesados que me enviaron MP.



  10. #10
    Guru
    Avatar de Cosme
    Fecha de ingreso
    27 Feb, 05
    Ubicación
    Santiago
    Mensajes
    9,294

    Re: Pago $ por automatización de extraccion de datos web

    Esta es la clase:






    Y como se usa?

    Un ejemplo para traer un dia:

    Código PHP:
    <?php
            
    include "classes/elTiempo.php";
            
    $tiempo = new elTiempo();


            
    $datos $tiempo->getDate("2012/01/01");
            
    /**
             * esto trae un array con los datos, en la forma
             * 
             * array
             * '2012/1/1/01' => 
             * object(stdClass)[2]
             * public 'hora' => string '01' (length=2)
             * public 'temp' => string '19,0' (length=4)
             * public 'rocio' => string '12,0' (length=4)
             * public 'humedad' => string '64%' (length=3)
             * 
             * Donde el key del array es 'año/mes/dia/hora, 
             * y los datos son hora, temp, rocio y humedad
             */
            
    var_dump($datos);
    ?>

    Un ejemplo para traer un rango de fechas
    Código PHP:

    <?php
            
    include "classes/elTiempo.php";
            
    $tiempo = new elTiempo();

            
    $minAno 2005;
            
    $maxAno 2012;
            
    $minMes 1;
            
    $maxMes 12;
            
    $minDia 1;
            
    $maxDia 31;
            
    //Si se quiere agregar datos, debe ser abierto en a (agregar)
            
    $handle fopen("File.csv""w");

            
    //y no se debe escribir esta cabecera
            
    fwrite($handle"Fecha;Hora;Temperatura;Punto Rocio;Humedad\n");

            for (
    $ano $minAno$ano $maxAno 1$ano++) {
                for (
    $mes $minMes$mes $maxMes 1$mes++) {
                    for (
    $dia $minDia$dia $maxDia 1$dia++) {
                        if (
    checkdate($mes$dia$ano)) {
                            
    $tiempo->getDateToFile("$ano/$mes/$dia"$handle);
                        }
                    }
                }
            }

    ?>

    Igual puede tener bugs, pero de algo sirve para parsear los datos.


    ¿Quieres jugar TomClancy: The Division?
    Sabias que hay una especie de beta del gameplay llamado "Ghost Recon: Phantoms"
    ¿Quieres jugar con nosotros?
    Míranos en steam en el grupo GR: Phantoms Chile



  11. #11
    da fuck?
    Avatar de CerBBero
    Fecha de ingreso
    21 Jul, 06
    Ubicación
    Shile
    Mensajes
    5,149

    Re: Pago $ por automatización de extraccion de datos web

    Gracias cosme, transferencia realizada



Permisos de publicación

  • No puedes crear nuevos temas
  • No puedes responder temas
  • No puedes subir archivos adjuntos
  • No puedes editar tus mensajes
  •  
*