Bases de Datos de Chile
Formato: CSV (Comma Separated Version)

Intro:
La idea de estas bases de datos es:
a) Mostrar lo mal protegidos que estan los datos en Chile
b) Ya que nadie se esmera en proteger esta informacion, hacerla publica para todo el mundo

Descripcion de los Datos:
a) DGMN:
8.919 Personas - dgmn.csv

b) Mineduc:
1.211.854 Personas - mineduc.csv
77.024 Personas - mineduc_con_folio.csv

c) Servel:
353.588 Personas - servel1.csv
3.512.091 Personas - servel2.csv

d) Telefonos:
2.034.191 Personas - telefonos.csv
849 Ciudades - ciudades.csv

e) PSU 2005:
4.925 Establecimientos - ARCHIVO_A_2005.DAT
175.506 Personas - ARCHIVO_B_2005.DAT

Nota: PSU no es esta en formato CSV. Detalles adjuntos en Requni_2005_v1.pdf

Como Usar (Basico):
Importe estos datos con Microsoft Access o OpenOffice Base y utilicelos. Puede generar formularios para una presentacion mas user-friendly de estos.

Como Usar (Avanzado):
Altamente recomendable subir estos datos a una Base de Datos antes de trabajar con ellos.
MySQL o Postgres se comportan mas que bien con este volumen de datos.
Para busquedas en campos de textos, muy recomendable utilizar FullText Index (disponible en MySQL y como plugin externo (unstable creo) en Postgres).

Futuro:
La idea seria que si alguien encuentra un lugar de donde recolectar datos publicos, haga un script que los baje y una vez recolectados los datos, los guarde en un archivo CSV, lo firme digitalmente (pero con un pseudonimo si lo desea) y lo agrege a la recompilacion de datos.

Ideas para los Geeks:
a) Comprobar la consistencia de los datos (mismo rut, mismo nombre)
b) Generar un archivo KML para mostrar en Google Earth / Google Maps / Otro para ver graficamente en el mapa donde vive cada persona. Asi tambien se puede conocer los nombres de los vecinos o quienes viven en ciertos lugares.
c) Hacer un Front-End para la base de datos, que sea extensible y haga busquedas en todas las tablas. Esperable que sea CrossPlatform (Java, C++) y que soporte Plugins. Features Posibles: Click en una persona y si tiene su direccion, que la muestre en el mapa. Si tiene su folio del pase escolar, que muestre sus recorridos segun los datos del TarjetaBip.cl.
d) Descubrir estadisticas y datos freak. (Ej: La hija de Bachelet tiene pase escolar, aun cuando a mucha gente no se lo dan porque sus padres ganan mas de una cierta cantidad).


Tips Para Recolectar nuevos Datos:
a) Si van a sacar datos de un servidor, recomendable hacer un script que se conecte no directamente al servidor, sino que a traves de TOR + Privoxy (o proxys anonimos).
b) No ocupen su conexion a Internet, para eso nuestros queridos vecinos dejan sus redes WiFi abiertas.
c) Tengan todo en discos encriptados. Recomendable: TrueCrypt, dm-crypt (o algun full disk encryption para su distribucion de Linux).
d) Solo tengan los datos y programas necesarios para recolectar datos en una maquina virtual, sin ningun datos personal ni email.
e) No se caliente la cabeza a la hora de hacer sus programas, para eso estan los lenguajes de scripting: perl, php y python.
f) www.servel.cl todavia deja obtener datos

Registrate para ver el contenido del spoiler

Integrate al club: Yo no le entiendo nada a DaRpANeT, BotNet ni a cuervox

Bases de Datos de Chile
Formato: CSV (Comma Separated Version)

Intro:
La idea de estas bases de datos es:
a) Mostrar lo mal protegidos que estan los datos en Chile
b) Ya que nadie se esmera en proteger esta informacion, hacerla publica para todo el mundo

Descripcion de los Datos:
a) DGMN:
8.919 Personas - dgmn.csv

b) Mineduc:
1.211.854 Personas - mineduc.csv
77.024 Personas - mineduc_con_folio.csv

c) Servel:
353.588 Personas - servel1.csv
3.512.091 Personas - servel2.csv

d) Telefonos:
2.034.191 Personas - telefonos.csv
849 Ciudades - ciudades.csv

e) PSU 2005:
4.925 Establecimientos - ARCHIVO_A_2005.DAT
175.506 Personas - ARCHIVO_B_2005.DAT

Nota: PSU no es esta en formato CSV. Detalles adjuntos en Requni_2005_v1.pdf

Como Usar (Basico):
Importe estos datos con Microsoft Access o OpenOffice Base y utilicelos. Puede generar formularios para una presentacion mas user-friendly de estos.

Como Usar (Avanzado):
Altamente recomendable subir estos datos a una Base de Datos antes de trabajar con ellos.
MySQL o Postgres se comportan mas que bien con este volumen de datos.
Para busquedas en campos de textos, muy recomendable utilizar FullText Index (disponible en MySQL y como plugin externo (unstable creo) en Postgres).

Futuro:
La idea seria que si alguien encuentra un lugar de donde recolectar datos publicos, haga un script que los baje y una vez recolectados los datos, los guarde en un archivo CSV, lo firme digitalmente (pero con un pseudonimo si lo desea) y lo agrege a la recompilacion de datos.

Ideas para los Geeks:
a) Comprobar la consistencia de los datos (mismo rut, mismo nombre)
b) Generar un archivo KML para mostrar en Google Earth / Google Maps / Otro para ver graficamente en el mapa donde vive cada persona. Asi tambien se puede conocer los nombres de los vecinos o quienes viven en ciertos lugares.
c) Hacer un Front-End para la base de datos, que sea extensible y haga busquedas en todas las tablas. Esperable que sea CrossPlatform (Java, C++) y que soporte Plugins. Features Posibles: Click en una persona y si tiene su direccion, que la muestre en el mapa. Si tiene su folio del pase escolar, que muestre sus recorridos segun los datos del TarjetaBip.cl.
d) Descubrir estadisticas y datos freak. (Ej: La hija de Bachelet tiene pase escolar, aun cuando a mucha gente no se lo dan porque sus padres ganan mas de una cierta cantidad).


Tips Para Recolectar nuevos Datos:
a) Si van a sacar datos de un servidor, recomendable hacer un script que se conecte no directamente al servidor, sino que a traves de TOR + Privoxy (o proxys anonimos).
b) No ocupen su conexion a Internet, para eso nuestros queridos vecinos dejan sus redes WiFi abiertas.
c) Tengan todo en discos encriptados. Recomendable: TrueCrypt, dm-crypt (o algun full disk encryption para su distribucion de Linux).
d) Solo tengan los datos y programas necesarios para recolectar datos en una maquina virtual, sin ningun datos personal ni email.
e) No se caliente la cabeza a la hora de hacer sus programas, para eso estan los lenguajes de scripting: perl, php y python.
f) www.servel.cl todavia deja obtener datos

Saludos !

a) "Until they become conscious they will never rebel, and until after they have rebelled they cannot become conscious."
b) "La nada, la que con su ausencia lo llena todo."