Un archivo robots.

txt es un archivo que se encuentra en la raíz de un sitio e indica a qué partes

no quieres que accedan los rastreadores de los motores de búsqueda. El archivo utiliza
el Estándar de exclusión de robots, que es un protocolo con un pequeño conjunto de
comandos que se puede utilizar para indicar el acceso al sitio web por sección y por tipos
específicos de rastreadores web (como los rastreadores móviles o los rastreadores de ordenador).

¿Para qué sirve el archivo robots.txt?

Archivos que no son de imagen

Para los archivos que no son de imagen (es decir, las páginas web), el archivo robots.txt solo debe
usarse para controlar el tráfico de rastreo. Normalmente, esto sirve para evitar que el rastreador de
Google sobrecargue el servidor o para no gastar todo el presupuesto rastreando páginas poco
importantes del sitio web o páginas que sean muy parecidas. No uses robots.txt para ocultar las
páginas web de los resultados de la Búsqueda de Google, porque es posible que otras páginas
dirijan a tu página; de esta forma, tu página podría indexarse evitando el archivo robots.txt. Si
quieres bloquear tu página para que no aparezca en los resultados de búsqueda, usa un método
distinto, como la protección mediante contraseña o las directivas o etiquetas noindex.

Archivos de imagen
El archivo robots.txt evita que los archivos de imagen aparezcan en los resultados de la Búsqueda
de Google. (Sin embargo, no evita que otras páginas u otros usuarios enlacen con tu imagen.)

Archivos de recursos
Puedes usar el archivo robots.txt para bloquear los archivos de recursos (como los de imagen, de
script o de estilo que no sean importantes) si crees que la pérdida no afectará de forma importante
a las páginas que se carguen sin dichos recursos. No obstante, si la ausencia de los recursos
complica el análisis del rastreador de Google, no deberías bloquearlos; de lo contrario, Google no
podrá analizar correctamente las páginas que dependan de dichos recursos.

Limitaciones del archivo robots.txt

Antes de crear un archivo robots.txt, deberías saber qué riesgos conlleva este método de
bloqueo de las URL. Es posible que en algún momento quieras utilizar otros mecanismos para
garantizar que tus URL no se pueden encontrar en la Web.

 Las instrucciones de robots.txt son solo indicaciones

Las instrucciones de los archivos robots.txt no pueden forzar el comportamiento de los
rastreadores en el sitio, sino que sirven de indicaciones para los rastreadores que acceden a él.
Mientras que Googlebot y otros rastreadores web respetables obedecen las instrucciones de un
archivo robots.txt, puede que otros rastreadores no lo hagan. Por lo tanto, si quieres proteger
la información de los rastreadores web, es mejor que utilices otros métodos de bloqueo,
como proteger los archivos privados con contraseña en el servidor.
 Los distintos rastreadores interpretan la sintaxis de varias formas
Aunque los rastreadores web respetables siguen las indicaciones de los archivos robots.txt,
cada rastreador puede interpretar las indicaciones de forma distinta. Debes conocer la sintaxis
adecuada para dirigirte a los diferentes rastreadores web, ya que puede que algunos no entiendan
determinadas instrucciones.

 Las indicaciones de robots.txt no pueden impedir las referencias a

las URL que provienen de otros sitios
Mientras que Google no rastreará ni indexará el contenido bloqueado por robots.txt, es posible
que encontremos e indexemos una URL no autorizada de otras partes de la Web. Por lo tanto, es
posible que la dirección URL y otra información de disponibilidad pública, como el texto del enlace
que lleva al sitio web, todavía puedan aparecer en los resultados de la Búsqueda de Google.
Puedes evitar que tu URL aparezca en los resultados de la Búsqueda de Google completamente
mediante otros métodos de bloqueo de URL, como la protección de los archivos mediante
contraseña en el servidor o el uso de la cabecera de respuesta o la metaetiqueta
noindex.

Particiones y sistemas de archivos en Linux

Detalles
Escrito por biblioman
Particionar un disco es como dividirlo en discos más pequeños
contenidos dentro de la misma carcasa.
Las particiones pueden ser de dos tipos: primarias ó lógicas, las
particiones lógicas se crean dentro de una partición primaria
especial llamada extendida.

Como mínimo en un disco debe de haber una partición primaria y como máximo puede
haber cuatro particiones primarias ó tres primarias y una extendida, no puede haber más
de una partición extendida en un mismo disco duro.

Dentro de una partición extendida puede haber todas las particiones lógicas que queramos.
Cada partición puede contener un sistema de archivos diferentes.

Un sistema de archivos establece los mecanismos para acceder a los datos que contiene y
permite o no el acceso a dichos datos en determinadas circunstancias y en caso de alguna
inconsistencia posibilita medios para su restauración.

Existen diferentes sistemas de archivos y cada sistema operativo soporta diferentes

sistemas de ficheros, algunos de ellos son los siguientes:

 Ext2 el primer sistema de archivos diseñado expresamente para Linux.

 Ext3 versión mejorada de Ext2, ampliamente utilizada en distribuciones Linux
 Ext4nuevo sistema de ficheros para Linux evolucionado de Ext3 algunas de sus
ventajas con respecto a este último son:
o Aumento del tamaño del sistema de ficheros a 1 Exabay = 2^20 Terabyte y
del tamaño máximo por archivo (16 Tb).
o Número ilimitado de directorios frente a los 32.000 de Ext3
 o Mayor velocidad en la creación y borrado de ficheros
 XFS Implementado para sistemas Unix, rápido acceso para grandes cantidades de
datos y altas velocidades, pero lento en ficheros pequeños. Se utiliza en grandes
servidores y donde se maneje mucha información.
 ReiserFS Sistema de archivos diseñado e implementado por la empresa Namesys,
liderado por Hans Reiser. Es soportado por Linux y otros sistemas operativos
(algunos a través de implementaciones muy inestables).
 Fat16/Fat32 Sistemas Dos/Windows 95, Windows 98, este sistema de archivos
produce una gran fragmentación del disco.
 NTFS sistema de archivos implementado para los sistemas operativos Windows
Xp/2000/2003 server y Vista.
A la acción de crear un sistema de ficheros dentro de una partición se le llama también
formatear la partición.

La nomenclatura para identificar las particiones es diferente en Windows y en Linux. En

Windows las unidades se identifican con letras, por ejemplo:

Primer disco duro (IDE, SCSI ó SATA)

C: (primera partición del primer disco duro IDE)

D: (segunda partición del primer disco duro IDE)

Segundo disco duro (IDE ó SCSI ó SATA)

E: (primera partición del segundo disco duro IDE)

F: (segunda partición del segundo disco duro IDE)

En Linux se representan de la siguiente manera:

hda (primer disco duro IDE).

hda1 (primera partición del primer disco duro IDE).

hda2 (segunda partición del primer disco duro IDE).
hda5 (primera partición lógica de una partición extendida del primer disco duro IDE)

hdb (segundo disco duro IDE).

hdb1 (primera partición del segundo disco duro IDE).

hdb2 (segunda partición del segundo disco duro IDE).
hdb5 (primera partición lógica de una partición extendida del segundo disco duro IDE)

Discos SCSI ó SATA.

sda (primer disco duro SCSI)

sda1 (primera partición del primer disco SCSI).

sda2 (segunda partición del primer disco SCSI).
sda5 (primera partición lógica del primer disco duro SCSI)

sdb (segundo disco duro SCSI)

GParted es un editor de particiones para Linux con el que podemos crear, borrar y
redimensionar particiones. También podemos crear el sistema de ficheros que tendrá cada
partición. Con la versión actual de Gparted 0.4.3 podemos crear los siguientes sistemas de
ficheros:
GParted Es muy fácil e intuitivo de usar, muchas distribuciones Linux lo incluyen en su live
CD, entre ellas Ubuntu.

Una vez que tenemos creadas nuestras particiones en nuestro disco y formateadas con el
sistema de archivos que van a utilizar, para poder utilizar dichas particiones en Linux,
tenemos que hacer un paso más, que es crear como mínimo el punto de montaje para el
directorio raíz (/). Linux utiliza una estructura de directorios jerarquizada en forma de árbol
invertido en donde todo es tratado como si fuera un archivo y para poder acceder a él debe
estar acoplado (montado) dentro de esa estructura de directorios encabezada por el
directorio raíz.

La interfaz gráfica de instalación de cualquier “distro” de linux nos permite montar el

directorio raíz del sistema donde se instalarán los archivos más importantes del sistema
operativo, pero también podemos crear otros puntos de montaje como /home (que es
como la carpeta Mis documentos de Windows pero mucho más potente) en otra partición
diferente, de esta manera si formateamos la partición donde está el sistema operativo, mis
documentos (tú /home) quedará a salvo y tus datos no se perderán.

En el tutorial sobre como instalar Ubuntu 9.04 paso a paso se explica cómo establecer
puntos de montaje en la instalación del sistema operativo.

He dicho antes que en Linux todo es tratado como un archivo, es decir, si tenemos una
disquetera, un lector de DVD, un disco externo, etc. para que podamos acceder a estos
dispositivos antes tienen que estar montados como un archivo más.
Después de la instalación del sistema operativo podemos montar o desmontar los
dispositivos o archivos que queramos, si no sabes cómo hacerlo mira el tutorial que hay
sobre comandos Unix/Linux que hay “montado” en este mismo sitio web.

Ejemplos:

En la figura de abajo se muestra por medio del programa GParted un disco SCSI de 8 Gb
que está dividido en cuatro particiones primarias formateadas con el sistema de archivos
ext3 cada una de ellas.

En la siguiente figura vemos lo que pasa cuando intentamos crear más de cuatro
particiones primarias.
En la siguiente figura vemos el mismo disco con tres particiones primarias (sda1, sda2 y
sda3), una extendida (sda4) que contiene a su vez tres particiones lógicas: sda5
(formateada con el sistema de archivos fat32), sda6 (formateada con ntfs) y sd7 (utilizada
para la memoria de intercambio swap de Linux).

Para la instalación de Linux, ya sea de la distribución que sea, se necesita como mínimo
dos particiones: la principal, donde se instalará el sistema operativo, formateada con el
sistema de archivos que permita la distribución que vayamos a instalar y otra partición
llamada swap (intercambio de memoria virtual), esta partición es utilizada como memoria
RAM virtual cuando tenemos muchas aplicaciones abiertas y la memoria RAM de nuestro
ordenador es insuficiente, de tamaño del swap se suele poner el doble de la memoria RAM,
es decir, si tenemos 250 Mb de memoria RAM el tamaño del swap debería de ser
aproximadamente de 500 MB, pero estas cifras están pensadas para equipos con poca
memoria. Por ejemplo, si te has comprado un equipo nuevo con 4GB de memoria RAM, no
es obligatorio que ponga 8GB para el swap. También hay que considerar que si instalas
Linux en un equipo con poca memoria y haces mucho uso del swap, tu ordenador se
volverá más lento ya que se tarda más tiempo en leer y escribir del disco duro que de la
memoria física RAM, en este caso deberías reconsiderar el ampliar la memoria RAM de tu
ordenador.

Gracias por comentar este artículo.

Particiones en GNU Linux

POR DAVIDOCHOBITS · PUBLICADA 23 NOVIEMBRE, 2015 · ACTUALIZADO 30
NOVIEMBRE, 2015
En la web hemos tratado la instalación de diferentes distribuciones GNU
Linux yFreeBSD. Una de la partes principales de dichos tutoriales, es lo referido
a la creación de particiones de disco y su respectivo montaje sobre diversas
ubicaciones. El fin de éste artículo es explicar con más detalle dicho proceso.

Particiones en GNU Linux

Los discos duros son unidades periféricas, que se conectan a la placa base de
nuestro PC, mediante conexiones (bus) IDE o SATA. Actualmente los discos
sólidos son los que están, poco a poco, sustituyendo a los viejos discos rígidos, que
hasta ahora predominaban en el mercado. Cuando instalamos un sistema operativo
sobre ellos, se tienen que crear particiones, aplicando un formato de bajo nivel.
Dichas particiones deben tener un sistemas de archivos o ficheros. El sistema
operativo tratará cada partición como si fuese un disco independiente.
Sistemas de ficheros habituales
En GNU Linux se trabajan con una serie de sistemas de ficheros, vamos a ver los
más habituales:
 Ext4, es el sustituto de ext3. Se trata de un sistema de ficheros
transaccional. Entre las mejoras que incluye están el soporte para volúmenes
de hasta 1024 PiB, menos uso de la CPU, mejoras en la velocidad de escritura
y lectura.
 Btrfs, también está pensado para sustituir ext3. Permite empaquetado
eficiente en espacio de archivos pequeños y directorios indexados. Asignación
dinámica de inodos, esto permite que no se fije un número máximo de ficheros.
Permite la creación de instantaneas o snapshots. Compresión. No hace falta
desmontar el sistemas de ficheros para comprobarlo. Ha sido creado
por Oracle.
 XFS, es ya un clásico, ya que se creó a principios de los años 90 del siglo
pasado. Soporta hasta 8 exabytes, utiliza journaling, es ideal para
particiones LVM.
 ReiserFS, utiliza journaling, esto es, previene el riesgo de corrupción del
sistemas de archivos. Podemos redimensionar el sistemas de ficheros sin tener
que desmonstar la unidad. Aún así para disminuir su espacio sí tiene que estar
desmontado. Tiene algunas otras limitaciones, ya que no permite el proceso de
desfragmentación, entre otras.
 FAT32 y NTFS, son sistemas de ficheros típicos de Microsoft Windows, no
se usan en sistemas tipo UNIX.
 Espacio de intercambio o SWAP. Es una zona de disco que se usa para guardar
las imágenes de los procesos que no han de mantenerse en memoria física. Es
una partición clave, ya que libera momentaneamente de la memoria volátil,
procesos poco activos. Y de ésta manera poder asignar dicha memoria a
procesos más importantes. No se ha de abusar de ésta partición, ya que al ir
sobre disco, el proceso es lento.
Puntos de montaje
Una vez ya sabemos que sistema de ficheros nos va mejor, tenemos que conocer
los diferentes puntos de montaje que necesitamos. Las particiones se “montan”
sobre directorios. Lo más básico es tener dos particiones, una para la
unidad SWAP y la otra sobre la raíz del sistema o “/“. En la mayoría de
instalaciones ésta elección es denominada “para novatos” Veamos primero como
se divide el sistema directorios. Se parte siempre desde la raíz, y de allí “cuelgan”
una serie de carpetas, que pueden tener subcarpetas y ficheros. Los principales son,
de manera rápida:
 /bin Contiene los binarios, esto es, los ejecutables necesarios para el
funcionamiento del sistema operativo.
 /boot Es donde están ubicados los ficheros necesarios para el arranque del
sistema, pero no los de configuración. Aquí se almacenan todos los ficheros
que cargan primero, justo antes de cargar el kernel, como por
ejemplo GRUBo LILO. Es recomendable que tenga su propia partición.
 /dev Recordad que en todos los sistemas tipo UNIX, todo es un fichero. Por
lo que los dispositivos de hardware también se tratan como si fuesen un
fichero, y se encuentran almacenados aquí. Al acceder, por ejemplo, a una
 unidad Flash USB, estamos accediendo a su fichero, tanto en la lectura como
en la escritura.
 /etc Es un directorio clave, ya que aquí se encuentran los ficheros de
configuración del sistema operativo, aunque también se pueden complementar
con algunos otros ficheros ubicados en /home.
 /home Su función es almacenar la totalidad de los ficheros de los usuarios,
exceptuando root. Tal y como hemos visto en la línea anterior, también se
ubican ficheros de configuración para cada usuario.
 /lib Contiene bibliotecas compartidas, necesarias para los ejecutables ubicados
en /bin y /sbin
 /mnt Aquí se ubican los puntos de montaje de los periféricos, como discos
duros externos.
 /media Es muy similar a /mnt y tiene las mismas funciones.
 /opt Aquí se ubican los programas que añaden los usuarios, diferentes de los
del sistema operativo.
 /proc Se trata de un sistema archivos virtual. Devuelve información sobre
diferentes procesos y aplicaciones que están funcionando en nuestro sistema
operativo.
 /root Es el directorio del superusuario.
 /sbin Almacena ficheros ejecutables que sólo pueden ejecutar el
usuario root y los administradores del sistema.
 /srv Algunas distribuciones utilizan éste directorio para ubicar ciertos
servicios. Ejemplo de ello sería un servidor web /srv/www o un servidor
ftp /srv/ftp.
 /tmp Es donde se almacenan los ficheros temporales. Por normal general al
reiniciar el sistema se elimina la información ubicada aquí.
 /usr Contiene los ficheros de la mayoría de programas instalados.
 /var Ubica generalmente información que varía con el funcionamiento del
sistema. También incluye en muchos casos los directorios raíz de servidores
web o colas de correo.
 /sys Es similar a /proc, aquí podemos encontrar información del kernel, de las
particones, etcétera.
Particionado ideal
Como todo en la vida depende. Es decir, por ejemplo, si vamos a utilizar el disco
para una distribución GNU Linux o FreeBSD para nuestro PC, que sólo
utilizaremos para el día a día, esto es, mirar correos, navegar por Internet y cosas
por el estilo, supongamos que tenemos un disco de 512 GB de disco duro y 4 GBde
memoria volátil, un particionado recomendable sería el siguiente:
 Lo ideal para la partición SWAP es asignarle el número de GB de memoria
volátil multiplicado por dos. En éste caso sería 8 GB de espacio.
 Tal y como he comentado antes me gusta tener el directorio /boot por separado
en una partición. No ocupa mucho espacio, realmente con 1 GBtendremos de
sobra.
 Para que el usuario tenga espacio de sobra para sus películas, fotos, vídeos y
otras cosas, le daremos a carpeta /home, 518 GB de espacio.
 A la raíz del sistema, donde irá todo lo demás, asignaremos el resto, esto es,
unos 23 GB, espacio más que de sobra.
Para que se entienda más, voy a utilizar una distribución Debian 8 “Jessie”, y
aplicando lo comentado antes, quedaría así:
Hay que recalcar que /boot tiene que ser marcado como arrancable o “bootable“.
Una vez instalado el sistema, si utilizamos el comando fdisk, veremos el
resultado:
En otros casos, por ejemplo, un servidor web, tendríamos que crear un punto de
montaje independiente para /var o /usr, depende donde ubiquemos los proyectos
webs.
Espero que os haya parecido interesante. Si tenéis alguna duda dejad un comentario
;)