Trucos on Marco Antonio Blanco

Truco Linux: Cómo actualizar el contenido de ficheros de texto automáticamente con sed

Fri, 07 Nov 2014 10:21:34 +0000

Los administradores de sistemas Linux nos enfrentamos constantemente al problema de tener que cambiar un valor en varios ficheros de configuración a la vez, los cuales tienen siempre el formato de texto plano. Por ejemplo, si cambiamos la IP o el nombre de un equipo, hay que recorrerse todo el directorio /etc en busca de ficheros que contengan una referencia al dato antiguo y cambiarla por el nuevo. Esto, que evidentemente es un proceso tedioso si hay que hacerlo a mano, podemos afortunadamente automatizarlo con una de las herramientas de procesamiento de texto que Linux incluye de serie y que ha heredado de Unix: sed.

sed es una utilidad de línea de comandos y nos permite con una sintaxis muy sencilla sustituir una cadena de texto por otra, que incluso permite utilizar expresiones regulares para aplicar la sustitución a patrones de cadenas. La operación más básica de sed tendría la siguiente forma:

# sed 's/antigua/nueva/g' fichero_original > fichero_nuevo

Si no queremos crear un fichero nuevo sino cambiar el existente, incluimos el parámetro -i:

# sed -i 's/antigua/nueva/g' fichero_original > fichero_nuevo

Veamos entonces el ejemplo mencionado de tener que sustituir el nombre del sistema por uno nuevo. Para ello, realizaremos una búsqueda en /etc y modificaremos los ficheros que contengan la cadena a cambiar.

# grep -r -H equipo1 /etc | cut -f 1 -d ":" | xargs sed -i 's/equipo1/equipo2/g'

En la línea anterior combinamos varios comandos Linux para prepara la lista de ficheros a procesar y obtener el resultado deseado con sed:

grep hace una búsqueda recursiva (-r) en el directorio /etc e imprime los nombres de lo ficheros coincidentes (-H).
cut extrae la primera columna (-f) indicando : como separador de las mismas (-d).
xargs recibe la lista de ficheros y se le pasa a sed uno a uno (si no sed actuaría sobre toda la lista a la vez, lo cual no puede hacer).
Finalmente sed realiza la sustitución.

Este truco es también muy útil para los desarrolladores web, por ejemplo para actualizar plantillas o código fuente. Un aviso: hay que asegurarse de que la cadena a sustituir SÓLO aparece en los ficheros que nos interesan, ya que podemos sufrir el efecto secundario de cambiar lo que no deberíamos.

Espero que os sea de utilidad. Hasta el truco de la semana que viene.

Truco Linux: Cómo convertir masivamente entre formatos de imagen

Fri, 31 Oct 2014 08:30:08 +0000

ImageMagick es un paquete de herramientas de línea de comandos para la manipulación de ficheros de imágenes. Es tal su potencia que se ha popularizado mucho su uso en servidores web como apoyo al backend de los sitios alojados. En el truco de esta semana quiero centrarme en la que probablemente sea la herramienta más útil y conocida de las que ofrece ImageMagick: el conversor de formatos convert.

Supongamos que tenemos un buen número de imágenes para publicar en nuestra web en un formato que no nos conviene. Basta con que realicemos un bucle sobre la lista de imágenes convirtiendo cada una al formato deseado.

$ for i in *.jpg 
> do
> echo "Convirtiendo $i..."
> convert -quality 75 $i $(basename $i .jpg).png
> done

En el ejemplo hemos hecho una conversión desde JPG a PNG con un nivel de compresión concreto (75) para los ficheros de destino. Como se puede apreciar en la línea del comando convert, podemos incluir los parámetros que queramos para modificar el resultado a nuestro gusto. Dichos parámetros los podemos consultar en su manual electrónico (man convert). Además, hemos extraído el nombre base de cada fichero con el comando basename y le hemos añadido el sufijo .png.

La gran ventaja de convert (aparte de su rapidez y versatilidad) es que, al ser una utilidad de línea de comandos, la podemos ejecutar directamente en el servidor web, sin tener que bajarnos las imágenes, procesarlas y subirlas de nuevo.

Por cierto, convert no sólo convierte entre formatos de imagen, sino que también es capaz de realizar numerosas operaciones sobre imágenes: redimensionamiento, recorte, emborronamiento, optimización, rotación, unión, etc. La lista completa de posibilidades se encuentra en su web oficial.

Si no contamos con convert en nuestro sistema, basta con instalar ImageMagick. En Debian lo hacemos como habitualmente:

# apt-get install imagemagick

Hasta el truco de la semana que viene.

Recomedaciones Linux de la semana (24/10/2014)

Fri, 24 Oct 2014 13:49:17 +0000

Ubuntu ha publicado esta semana una nueva versión de su distribución de escritorio. Se trata de la 14.10, que ha recibido el pintoresco seudónimo de Utopic Unicorn.
Ya que hablamos de Ubuntu, desde Ubuntizando nos recuerdan que el proyecto acaba de cumplir 10 años de existencia.
La Educación es siempre un tema candente y en Bitelia nos hablan de las ventajas de utilizar Software Libre para ampliar las posibilidades de aprendizaje de los alumnos.
Desde LinuxParty nos informan de que SoL, el portátil solar con Linux, ya está a la venta.
Las empresas de software libre multiplican su empleo, según nos cuentan desde linuxadictos.com.
Un interesante artículo sobre cómo analizar la actividad de red en tiempo real con Iptraf es lo que nos ofrecen desde TuxApuntes esta semana.
Para todo el que se quiera iniciar en el mundo de la administración de sistemas Linux, en TecMint han publicado una guía de introducción a la programación en shell scripting (en inglés).
En Epoch Times han elaborado una curiosa lista con los 5 comandos Linux más mortíferos que NUNCA se deberían ejecutar. Lo cierto es que dan mucho miedo… (en inglés).
Y para terminar una noticia de ocio. GOG.com ha alcanzado la cifra de 100 juegos para Linux en su catálogo de descargas digitales, entre los que se incluyen clásicos imperecederos como Baldur’s Gate. ¡Habrá que probarlos! (en inglés).

Truco Linux: Cómo instalar un detector de malware en Linux

Thu, 23 Oct 2014 16:46:47 +0000

A pesar de ser un sistema operativo muy robusto frente a los virus, hasta el punto de haberse acuñado la frase “Linux no tiene virus”, es indudable que puede ser vulnerable a código malicioso desarrollado para atacar activamente sistemas basados en Linux y ante el que necesitamos protección. Por ello quiero dedicar el truco de esta semana a la instalación de un detector de malware. El software elegido no tiene un nombre muy original que digamos. Se trata de Linux Malware Detect (LMD), un analizador de malware para Linux de licencia libre diseñado para detectar amenazas en entornos de red.

Las instrucciones que voy a dar a continuación para instalar son en esta ocasión independientes de la distribución de destino. Como siempre que instalamos un software, hay que ejecutarlas como superusuario.

Empezamos descargándonos el paquete con la versión más actual. Afortunadamente, sus autores lo han nombrado genéricamente maldetect-current.tar.gz, por lo que siempre estaremos seguros de bajarnos la última versión disponible. Por supuesto, la descarga la haremos en /usr/local/src, el directorio estipulado en el estándar para estos menesteres.

# cd /usr/local/src
# wget http://www.rfxn.com/downloads/maldetect-current.tar.gz
Resolviendo www.rfxn.com (www.rfxn.com)... 129.121.132.46
Conectando con www.rfxn.com (www.rfxn.com)[129.121.132.46]:80... conectado.
Petición HTTP enviada, esperando respuesta... 200 OK
...
# tar xzvf maldetect-current.tar.gz
maldetect-1.4.2/
maldetect-1.4.2/CHANGELOG
maldetect-1.4.2/cron.daily
maldetect-1.4.2/README
maldetect-1.4.2/files/
...

Una vez descargado y descomprimido el paquete, nos cambiamos al directorio que contiene el software y procedemos a instalar.

# cd maldetect-1.4.2
# ./install.sh
Linux Malware Detect v1.4.2
(C) 2002-2013, R-fx Networks
(C) 2013, Ryan MacDonald
inotifywait (C) 2007, Rohan McGovern
This program may be freely redistributed under the terms of the GNU GPL

installation completed to /usr/local/maldetect
…
maldet(6698): {sigup} signature set update completed
maldet(6698): {sigup} 11791 signatures (9899 MD5 / 1892 HEX)

Como podremos comprobar, no sólo se ha instalado el analizador sino que además se han actualizado sus bases de datos de firmas de malware. Con esto ya está listo para su uso, que podemos hacer de dos formas, o bien puntualmente o bien como servicio del sistema. En cualquier caso, tendremos que hacerlo como superusuario.

Supongamos que queremos analizar /tmp de forma puntual e interactiva. Invocaremos LMD de la siguiente forma:

# maldet -a /tmp

Si preferimos que sea en segundo plano en vez de interactivamente, lo hacemos así:

# maldet -b /tmp

Y si queremos que LMD se ejecute como servicio del sistema:

# maldet -m /tmp

También podemos indicarle que monitorice los directorios domésticos de los usuarios:

# maldet -m users

Evidentemente, si se reinicia el sistema, tendremos que arrancar LMD de nuevo a mano. Para ello, lo mejor es incluir su invocación en el script local de inicio del sistema, que en Debian es /etc/rc.local.

Si queremos detener el servicio LMD, basta con el siguiente comando:

# maldet -k

Finalmente, podemos consultar los resultados de la monitorización en el fichero /usr/local/maldetect/event_log.

Ah, y no olvidemos actualizar las bases de datos de firmas periódicamente con:

# maldet -u

Como es habitual, este comando lo podemos planificar a nuestra conveniencia mediante cron. Hasta el truco de la semana que viene.

Truco Linux: Cómo comprobar si somos vulnerables al bug de BASH

Thu, 16 Oct 2014 12:52:22 +0000

Siendo sin duda el asunto más importante del año en cuestión de seguridad y sistemas informáticos, he pensado en seguir aportando mi granito de arena a luchar contra el bug de BASH y por ello quiero dedicar el truco Linux de esta semana a explicar cómo podemos comprobar de forma periódica si somos vulnerables a Shellshock o a alguna otra vulnerabilidad relacionada que pueda surgir en el futuro. Para ello vamos a utilizar un fantástico script escrito por Hanno Böck y que publica en su repositorio público de GitHub.

bashcheck, que así se llama el script, realiza un serie de comprobaciones en el sistema en el que se ejecuta para analizar si sufre de alguna de las 6 vulnerabilidades publicadas a fecha de este artículo. Veamos cómo instalar el script en nuestros sistemas, mantenerlo actualizado y ejecutarlo periódicamente para que nos informe por email de si alguno es vulnerable o no.

Empezamos con la instalación de bashcheck. Como ya he dicho, el proyecto se encuentra alojado en un repositorio de GitHub, lo que nos podría hacer pensar que la opción más directa para descargar el script sea hacer uso de Git. Pero teniendo en cuenta que sólo vamos a descargar un fichero, que Git no suele venir instalado de serie en las distribuciones Linux más populares y que no es precisamente un software fácil de utilizar sin experiencia previa, creo que es mejor utilizar alguna herramienta más sencilla pero potente que sí esté ya instalada en nuestro Linux y que nos evite el tener que “contaminar” nuestro sistema con la instalación de un software que va a tener un uso tan marginal.

Para estos casos yo prefiero utilizar Wget, el cual permite descargarse un fichero sólo si ha sido actualizado. Sin embargo, GitHub no nos lo va a poner fácil en este sentido, ya que ni nos deja descargarnos un único fichero a nuestra elección sino todo el repositorio completo, ni sirve la información temporal necesaria como para que Wget o cualquier otra herramienta pueda comprobar si efectivamente el fichero disponible es más moderno que el que ya tenemos descargado. Por ello vamos a tener que sortear estos obstáculos a través del siguiente script que he preparado para la ocasión:
{code type=php}
#!/bin/bash
#
# descargar_bashcheck.sh
# Descarga bashcheck desde GitHub e instala si es una nueva version
# 2014 (C) Activa Sistemas
# Este script se distribuye bajo licencia GPL
#
STAMP=$(date +%Y-%m-%d)
echo “Descargando bashcheck…”
wget –quiet https://github.com/hannob/bashcheck/archive/master.zip -O /tmp/bashcheck_$STAMP.zip
unzip -o -q -j /tmp/bashcheck_$STAMP.zip bashcheck-master/bashcheck -d /usr/local/tmp
rm /tmp/bashcheck_$STAMP.zip
diff -q /usr/local/tmp/bashcheck /usr/local/bin/bashcheck 2> /dev/null
if [ $? != 0 ]
then
echo “Actualizando bashcheck…”
mv /usr/local/tmp/bashcheck /usr/local/bin/bashcheck
chmod 755 /usr/local/bin/bashcheck
chown root.root /usr/local/bin/bashcheck
echo “Nuevo bashcheck listo para su uso”
else
echo “No es necesario actualizar bashcheck”
fi
{/code}

Guardamos el código en un fichero que llamaremos descargar_bashcheck.sh, lo almacenamos en /usr/local/bin (donde deben ir las herramientas propias que desarrollemos) y le otorgamos permisos de ejecución:

# chmod 755 /usr/local/bin/descargar_bashcheck.sh

Lo ejecutamos por primera vez para comprobar que todo es correcto y que se descarga la última versión disponible de bashcheck:

# /usr/local/bin/descargar_bashcheck.sh
Descargando bashcheck...
Actualizando bashcheck...
Nuevo bashcheck listo para su uso
# ls -l /usr/local/bin/bashcheck
-rwxr-xr-x 1 root root 2889 oct 13 10:48 /usr/local/bin/bashcheck

El último paso es asegurarnos de que se mantiene actualizado y que se ejecuta diariamente para avisarnos de eventuales vulnerabilidades. Para ello, programamos un par de tareas con cron. Aunque el usuario root cuenta con su propia lista de tareas programadas, personalmente prefiero dar de alta las tareas generales del sistema en el fichero /etc/crontab, en el que insertaremos las siguientes líneas:

# bashcheck
00 07 * * * root /usr/local/bin/descargar_bashcheck.sh
30 07 * * * root /usr/local/bin/bashcheck | mail -s "Resultado analisis bashcheck" alguien@ejemplo.com

Con esto habremos programado la ejecución diaria de ambas tareas a las 7:00 y las 7:30, respectivamente, y enviaremos por email el resultado de bashcheck a la dirección que queremos. Os dejo como ejercicio hacer que bashcheck sólo mande el email si el resultado del test es positivo, es decir, se ha encontrado una vulnerabilidad en el sistema.

Para el que tenga a su cargo un buen número de sistemas y se pregunte cómo copiar descargar_bashcheck.sh y modificar el crontab en cada uno de manera automática y con el menor esfuerzo posible, le diré que la mejor manera es a través de un buen software de gestión automatizada de sistemas, como Chef, Ansible, Salt o, mi favorito, Puppet. Evidentemente, una herramienta así también nos sirve para aplicar parches si bashcheck nos avisa de una nueva vulnerabilidad.

Para terminar, una anécdota: tanto bashcheck como descargar_bashcheck.sh están escritos en BASH ;) ¡Hasta el truco de la semana que viene!

Truco Linux: Los comandos internos de BASH

Thu, 09 Oct 2014 16:40:06 +0000

Con la que le está cayendo estos días a BASH con las infames vulnerabilidades que se le están descubriendo, he pensado dedicar el truco de esta semana a romper una lanza a favor de este fabuloso intérprete de comandos. A pesar de los problemas que nos está provocando a los administradores de sistemas, no podemos olvidar las enormes posibilidades de BASH y lo que nos ha facilitado la vida hasta la fecha. Una de estas capacidades avanzadas es lo que se conoce como los comandos (u órdenes) internos de la shell.

BASH incluye un buen número de comandos internos, algunos de los cuales son versiones reducidas de los que aparecen en el paquete coreutils de GNU, tales como echo, time, test, pwd o kill, mientras que otros sólo existen dentro de BASH, como cd, alias, pushd, popd, exec o trap. Para comprobar si un comando es interno y si tiene una contrapartida externa se utiliza el comando type, que por cierto es sólo interno:

$ type -a echo
echo es una orden interna del shell
echo is /bin/echo
$ type -a cd
cd es una orden interna del shell
$ type -a mkdir
mkdir is /bin/mkdir

Según las prioridades de ejecución de BASH, un comando interno siempre se ejecuta antes. Por tanto, ¿qué ventajas tiene esto? Por una parte una mayor rapidez de ejecución y un menor consumo de recursos y por otra parte la seguridad de poder ejecutar el comando aunque el sistema esté colapsado. Por ejemplo, si el sistema ha llegado al máximo de procesos en ejecución y queremos matar algunos, no podremos utilizar /bin/kill pero sí el comando interno kill. A cambio, como ya he dicho al principio, los comandos internos “repetidos” tienen menores capacidades que sus equivalentes externos.

Truco Linux: Extraer un clip de un vídeo

Thu, 02 Oct 2014 12:30:59 +0000

Esta semana os traigo una pequeña receta para extraer una parte concreta (un clip) de un fichero de vídeo en Linux. Para ello vamos a ver cómo hacerlo con dos herramientas diferentes de licencia libre, de forma que podamos elegir posteriormente la que más nos interese o, sencillamente, la que tengamos disponible.

Para ilustrar este truco vamos a suponer que queremos obtener un extracto de un vídeo en formato FLV a partir de una posición temporal y de una duración determinada, primero respetando los códecs de audio y vídeo originales y después convirtiéndolos a otros formatos más abiertos y estándares

En primer lugar vamos a extraer el clip con FFmpeg, un completo proyecto que incluye utilidades y librerías para la producción y gestión de activos multimedia y cuya herramienta de línea de comandos está considerada como toda una navaja suiza. En Debian instalamos FFmpeg con apt-get install ffmpeg.

Copiando los códecs originales:

ffmpeg -ss 00:31:25 -i video_original.flv -vcodec copy -acodec copy -bsf h264_mp4toannexb -t 00:02:30 clip_video.flv

Convirtiendo los códecs:

ffmpeg -ss 00:31:25 -i video_original.flv -vcodec libxvid -acodec pcm -t 00:02:30 clip_video.avi

Como se puede ver, establecemos el punto de inicio del clip con el parámetro -ss y la duración con -t, mientras que el parámetro -bsf h264_mp4toannexb sólo es necesario en el caso de vídeos FLV. Asimismo, es muy importante respetar el orden de los parámetros tal y como aparecen en los ejemplos.

La segunda opción es MEncoder, una utilidad de línea de comandos que forma parte del proyecto MPlayer, el popular reproductor multimedia. En Debian instalamos MEncoder con apt-get install mencoder.

Copiando los códecs originales:

mencoder -ss 00:31:25 -endpos 150 -oac copy -ovc copy video_original.flv -o clip_video.flv

Convirtiendo los códecs:

mencoder -ss 00:31:25 -endpos 150 -oac pcm -ovc lavc video_original.avi -o clip_video.avi

En este caso, se establece igualmente el punto de inicio del clip con el parámetro -ss, pero la duración se especifica con -endpos en segundos. Asimismo, también es muy importante respetar el orden de los parámetros tal y como aparecen en los ejemplos.

Ambas herramientas se encuentran disponibles en los repositorios oficiales de Debian, pero existen versiones más modernas y completas en los de Debian Multimedia, las cuales recomiendo instalar.

Elegir una u otra opción va a depender, como decía al principio, de nuestras necesidades y de la disponibilidad de cada herramienta en nuestra plataforma de elección. Eso sí, en mis pruebas FFmpeg suele generar ficheros más pequeños y no suele necesitar de códecs externos, por lo que suele ser mi preferido.

Existen más utilidades, tanto de línea de comandos (Transcode) como gráficas (Avidemux, HandBrake), pero o bien no producen tan buenos resultados como FFmpeg y MEncoder o bien se basan en ellas para funcionar, por lo que al final es mejor usarlas directamente.

¡Hasta el truco de la semana que viene!

Truco Linux: Los huevos de pascua de Debian

Thu, 25 Sep 2014 15:58:01 +0000

Para inaugurar esta nueva sección nada mejor que una curiosidad de mi distribución Linux favorita, que no es otra que Debian. Como buen producto fabricado por geeks, tecnofans y programadores, Debian Linux incluye oculto en su interior un buen número de Huevos de Pascua (para quien no lo sepa, los Easter Eggs son contenidos y funcionalidades escondidas en software y productos multimedia, generalmente con un sentido humorístico, de diversión o de homenaje, aunque a veces se utilizan como mecanismo reivindicativo). Veamos qué “secretos” calla Debian…

Los huevos de pascua de Debian están relacionados con las herramientas de gestión de software. Comencemos con la más básica, apt-get. Si invocamos su ayuda en línea, apt-get nos informa de lo siguiente:

# apt-get
Usage: apt-get [options] command
 apt-get [options] install|remove pkg1 [pkg2 ...]
 apt-get [options] source pkg1 [pkg2 ...]
...
 This APT has Super Cow Powers.

Así que APT tiene poderes de super vaca… Vamos a preguntarle por más detalles:

# apt-get moo
         (__) 
         (oo) 
   /------\/ 
  / |    ||   
 *  /\---/\ 
    ~~   ~~   
...."Have you mooed today?"...

Bonita vaca :)

Si apt-get tiene un huevo de pascua, entonces seguro que aptitude también, ¿no?

# aptitude moo
No hay ningún huevo de pascua en este programa.

Bueno, aunque lo aptitude niegue, esto es un huevo de pascua en toda regla. Vamos a insistirle:

# aptitude -v moo
Realmente no hay ningún huevo de pascua en este programa.
# aptitude -vv moo
¿No le he dicho ya que no hay ningún huevo de pascua en este programa?
# aptitude -vvv moo
¡Deje de hacer eso!
# aptitude -vvvv moo
Vale, vale, si le doy un huevo de pascua, ¿se irá?
# aptitude -vvvvv moo
De acuerdo, usted gana.

 /----\
 -------/ \
 / \
 / |
 -----------------/ --------\
 ----------------------------------------------
root@rivendel:~# aptitude -vvvvvv moo
¿Qué es? Un elefante siendo devorado por una serpiente, evidentemente.

Un gran huevo de pascua sin duda, muy elaborado, con una fantástica referencia literaria (para quién no la reconozca, se trata de “El Principito”) y en español. ¿Qué más se puede pedir?

Espero que os haya gustado esta curiosidad para inaugurar esta sección. Nos vemos en el truco de la semana que viene.