Vaciar papelera por completo en Linux

Para que este blog no se oxide, aquí el comando que utilice para vaciar la papelera con un archivo que no se dejaba borrar.

$ sudo rm -rf ~/.local/share/Trash/files/*

Evitar que el SSH hacia instancia GCE se rompa.

Feliz 2016 a todos =)

En mi experiencia con GCE (Google Compute Engine) he tenido la mala fortuna que al realizar una tarea larga como un "dd" para hacer el respaldo del disco duro o al comprimir el imagen que crear el "dd" el SSH después de un rato de inactividad me marca:

Write failed: Broken pipe
ERROR: (gcloud.compute.ssh) [/usr/local/bin/ssh] exited with return code [255].

Bueno lo que he estado utilizando y me ha ayudado no solo a evitar el broken pipe si no también para poder darme cuenta de lo que hace la maquina es utilizar:

pv es un comando con el cual podemos añadir una barra de progreso a esos comandos que no cuentan con un modificador o bandera para activar la barra de progreso.

1.- Para usarlo es necesario instalarlo si no se tiene

$ sudo apt-get install pv

 2.- Para usar pv con dd se utiliza el siguiente comando

$ sudo dd if=/dev/disk/by-id/google-temp |pv|sudo dd of=/mnt/tmp/disc.img bs=5M

3.- Para utlizar pv con pigz 

$ pv -tpreb /archivo/a/comprimir | pigz -k --best > comprimido.gz

 
 Con eso obtendrás una barra de progreso similar a esta

17.4GB 0:11:28 [35.5MB/s] [====>                                                  ]  7% ETA 2:25:52

 Con esto evité el broken pipe.

Otra forma de respaldar VM de GCE a dispositivo local

Esta forma es muy parecida a la anteriormente publicada, solo cambia en algunos puntos, pero a mi parecer esta forma es mas controlada y te da mas seguridad de que se esta respaldando todo el disco duro.


1.- Crear un disco duro del doble de capacidad del que se quiere respaldar, esto con la finalidad de poder guardar la imagen del disco duro a respaldar de manera holgada en el disco duro nuevo creado.

2.- Cuando se tenga el nuevo disco duro hay que entrar a la instancia de GCE para montar el nuevo disco en nuestro SO.

Revisar que discos duros se encuentran disponibles

$ ls -l /dev/disk/by-id/google-*

Hacer la carpeta donde se va a montar el nuevo disco duro

$ sudo mkdir /mnt/tmp

Montar el disco duro donde se guardara el respaldo

$ sudo /usr/share/google/safe_format_and_mount -m "mkfs.ext4 -F" /dev/sdb /mnt/tmp

3.- Ahora lo que se hace es una copia entera del nuestro disco duro al nuevo montado

$ dd if=/dev/disk/by-id/[Nuestro disco duro a copiar] of=/mnt/temp/backup/disk.img bs=5M

 4.- El proceso anterior tardara unos minutos (en mi caso fueron 60 min) y ahora solo resta comprimir ese archivo y descargarlo (en la compresión del archivo me llevo 70 min)

Puedes usar pigz para hacer una compresión mas pequeña

5.- Ahora solo descarga el archivo y así tendrás una copia de tu DD mas controlada.

Cambiar el tamaño de disco duro en una VM en GCE

Que tal ya me había tardado en poner una entrada, debería ser mas constante, pero publico aquí cosas que aprendo sobre la marcha de mi trabajo.

Así que el día de hoy me tope con el problema de cambiar el tamaño de un disco duro de una maquina virtual que administro en Google Compute Engine (GCE) y pues después de andar buscando aquí tengo el como hacer el resize de un HD en GCE

Los pasos para hacer le resize del disco duro son los siguientes:

1. Crea un nuevo disco con mas espacio en GCE con la imagen antes creada a la cual quieras incrementar el espacio de disco duro.
2. Crea una nueva instancia de GCE usando para ser creada el nuevo disco el cual ya tiene mas capacidad que el anterior.
3. Ingresa en tu instancia y utiliza el siguiente comando

$ sudo resize2fs /dev/sda1 

Con esto tu parición pasara del almacenamiento pasado al nuevo como se puede ver en la imagen de arriba

Y ya con eso tendrás nuevo espacio disponible, debes recordar que si incrementas el espacio del disco o de otro componente en GCE puede venir un cargo extra en la factura.

Información vía : stackoverflow

Exportar instance (VM) de Google Compute engine para resguardo local (LINUX VM)

Para hacer un respaldo de la VM de GCE debes de hacer lo siguientes:

1.- Crear un nuevo disco temporal este debe ser una copia del disco actual que estas utilizando, para esto debes de hacer un "snapshot" de tu disco y con ese crear el nuevo.

 

2.-Debes de ejecutar el comando attach-disk desde tu maquina local para poder vincular el disco creador a tu sistema operativo, esto se logra con el siguiente comando:

$ gcloud compute instances attach-disk  [tu instancia]  --disk temp  \--device-name  temporary-disk  \--zone  [zona de tu proyecto]   

4.-Con el proceso anterior finalizado, ingresa por SSH a tu VM y revisa que el vinculo de tu Disco duro temporal se haya realizado y se encuentre montado en tu sistema operativo. para eso deberás listar los discos duros de tu SO con el siguiente comando:

$ ls -l /dev/disk/by-id/google-*

tendrás un salida similar a la siguiente:

$ ls -l /dev/disk/by-id/google-* lrwxrwxrwx 1 root root 9 Jul 29 17:56 /dev/disk/by-id/google-persistent-disk-0 -> ../../sda lrwxrwxrwx 1 root root 10 Jul 29 17:56 /dev/disk/by-id/google-persistent-disk-0-part1 -> ../../sda1 lrwxrwxrwx 1 root root 9 Aug 25 18:16 /dev/disk/by-id/google-temporal-disk -> ../../sdb # El disco temporal reside en: /dev/sdb

5.-Se crea un carpeta temporal, este paso es importante recuerda la ruta:

$ sudo mkdir /mnt/tmp

6.-Monta el nuevo disco:

$ sudo /usr/share/google/safe_format_and_mount -m "mkfs.ext4 -F" /dev/sdb /mnt/tmp

7.-Este paso es el mas importante, con el comando "gcimagebundle" se creará un archivo .tar del disco duro montado, y lo pondrá en la carpeta temporal que se creo antes, por eso es importante crear el disco duro temporal con las imagen del disco a resguardar.

$ sudo gcimagebundle \-d /dev/sda -o /mnt/tmp/ --log_file=/tmp/abc.log

nota: el tiempo de ejecución de este proceso, dependerá del tamaño de tu disco y del tipo de VM que estés utilizando.

8.-Cuando el proceso termine, busca un archivo con un nombre conformado de un gran cadena de números hexadecimales  con extensión .tar.gz

/mnt/tmp/HEX-NUMERO.image.tar.gz

9.-Por ultimo copia ese archivo a tu maquina local con el comando de copia que puse anteriormente (Copiar archivos de pc local a VM en Google Compute Engine) y respalda el archivo de la manera que mas te agrade, en mi caso son  dvds

Comandos Linux útiles

Aquí les pondré algunos comandos útiles de linux.

1.-  Historial de comandos

$ history

Con este comando podrás ver el historial de los comandos que has utilizado, si esto se combina con el comando "grep" podrás hacer una búsqueda de algún comando que no recuerdes como utilizarlo.

$ history | grep "lo-que-buscas"

2.-  ¿Que pasa en mi linux ?

Para darte una idea de que se esta ejecutando, procesos, demonios, como esta tu memoria (ram & swap), ver los logs, etc. puedes usar el siguiente comando:

$ top

Pero la verdad es que top no se ve muy bonito, si quieres agregarle funcionalidades hay que instalar y ejecutar

$ sudo apt-get install htop

$ htop

 con htop tenemos una mejor vista de los procesos y opciones de teclas para mejorar la gestión.

3.- Saber que paquetes y dependencias en especial tienes

$ dpkg -l | grep "lo que buscas"

con este comando puedes buscar paquetes y las dependencias que tiene dicho paquete.

4.- Algo diferente ...

Con el comando

$ sudo apt-get install cowsay

$ cowsay  hola

 ______
< hola >
 ------
        \   ^__^
         \  (oo)\_______
            (__)\              )\/\
                ||---------w |
                ||               ||

Obtendremos un "vaca" que nos dirá lo que queramos, este comando se puede combinar con otros para obtener otros tipos de resultado utilizando los pipes " | "

$ history | grep "cowsay" | cowsay

Git, eliminar un branch (RAMA)

Cuando ya hayas terminado de tus labores en un "branch (rama)" y tu código ya este como el "master" o al dar el comando

git branch 

Te salen muchos "branchs (ramas)"  que ya no utilizas y quieres eliminarlos, pues con el comando 

git fetch -p    

Eliminaras todos esos "branchs (ramas) que ya no requieras, pero siempre hay uno que se resiste, bueno al menos en mi caso, para poder eliminar esos "branchs"(ramas) persistentes se utiliza el comando  

git branch -d nombre-del-branch

si el branch (rama) se resiste a ser eliminado y tú de verdad quieres eliminarlo a como de lugar  utiliza:

git branch -D nombre-del-branch

Y si quieres eliminar un branch(rama) remoto (en repositorio github, bitbucket etc) el comando el el siguiente

git push origin --delete nombre-del-branch-remoto

Recuerda siempre tener precaución y estar 101% seguro de querer eliminar el branch 

Google cloud y App Engine SDK

Bueno, para usar las herramientas de Google como Compute Engine y App Engine, se deben de instalar los SDKs correspondientes.

Aquí los comandos correspondientes para instalarlo en linux, pero también pongo el enlace para hacer las instalaciones en Windows y Mac.

Instalar Cloud SDK

Google Cloud SDK contiene las librerias y herramientas necesarias para el uso de App Engine, Compute Engine, Cloud Storage, BigQuery, Cloud SQL y Cloud DNS.

Descargar e instalar Google Cloud SDK.

curl https://sdk.cloud.google.com | bash

Al terminar la instalación se debe de reiniciar el shell de linux:

exec -l $SHELL

Para el uso de las herramientas de gcloud se debe uno de autentificar/autenticar con el siguiente comando:

gcloud auth login

Enlace y otras instalaciones Aquí (https://cloud.google.com/sdk/)


Google App Engine SDK

Para usar este SDK es necesario descargar el correspondiente SDK que usara nuestra aplicación (Página.appspot.com), en este caso son las instrucciones para usar una aplicación PHP.

Primero se debe descargar el SDK

php : google_appengine_1.9.24

Se descomprime: 

unzip google_appengine_1.9.24.zip 

Se agrega al PATH para su ejecución:

export PATH=$PATH:/path/donde-esta/google_appengine/ 

    nota: Esto solo agrega al PATH hasta el reinicio del Sistema Operativo

 Enlace de instalación de otros SDK Aquí (https://cloud.google.com/appengine/downloads)

Git y comando básicos

¿Qúe es Git?

Según Wikipedia:

1. "Git (pronunciado "guit" ) es un software de control de versiones diseñado por Linus Torvalds, pensando en la eficiencia y la confiabilidad del mantenimiento de versiones de aplicaciones cuando éstas tienen un gran número de archivos de código fuente."

Instalar git  para windows aquí

Inatalar en Linux:

apt-get install git

Otras manera de instalar aquí

Comando basicos de git (Con un repositorio remoto creado en github, bitbucket, etc):

git help comando ó git comando --help

Clonar de repositorio.

git clone url

Cambiar a un branch. 

git fetch && git checkout "nombre del branch o master"

Hacer le comit. 

git commit --all

Descargar los cambios del repositorio. 

git pull nombre del branch o "master"

Subir los cambios al repositorio. 

git push origin "nombre del branch"

Agregar archivos nuevos al arbol del git 

git add "ruta del nuevo archivo dentro del arbol"

Ver los branch

git branch

Borrar branch

git branch -d "nombre del branch"

git fetch -p    < Esto purga todo los branch que ya no existen