viernes, 23 de junio de 2023

Configurar log streaming replication PostgreSQL 14

In today's article, we'll talk about how to set up replication in PostgreSQL. To put it simply, replication is copying the state of one server to another by means of wal logs. Well, to be more precise, absolutely any changes that occur on the main server will be copied to the replica server.

Download and install Postgresql 14 on Linux CentOS/RHEL 8/7 TAR

I will use such concepts in the article as source and replica. The source is the main server, it can also be called master, and the replica is the server that will accept all changes from the main server, it can also be called standby.

Servers I will use.

postgresql1.local - 192.168.2.231 source

postgresql2.local - 192.168.2.232 replica

 

Article content:

  1. Setting parameters postgresql.conf on source.
  2. Create a replication user on the source.
  3. Configuring parameters pg_hba.conf on the source.
  4. Move data from source to replica.
  5. Privilege settings
  6. Starting a replica and checking the status of replication.

 

1. Configuring postgresql.conf parameters on the source.

For the simplest replication setup, we only need to set two parameters in the postgresql.conf configuration file on the source.

 

Find the parameter wal_level and set the values replica.

wal_level = replica

postgresql_replication

 

Find the parameter max_wal_senders and set the values ​​to 100.

max_wal_senders = 100

postgresql_replication

 

Be sure to restart the database after making changes.

$. pg_ctl restart


 

2. Create a replication user on the source.

Replication in PostgreSQL is implemented by transferring wal logs, and the account that we will now create will be responsible for transferring these logs. Usually the name of the account that is responsible for replication is called, for example, user_slave, slave, or replica. We will create an account called replicator.

sql> CREATE ROLE replicator WITH LOGIN NOSUPERUSER NOCREATEDB NOCREATEROLE NOINHERIT REPLICATION CONNECTION LIMIT -1 PASSWORD 'Qwerty123';

postgresql_replication

The main thing is not to forget to specify that this user has the right to replicate. The REPLICATION privilege is responsible for replication in PostgreSQL.


 

3. Configuring pg_hba.conf parameters on the source.

Now we need to configure access so that there is access from the replica server to the source server and vice versa from the source server to the replica server. The  pg_hba.conf file is responsible for setting up access. Find it and add it to it:

host replication replicator 192.168.2.231/32 trust
host replication replicator 192.168.2.232/32 trust

postgresql_replication

After making changes, we need to either restart the database or run a housekeeping function so that the  pg_hba.conf file is reread by the database. I use a utility function.

sql> SELECT pg_reload_conf();

postgresql_replication


 

4. Transfer data from source to replica.

Now it's time to migrate all the content from the origin server to the replica server. For these purposes, I will use the  pg_basebackup utility. Perform data transfer on the replica server:

$. pg_basebackup -h 192.168.2.231 -U replicator -D /app/postgresql/pgdatabase/data --write-recovery-conf --progress --verbose

postgresql_replication


 

5. Privilege settings

After migrating data from the source to the replica on the replica server, you need to assign the postgres owner of all migrated directories.

$. chmod -R 0700 /app/postgresql/pgdatabase/data


 

6. Launching a replica and checking the replication status.

Now we can start the database on the replica server.

$. pg_ctl start

postgresql_replication

The database on the replica started successfully.

 

Now on the source we need to check whether the replica server can connect to it, for this we execute the request on the source:

sql> select application_name, state, sent_lsn, write_lsn,  sync_state from pg_stat_replication;

postgresql_replication

The replica server has successfully connected to the source server and replication has started working for us.

martes, 18 de octubre de 2022

Add extra second drive on Linux LVM

See all File system related FAQ
Ihave 250GB disk installed on my home Linux server. I just bought a brand new 250GB SATA disk and I want to add a new disk to my existing LVM volume to increase its size total size to 500GB. How do I add a disk to LVM and extend an LVM volume on Linux operating system?

Logical volume management (LVM) creates an easy to use layer over physical disks. You can combine multiple disks and create logical storage volumes. This provides specific benefits such as:

ADVERTISEMENT
  1. No restriction on disk size
  2. Increased disk throughput
  3. Mirroring volumes for business critical data
  4. Volume snapshots
  5. Easy backups and restores using snapshots
  6. Easy data relocation
  7. Resizing storage pools (add or remove disks) without reformatting disks
Tutorial details
Difficulty levelAdvanced
Root privilegesYes
RequirementsLinux with LVM
CategorySystem Management
OS compatibilityAlma  Alpine  Arch  CentOS  Debian  Fedora  Linux  Mint  openSUSE  Pop!_OS  RHEL  Rocky  Stream  Stream  SUSE  Ubuntu
Est. reading time6 minutes
This tutorial shows you how to make partitioning, formatting, and add a new disk to LVM volume on Linux. For demo purpose, I am using Ubuntu VM, but the commands remain same for bare metal or any other virtualization technology such as KVM, Xen, VMware and so on.

Warning: Be careful with lvm/mkfs.ext4 and other commands, and device names as wrong device name can wipe out all data. Proceed with caution and always keep full backups. The nixCraft or author is not responsible for data loss.

Step 1 – Find out information about existing LVM

LVM Storage Management divided into three parts:

  1. Physical Volumes (PV) – Actual disks (e.g. /dev/sda, /dev,sdb, /dev/vdb and so on)
  2. Volume Groups (VG) – Physical volumes are combined into volume groups. (e.g. my_vg = /dev/sda + /dev/sdb.)
  3. Logical Volumes (LV) – A volume group is divided up into logical volumes (e.g. my_vg divided into my_vg/data, my_vg/backups, my_vg/home, my_vg/mysqldb and so on)

Type the following commands to find out information about each part.

How to display physical volumes (pv)

Type the following pvs command to see info about physical volumes:
sudo pvs
Sample outputs:

Fig.01: How to display information about LVM physical volumes

Fig.01: How to display information about LVM physical volumes

So currently my LVM include a physical volume (actual disk) called /dev/vda5. To see detailed attributes information, type:
sudo pvdisplay
Sample outputs:
Fig.02: See attributes of a physical volume (PV)

Fig.02: See attributes of a physical volume (PV)

From above output it is clear that our volume group named ubuntu-box-1-vg is made of a physical volume named /dev/vda5.

How to display information about LVM volume Groups (vg)

Type any one of the following vgs command/vgdisplay command to see information about volume groups and its attributes:
sudo vgs
OR
sudo vgdisplay
Sample outputs:

Fig.03: How to see information about LVM volume groups (vg)

Fig.03: How to see information about LVM volume groups (vg)

How to display information about LVM logical volume (lv)

Type any one of the following lvs command/lvdisplay command to see information about volume groups and its attributes:
sudo lvs
OR
sudo lvdisplay
Sample outputs:

Fig.04: How to display information about logical volumes (lv)

Fig.04: How to display information about logical volumes (lv)

My ubuntu-box-1-vg volume group divided into two logical volumes:

  1. /dev/ubuntu-box-1-vg/root – Root file system
  2. /dev/ubuntu-box-1-vg/swap_1 – Swap space

Based upon above commands, you can get a basic idea how LVM organizes storage device into Physical Volumes (PV), Volume Groups (VG), and Logical Volumes (LV):

Fig.05: How LVM organizes storage device into Physical Volumes (PV), Volume Groups (VG), & Logical Volumes (LV)

Fig.05: How LVM organizes storage device into Physical Volumes (PV), Volume Groups (VG), & Logical Volumes (LV)

Step 2 – Find out information about new disk

You need to add a new disk to your server. In this example, for demo purpose I added a new disk drive, and it has 5GiB size. To find out information about new disks run:
sudo fdisk -l
OR
sudo fdisk -l | grep '^Disk /dev/'
Sample outputs:

Fig.06: Find out installed disk names on Linux

Fig.06: Find out installed disk names on Linux

Another option is to scan for all devices visible to LVM2:
sudo lvmdiskscan
Sample outputs:

  /dev/ram0                   [      64.00 MiB] 
  /dev/ubuntu-box-1-vg/root   [      37.49 GiB] 
  /dev/ram1                   [      64.00 MiB] 
  /dev/ubuntu-box-1-vg/swap_1 [       2.00 GiB] 
  /dev/vda1                   [     487.00 MiB] 
  /dev/ram2                   [      64.00 MiB] 
  /dev/ram3                   [      64.00 MiB] 
  /dev/ram4                   [      64.00 MiB] 
  /dev/ram5                   [      64.00 MiB] 
  /dev/vda5                   [      39.52 GiB] LVM physical volume
  /dev/ram6                   [      64.00 MiB] 
  /dev/ram7                   [      64.00 MiB] 
  /dev/ram8                   [      64.00 MiB] 
  /dev/ram9                   [      64.00 MiB] 
  /dev/ram10                  [      64.00 MiB] 
  /dev/ram11                  [      64.00 MiB] 
  /dev/ram12                  [      64.00 MiB] 
  /dev/ram13                  [      64.00 MiB] 
  /dev/ram14                  [      64.00 MiB] 
  /dev/ram15                  [      64.00 MiB] 
  /dev/vdb                    [       5.00 GiB] 
  2 disks
  18 partitions
  0 LVM physical volume whole disks
  1 LVM physical volume

Step 3 – Create physical volumes (pv) on new disk named /dev/vdb

Type the following command:
sudo pvcreate /dev/vdb
Sample outputs:

  Physical volume "/dev/vdb" successfully created

Now run the following command to verify:
sudo lvmdiskscan -l
Sample outputs:

  WARNING: only considering LVM devices
  /dev/vda5                   [      39.52 GiB] LVM physical volume
  /dev/vdb                    [       5.00 GiB] LVM physical volume
  1 LVM physical volume whole disk
  1 LVM physical volume

Step 4 – Add newly created pv named /dev/vdb to an existing lv

Type the following command to add a physical volume /dev/vdb to “ubuntu-box-1-vg” volume group:
sudo vgextend ubuntu-box-1-vg /dev/vdb
Sample outputs:

  Volume group "ubuntu-box-1-vg" successfully extended

Finally, you need extend the /dev/ubuntu-box-1-vg/root to create total 45GB (/dev/vdb (5G)+ existing /dev/ubuntu-box-1-vg/root (40G))
sudo lvm lvextend -l +100%FREE /dev/ubuntu-box-1-vg/root
Sample outputs:

  Size of logical volume ubuntu-box-1-vg/root changed from 37.49 GiB (9597 extents) to 42.52 GiB (10885 extents).
  Logical volume root successfully resized.

However, if you run df -h or any other command you will still see /dev/ubuntu-box-1-vg/root as 40G. You need to run the following command to enlarge the filesystem created inside the “root” volume:
sudo resize2fs -p /dev/mapper/ubuntu--box--1--vg-root
Sample outputs:

resize2fs 1.42.13 (17-May-2015)
Filesystem at /dev/mapper/ubuntu--box--1--vg-root is mounted on /; on-line resizing required
old_desc_blocks = 3, new_desc_blocks = 3
The filesystem on /dev/mapper/ubuntu--box--1--vg-root is now 11146240 (4k) blocks long.

Verify it again using the df command or mount command. For example:
df -H
Sample outputs:

Filesystem                           Size  Used Avail Use% Mounted on
udev                                 1.1G     0  1.1G   0% /dev
tmpfs                                146M   12M  135M   9% /run
/dev/mapper/ubuntu--box--1--vg-root   45G  2.3G   41G   6% /
tmpfs                                512M     0  512M   0% /dev/shm
tmpfs                                5.3M     0  5.3M   0% /run/lock
tmpfs                                512M     0  512M   0% /sys/fs/cgroup
/dev/vda1                            495M  109M  361M  24% /boot
tmpfs                                103M     0  103M   0% /run/user/0

miércoles, 18 de septiembre de 2019

Restore Base de Datos "Pesadas" en MySQL

Bueno... después de algunos años se me dió por escribir algo nuevamente; esta vez de la restauración de datos de MySQL.

Estuve luchando con la restauración de un dump SQL (de unos 13Gb aprox.) de una BDD MySQL 5.x, para lograr realizarlo en un tiempo razonable... Digo en un tiempo razonable, porque este restore me llevaba más de 1 día... algo que no era aceptable bajo ningún concepto para el negocio.

Empecé a ver comentarios por todos lados, pero nada me daba resultado, probé herramientas de terceros... pero tampoco era lo que estaba buscando... yo pretendía que usando mysql desde línea de comandos con el dump como entrada, con los parámetros indicados, pudiera hacer ese restore en no más de 2 o 3 horas...

Hasta que dí con lo siguiente, un script que tiene la paramétrización indicada para llegar al objetivo... y lo dejo por acá...


 #!/bin/sh

  # Guarda fecha de inicio
  inicio=`date`

  echo "Inicio restore: OK"
  # Ruta completa del dump de la base de datos a restaurar
  dumpfile="/home/backups/nombre_del_dump_a_restaurar.sql"

  ddl="set names utf8; "
  ddl="$ddl set global net_buffer_length=1000000;"
  ddl="$ddl set global max_allowed_packet=1000000000; "
  ddl="$ddl SET foreign_key_checks = 0; "
  ddl="$ddl SET UNIQUE_CHECKS = 0; "
  ddl="$ddl SET AUTOCOMMIT = 0; "
  # Si el archivo de dump no crea la base de datos, en la linea a continuación especificar la base de datos destino luego del USE
  ddl="$ddl USE facturaelectronicaweb_prueba2; "
  ddl="$ddl source $dumpfile; "
  ddl="$ddl SET foreign_key_checks = 1; "
  ddl="$ddl SET UNIQUE_CHECKS = 1; "
  ddl="$ddl SET AUTOCOMMIT = 1; "
  ddl="$ddl COMMIT ; "

# Setear contraseña
passw=contraseña_del_usuario_para_realizar_restore

  time mysql -h 127.0.0.1 -u root -p$passw -e "$ddl" &
  wait

  # Guarda fecha de fin
  fin=`date`

  echo "Inicio restore: $inicio"
  echo "Fin restore: $fin"


Espero que sea de utilidad y que bajen los tiempos de esos restore!
Cualquier sugerencia o modificación es muy bienvenida!
ÉXITOS!!!

miércoles, 10 de septiembre de 2014

Ahora PostgreSQL... Como otorgar permisos sobre todas las vistas?

Como hacemos para otorgar permisos sobre todas las vistas de un mismo schema en PostgreSQL?
No hay, o al menos no encontré, algo como GRANT SELECT ON ALL VIEWS TO usuario... lamentablemente hasta la version 9... imposible!
Algo que nos puede sacar del paso...
SELECT 'GRANT SELECT ON ' || quote_ident(schemaname) || '.' || quote_ident(viewname) || ' TO "Usuario/Role";' FROM pg_views WHERE schemaname = 'NombreSchema';
Con esto, generamos todas las sentencias para otorgarle al "Usuario/Role", los permisos correspondientes sobre el schema "NombreSchema".

lunes, 24 de septiembre de 2012

AWSTATS y JBoss

QUÉ ES AWSTATS?


(Copiado de Wikipedia, se nota no?... solo la introducción eh!!!... el resto es copiado de otro lado... je je)
AWStats es una herramienta open source de informes de análisis web, apta para analizar datos de servicios de Internet como un servidor web, streaming, mail y FTP. AWstats analiza los archivos de log del servidor, y con base a ellos produce informes HTML. Los datos son presentados visualmente en informes de tablas y gráficos de barra. Pueden crearse informes estáticos mediante una interfaz de línea de comando, y se pueden obtener informes on-demand a través de un navegador web, gracias a un programa CGI.
AWStats soporta la mayoría de los formatos de archivos log de servidor web conocidos, entre ellos Apache (formato de log NCSA combinado/XLF/ELF o formato común/CLFt), WebStar, IIS (formato de log del W3C) y muchos otros formatos comunes de Internet. Los desarrolladores pueden contribuir con el proyecto AWStats a través de SourceForge.



Instalación AWSTATS en Debian

Desde hacer un apt-get del paquete awstats
apt-get install awstats

Los archivos de configuración quedarán ubicados en /etc/awstats.

Previamente debemos tener instalado un servidor Apache en nuestro equipo.

En Apache:

vim /etc/apache2/sites-enabled/000-default

y agregar dentro de la configuracion del virtual host:

-VirtualHost *:80-
.
.

ScriptAlias /awstats/ "/usr/lib/cgi-bin/"
Alias /awstats-icon/ "/usr/share/awstats/icon/"


Options None
AllowOverride None
Order allow,deny
Allow from 127.0.0.1 ## ip permitida para ver los cambios

.
.
--VirtualHost--

Luego reiniciamos Apache:
/etc/init.d/apache2 restart


CONFIGURACIÓN DEL LOG JBOSS

En nuestro Server JBoss debemos habilitar el logging compatible para que AWSTATS pueda interpretarlo.

En server/default/deploy/jboss-web.sar/server.xml descomentar la entrada siguiente:

Valve className="org.apache.catalina.valves.AccessLogValve"
        prefix="localhost_access_log." suffix=".log" ...
        ...
        ...
        ...

CONFIGURACIÓN DE AWSTATS

Ahora es tiempo de crear nuestra primer archivo de configuración para un servidor determinado.


perl /usr/share/doc/awstats/examples/awstats_configure.pl

Luego seguimos los siguiente pasos:

Do you want to continue setup from this NON standard directory [yN] ?
y

Config file path ('none' to skip web server setup):
/etc/apache2/apache2.conf <----- archivo de configuracion de apache Do you want me to build a new AWStats config/profile file (required if first install) [y/N] ?
y


Your web site, virtual server or profile name:

www.midominio.com

Directory path to store config file(s) (Enter for default):

dejar en blanco + enter

Si nos sale este error:
Error: Failed to open '/etc/awstats/wwwroot/cgi-bin/awstats.model.conf' for read.

hacer lo siguiente:

cd /etc/awstats/

mkdir -p wwwroot/cgi-bin
cp /usr/share/doc/awstats/examples/awstats.model.conf.gz wwwroot/cgi-bin/cd wwwroot/cgi-bin/
gunzip awstats.model.conf.gz

y luego realizar el paso 2 (tuve que ejecutar dos veces seguidad :( ) y escribir todo nuevamente.

luego si se corrigio ese error le damos enter hasta finalizar.

Bien unas ves que se ha creado nuestro archivo de configuracion entramos a:

cd /etc/awstats

y verificamos que este nuestro archivo, hacemos:

vi awstats.www.midominio.com.conf

una vez abierto el fichero buscamos los siguiente parámetros a configurar:

LogFile="opt/jboss/jboss5/server/default/log/localhost_access_log.%YYYY-0-%MM-0-%DD-0.log""

aquí se encuentra el log que configuramos anteriormente (con Valve) de nuestro JBoss...

LogType=W (para servidor web)
LogFormat=4 (para apache en general)
DirData="/var/lib/awstats" (esto debe existir previamente)

Luego ejecutamos el siguiente comando para que se empieze a generar nuestro reporte:

/usr/lib/cgi-bin/awstats.pl -update -config=www.midominio.com

Si el dominio es diferente simplemente lo cambiamos por el correspondiete.

Una vez finalizado el proceso de actualización de las estadísticas, vamos a nuestro browser y llamamos a la URL:

http://localhost/awstats/awstats.pl?config=www.midominio.com

En fin... debería haber quedado funcionando... de no ser así... a investigar un poquito más... ÉXITOS!!!

viernes, 3 de agosto de 2012

Shrink Space

Hola! Se me ocurrió escribir esto, que aunque a primera vista sea muy sencillo, en alguna otra ocasión nos puede salvar... al menos tener las sentencias a mano en caso de necesitarlas.
Qué sucede cuando tenemos una tabla que pesa bastante... digamos 3, 4 o 5 Gigas o quizás no tanto... y eliminamos de un saque (via delete) un porcentaje importante de filas?... La respuesta es fácil... todo ese espacio alocado (traducción a lo indio de allocated) para ese tabla no es liberado... y sigue ocupando el mismo espacio en disco!... Bien... Cómo hacemos para liberarlo?

Sencillo:
ALTER TABLE schema.NOMBRE_TABLA enable row movement;
ALTER TABLE schema.NOMBRE_TABLA SHRINK SPACE;
ALTER TABLE schema.NOMBRE_TABLA disable row movement;
Con ésto, deberíamos poder recuperar ese espacio inutilizado... Espero haya sido de utilidad!

P.D.: si la tabla tiene índice function-based esto no nos será posible, lo que haríamos en ese caso es eliminar el o los índices, ejecutar las sentencias anteriores, y volver a crear los índices function-based .

lunes, 30 de julio de 2012

ORA-39087: directory name DATAPUMPDIR is invalid

Si al intentar realizar un expdp obtenemos este error... les sugiero que chequeen el user con el que están tirando la tarea tenga permisos sobre el directorio en el cual se va a volcar el dump...

SELECT * FROM ALL_DIRECTORIES -- chequeamos los directories existentes
SYS | DATAPUMPDIR | /u01/app/oracle/oracle/product/10.2.0/db_1/rdbms/log/

SELECT *  -- chequeamos los permisos que tienen los usuarios sobre los directories
FROM user_tab_privs
WHERE table_name = 'DATAPUMPDIR'


-- asignamos permisos al usuario correspondiente, para que pueda acceder al directory específico
GRANT READ, WRITE on DIRECTORY DATAPUMPDIR to USUARIO1;

Listo! Ahora sí! Corremos el expdp y no deberíamos tener problemas... Suerte!