Ftpsync
La réalisation d'un miroir de dépôts pour le gestionnaire de paquet APT peut se faire de différentes manières. Personnellement, j'ai beaucoup utilisé APT-mirror qui permet de ne récupérer qu'une partie d'un dépôt distant. Seulement cette solution souffre de trop nombreux problèmes liés à une synchronisation erratique causant régulièrement des erreurs sur les clients. Afin de bénéficier d'une solution stable, il est plus sûr de passer à la méthode préconisée (et utilisée) par le projet Debian : ftpsync.
Cette outil permet de cloner un dépôt via l'utilitaire Rsync, ce qui est beaucoup plus sérieux que les requêtes GET HTTP d'APT-mirror. Il faut cependant prendre en compte que ftpsync ne permet pas de sélectionner une partie des branches d'un dépôt. Sa granularité s’arrête aux architectures processeur. Ainsi, il est seulement possible de ne choisir de copier que certaines architectures et non de prendre uniquement la branche stable par exemple. Si vous désirez bénéficier d'une synchronisation Rsync tout en profitant d'une granularité au niveau des branches, il faudra vous tourner vers debmirror (recommandé par Debian si vous ne voulez pas faire un clone complet de leur dépôt).
En outre, l'espace disque nécessaire à un miroir réalisé avec cet outil est à prendre en compte. À titre d'exemple, un test effectué le 20 décembre 2020 avec les dépôts debian et debian-security en amd64 a occupé 358Go de données (qu'il faudra presque doublé si vous y ajoutez l'i386). Vous pouvez vous faire une idée en avance de phase de la taille requise via le tableau mis à jour régulièrement par le projet Debian. Gardez toutefois en tête que vous n'avez généralement besoin que des dépôts cités précédemment et non de la totalité du miroir (les besoins réelles en seront donc amoindris).
Installation et préparation
Installation des outils
Installation des dépendances
apt install --no-install-recommends rsync apache2
Création d'un utilisateur dédié à la synchronisation
useradd --system --home-dir /opt/ftpsync/ --user-group ftpsync
Téléchargement du script ftpsync
wget -qO- https://ftp-master.debian.org/ftpsync.tar.gz | tar xzvf - -C /opt --transform 's/^distrib/ftpsync/' && chown -R ftpsync:ftpsync /opt/ftpsync
Note : le fichier utilisé pour cette documentation est mis en cache ici.
INFORMATION
ftpsync est présent dans les dépôts Debian mais impose des dépendances inutiles alors qu'il ne s'agit que d'un script Bash... Le télécharger depuis le site officiel permet de garder un système minimaliste. Cela nous permet d'effectuer un tar stylé par la même.Création des répertoires d'accueil
mkdir -p /var/www/dépôts/{debian,debian-security} /var/log/ftpsync/
ATTENTION
Le script ftpsync vérifie (pour une raison qui m'échappe) la résolution du nom d'hôte du fichier/etc/hostname dans /etc/hosts. Il faut donc une entrée résolevable du style 127.0.1.1 CONTENU_DE_VOTRE_FICHIER_hostname dans celui-ci pour que le script se lance.Configuration d'Apache
Création de l'hôte virtuel
vim /etc/apache2/sites-available/ftpsync.conf
<VirtualHost *:80>
ServerAdmin webmaster@localhost
DocumentRoot /var/www/dépôts/
<Directory />
Options FollowSymLinks
AllowOverride none
Order allow,deny
Allow from all
</Directory>
ErrorLog ${APACHE_LOG_DIR}/error-ftpsync.log
CustomLog ${APACHE_LOG_DIR}/access-ftpsync.log combined
</VirtualHost>
Désactivation de l'hôte virtuel par défaut
a2dissite 000-default.conf
Activation du nouveau et rechargement du service
a2ensite ftpsync.conf systemctl reload apache2.service
Configuration de ftpsync
L'outil a besoin d'un fichier de configuration par dépôt à synchroniser. Nous en créerons donc deux : un pour le dépôt debian, l'autre pour debian-security, le tout en amd64.
vim /opt/ftpsync/etc/ftpsync-debian.conf
# Répertoire de destination
TO="/var/www/dépôts/debian/"
# Adresse du dépôt distant
RSYNC_HOST=ftp.fr.debian.org
# Répertoire distant du dépôt
RSYNC_PATH="debian"
# Architecture à synchroniser
ARCH_INCLUDE=amd64
# Emplacement des journaux
LOGDIR=/var/log/ftpsync/
vim /opt/ftpsync/etc/ftpsync-debian-security.conf
# Répertoire de destination
TO="/var/www/dépôts/debian-security/"
# Adresse du dépôt distant
RSYNC_HOST=ftp.fr.debian.org
# Répertoire distant du dépôt
RSYNC_PATH="debian-security"
# Architecture à synchroniser
ARCH_INCLUDE=amd64
# Emplacement des journaux
LOGDIR=/var/log/ftpsync/
chown -R ftpsync:ftpsync /var/www/dépôts/{debian,debian-security} /var/log/ftpsync/
Synchronisation du miroir
Comme vous pouvez vous en douter, cette étape va prendre du temps. Le serveur ftp.fr.debian.org a un débit dépassant rarement les 10Mo/s donc cela prendra plusieurs heures même si votre connexion Internet vous permet plus.
Dépôt debian
su - ftpsync -c '/opt/ftpsync/bin/ftpsync sync:archive:debian'
Dépôt debian-security
su - ftpsync -c '/opt/ftpsync/bin/ftpsync sync:archive:debian-security'
ATTENTION
Un<ctrl>+<c> ne termine pas le processus mais juste la commande su. Usez de la commande kill si vous devez interrompre l'opération.Votre miroir est prêt à servir des clients. Il va désormais falloir automatiser sa synchronisation.
Il peut être utile de permettre à d'autres serveur de se synchroniser au notre, pour se faire, il convient de mettre en place un démon Rsyncd.
Automatisation
La méthode recommandée passe par le programme Cron. Il faut savoir que les dépôts Debian se mettent à jour 4 fois par jours. Nous appliquons donc la même stratégie avec un décalage de 10 minutes entres ceux à synchroniser de notre coter.
Création de la crontab
crontab -e -u ftpsync
00 4,10,16,22 * * * /opt/ftpsync/bin/ftpsync sync:archive:debian 2>&1
10 4,10,16,22 * * * /opt/ftpsync/bin/ftpsync sync:archive:debian-security 2>&1
