Espelhando o FreeBSD

2.4.1 FTP (necessário para o conjunto de arquivos do FTP)

Este é um dos serviços mais básicos, e ele é requerido em todos os sites espelhos que oferecem acesso público às distribuições via FTP. O acesso ao FTP deve ser anônimo, e não é permitido o uso de nenhum controle nas taxas de upload/download (o que seria uma coisa ridícula de qualquer maneira). Não é necessário ter o upload de arquivos habilitado (e isso nunca deve ser permitido na área onde os arquivos do FreeBSD são mantidos). Os arquivos do FreeBSD devem ficar disponíveis sob o caminho /pub/FreeBSD.

Existem diversos softwares disponíveis os quais podem ser configurados para operar como um servidor de FTP anônimo. Por exemplo (em ordem alfabética).

• /usr/libexec/ftpd: Este é o servidor de FTP nativo do FreeBSD. Certifique-se de ler o ftpd(8).

• ftp/ncftpd: Um pacote comercial, gratuito para uso com fins educacionais.

• ftp/oftpd: Um servidor de FTP desenvolvido tendo a segurança como seu foco principal.

• ftp/proftpd: Um servidor FTP modular e muito flexível.

• ftp/pure-ftpd: Outro servidor de FTP desenvolvido tendo a segurança em mente.

• ftp/twoftpd: Mais um servidor desenvolvido com foco em segurança.

• ftp/vsftpd: Um ftpd “muito seguro”.

• ftp/wu-ftpd: O ftpd da universidade de Washington. Ele se tornou impopular, por causa da enorme quantidade de problemas de segurança que foram descobertos nele. Se você optar por utilizar este software, certifique-se de mantê-lo atualizado.

O ftpd nativo do FreeBSD, o proftpd, o wu-ftpd e talvez o ncftpd são alguns dos servidores de FTP mais comumente utilizados. Os demais não possuem uma grande base de usuários entre os sites espelhos. Um item a ser considerado é que você pode precisar de flexibilidade para controlar quantas conexões simultâneas serão permitidas no servidor, limitando desta forma o consumo do seu link IP e dos demais recursos do sistema.

2.4.2 Rsync (opcional para o conjunto de arquivos do FTP)

O Rsync é muitas vezes oferecido para acesso ao conteúdo da área de FTP de um site espelho do FreeBSD, desta forma outros sites espelhos podem utilizar o seu sistema como fonte para se espelhar. O protocolo do rsync é diferente do FTP em muitos aspectos. Ele é muito mais amigável em relação ao consumo de banda IP, uma vez que quando um arquivo é alterado ao invés de transferí-lo por completo novamente, ele transfere apenas as diferenças entre as duas versões do arquivo. O Rsync requer uma grande quantidade de memória para cada instância. A quantidade de memória alocada depende do tamanho do modulo sincronizado em termos do número de diretórios e de arquivos. O Rsync pode utilizar o rsh e o ssh (que agora é padrão) para transporte dos dados, ou então utilizar o seu próprio protocolo para acesso stand-alone (este é o método preferido para um servidor público de Rsync). Obrigatoriedade de autenticação, limites ao número de conexões simultâneas e outras restrições podem ser aplicadas. Há apenas um pacote de software disponível para se implementar um servidor de Rsync:

• net/rsync

2.4.3 HTTP (necessário para as páginas web, opcional para o conjunto de arquivos do FTP)

Se você deseja disponibilizar as páginas web do FreeBSD, você vai precisar instalar um servidor web. Opcionalmente você poderá oferecer acesso a sua árvore de FTP via HTTP. A escolha do software do servidor web é uma escolha do administrador do site espelho. As opções mais populares são:

• www/apache22: O Apache é o servidor web mais amplamente utilizado na internet. Ele é usado extensivamente pelo projeto FreeBSD.

• www/thttpd: Se você for servir uma grande quantidade de conteúdo estático, você pode constatar que o uso de uma aplicação como o thttpd é mais eficiente do que o uso do Apache. Ele está otimizado para operar sob a máxima performance no FreeBSD.

• www/boa: O Boa é uma outra alternativa ao thttpd e ao Apache. Ele deve prover uma performance consideravelmente melhor que a do Apache para conteúdos puramente estáticos. Ele não possui, pelo menos até o momento em que esse artigo está sendo escrito, o mesmo conjunto de otimizações para o ambiente FreeBSD que encontramos disponíveis no thttpd.

2.4.4 CVSup (desejado para repositórios CVS)

O CVSup é um meio muito eficiente de distribuição de arquivos. Ele trabalha de forma semelhante ao rsync, mas foi especialmente projetado para uso com repositórios CVS. Se você deseja disponibilizar o repositório CVS do FreeBSD, você deve considerar seriamente fazê-lo via CVSup. É possível oferecer acesso a um repositório CVS via AnonCVS, FTP, rsync ou HTTP, mas as pessoas vão se beneficiar muito mais de um acesso via CVSup. O CVSup foi desenvolvido pelo John Polstra <jdp@FreeBSD.org>. É um pouco complicado instalá-lo em uma plataforma diferente do FreeBSD, uma vez que ele foi escrito em Modula-3 e consequentemente necessita de um ambiente Modula-3 disponível. O John Polstra preparou uma versão simplificada do M3 a qual é suficiente para executar o CVSup, e que pode ser facilmente instalada. Consulte Ezm3 para maiores detalhes. Os ports relacionados são:

• net/cvsup: O port nativo do CVSup (cliente e servidor) o qual requer a instalalação do lang/ezm3.

• net/cvsup-mirror: O kit de espelhamento do CVSup, o qual requer o net/cvsup-without-gui, e que o configura para atuar no espelhamento dos serviços. Alguns administradores podem preferir utilizar uma forma diferente de configurar um site espelho.

Existem alguns outros, como o net/cvsup-without-gui o qual você pode desejar olhar. Se você preferir um pacote binário, compilado estaticamente, de uma olhada aqui. Esta página continua mencionando o erro SG1, o qual esteve presente no CVSup. Talvez o John venha a criar no futuro um site genérico para download de binários estáticos para várias plataformas.

É possível utilizar o CVSup para disponibilizar qualquer tipo de arquivo, e não apenas repositórios CVS, mas a configuração pode ser complexa. O CVSup é conhecido por consumir um pouco de CPU tanto no servidor quanto no cliente, uma vez que ele precisa comparar muitos arquivos.

2.4.5 AnonCVS (Opcional para reposittórios CVS)

Se você possui o repositório CVS, você pode desejar disponibilizá-lo via cvs anônimo. Um pequeno aviso antes: Não existe muita demanda para este tipo de acesso, ele requer alguma experiência, e você precisa saber o que está fazendo.

Geralmente há duas formas de se acessar um repositório CVS remotamente: via pserver ou via ssh (nós não consideramos o rsh). Para acesso anônimo, o uso do pserver é bastante adequado, mas alguns optam por também oferecer acesso via ssh. Existe um wrapper customizado no repositório CVS, para ser utilizado como shell para uma conta anônima de ssh. Ele faz um chroot, e portanto requer que o repositório CVS esteja disponível no diretório home do usuário anônimo. Isto pode não ser possível para todos os sites. Se você for oferecer apenas acesso via pserver, esta restrição não se aplica, mas você pode ficar sujeito a um risco maior de segurança. Você não precisa instalar nenhum software especial, uma vez que o cvs(1) vem por padrão na instalação básica do FreeBSD. Você precisa habilitar o acesso através do inetd, para isto basta adicionar uma entrada ao seu /etc/inetd.conf semelhante a esta:

cvspserver stream tcp nowait root /usr/bin/cvs cvs -f -l -R -T /anoncvstmp --allow-root=/home/ncvs pserver
         

Consulte o manual para detalhes das opções. Consulte também a página de info do CVS sobre formas adicionais de certificar-se de que o acesso ao repositório está configurado apenas para leitura. Recomenda-se que você crie uma conta não privilegiada, preferencialmente chamada anoncvs. Você também precisa criar um arquivo passwd no seu /home/ncvs/CVSROOT e atribuir um password (em branco ou anoncvs) para acesso deste usuário ao CVS. O diretório /anoncvstmp é um sistema de arquivo baseado em memória que tem um propósito especial. Ele não é obrigatório mas seu uso é recomendado, uma vez que o cvs(1) cria uma estrutura de diretórios ocultos no seu /tmp a qual não é utilizada depois da operação, mas que deixa as coisas dramaticamente lentas se forem necessárias operações reais de escrita e leitura para o disco. Aqui está um exemplo de configuração no /etc/fstab, de como configurar um MFS:

/dev/da0s1b /anoncvstmp mfs rw,-s=786432,-b=4096,-f=512,-i=560,-c=3,-m=0,nosuid 0 0
         

Esta é (naturalmente) uma sintaxe otimizada ao máximo, e foi sugerida pelo John Polstra <jdp@FreeBSD.org>.

3.1.1 Espelhando com FTP

Você pode utilizar um aplicativo de espelhamento de FTP para obter os arquivos. Alguns dos mais utilizados são:

• ftp/mirror

• ftp/ftpmirror

• ftp/emirror

• ftp/spegla

• ftp/omi

• ftp/wget

O ftp/mirror era muito popular, mas parece ter alguns inconvenientes, como ele está escrito em perl(1) ele possui alguns problemas reais para espelhar grandes diretórios como os de um site espelho do FreeBSD. Existem rumores de que a versão atual corrigiu isso ao permitir que seja especificado um algoritmo diferente para comparar a estrutura de diretórios.

Em geral o FTP não é muito bom para tarefas de espelhamento. Ele transfere o arquivo inteiro se o mesmo for alterado, e não cria um fluxo único de dados do qual ele se beneficiaria no caso de ocorrer uma grande janela de congestionamento TCP.

3.1.2 Espelhando com o Rsync

A melhor forma de espelhar a área FTP é através do uso do rsync. Você pode instalar o port net/rsync e então utilizá-lo para sincronizar com o seu servidor de upstream. O rsync já foi mencionado na Seção 2.4.2. Uma vez que a disponibilização de acesso via rsync não é obrigatória, o seu site preferido de upstream pode não disponibilizá-lo. Você pode precisar gastar algum tempo procurando até encontrar um servidor que permita o acesso via rsync.

A linha de comando para espelhar o FreeBSD será parecida com esta:

% rsync -vaz --delete ftp4.de.FreeBSD.org::FreeBSD/ /pub/FreeBSD/
         

Consulte a documentação do rsync, a qual está disponível em http://rsync.samba.org/, para conhecer as várias opções que podem ser utilizadas com o rsync. Se você sincronizar o módulo inteiro (ao contrário de apenas alguns subdiretórios), esteja ciente de que o módulo-diretório (normalmente "FreeBSD") não será criado, de forma que você não deve omitir o diretório alvo. Além disso, você pode desejar criar um script de trabalho para ser executado pelo cron(8), para automatizar o processo de espelhamento.

3.1.3 Espelhando com o CVSup

Alguns sites, incluindo o ftp-master.FreeBSD.org oferecem acesso via CVSup para espelhamento do conteúdo da área de FTP. Você precisa instalar um cliente CVSup, preferencialmente a partir do port net/cvsup. (consulte também a Seção 2.4.4). Abaixo você encontra um exemplo de arquivo supfile pronto para uso com o ftp-master.FreeBSD.org:

          #
          # FreeBSD archive supfile from master server
          #
          *default host=ftp-master.FreeBSD.org
          *default base=/usr
          *default prefix=/pub
          #*default release=all
          *default delete use-rel-suffix
          *default umask=002

          # If your network link is a T1 or faster, comment out the following line.
          #*default compress

          FreeBSD-archive release=all preserve
         

Ao que parece o CVSup seria a melhor opção para espelhar os arquivos em termos eficiência, mas infelizmente ele só está disponível em alguns poucos sites.

3.2.1 Usando o CVSup

O CVSup foi descrito com algum detalhe na Seção 2.4.4 e na Seção 3.1.3.

É muito fácil configurar um site espelho com o CVSup. Basta instalar o port net/cvsup-mirror para que você tenha todos os programas necessários instalados, e para que todas as informações necessárias para a configuração do site espelho sejam coletadas.

3.2.2 Utilizando outros métodos

A utilização de outros métodos que não o CVSup geralmente não é recomendada. De qualquer forma, nós vamos descrevê-los rapidamente aqui. Uma vez que a maioria dos sites oferece o repositório CVS como parte da área de FTP, sob o caminho /pub/FreeBSD/development/FreeBSD-CVS, os seguintes métodos podem ser utilizados:

• FTP

• Rsync

• HTTP

3.3.1 Espelhando a documentação do FreeBSD

Uma vez que a documentação é referenciada em diversas páginas web, é recomendado que você também espelhe a documentação do FreeBSD. No entanto, isto não é tão trivial quanto o espelhamento das páginas www isoladamente.

Em primeiro lugar, você deve obter os fontes da documentação, e recomendamos que você faça isso preferencialmente via CVSup. Aqui está um exemplo de supfile para esta tarefa:

         #
         # FreeBSD documentation supfile
         #
         *default host=cvsup3.de.FreeBSD.org
         *default base=/usr
         *default prefix=/usr/share
         *default release=cvs tag=.
         *default delete use-rel-suffix

         # If your network link is a T1 or faster, comment out the following line.
         #*default compress

         # This will retrieve the entire doc branch of the FreeBSD repository.
         # This includes the handbook, FAQ, and translations thereof.
         doc-all
        

Então você precisará instalar alguns ports. Mas você está com sorte pois existe um meta-port, o textproc/docproj, para fazer o trabalho por você. Você precisa configurar algumas variáveis de ambiente, como por exemplo SGML_CATALOG_FILES. Também de uma olhada no seu /etc/make.conf (faça uma cópia do /usr/share/examples/etc/make.conf se você não possuir um), e verifique a variável DOC_LANG. Agora você provavelmente já está pronto para executar o comando make dentro do diretório com os fontes da documentação (/usr/share/doc por padrão) para construí-la. De novo, você precisa tornar os arquivos acessíveis através do seu servidor web, certificando-se de que os links apontam para o local correto.

4.2.1 Eu quero apenas espelhar a partir de algum lugar!

Se você não possui nenhuma intenção ou necessidade especial, as instruções da Seção 4.2 se aplicam. Isso significa:

4.2.2 Eu sou um site espelho oficial, qual é o site correto para mim?

Em geral a orientação da Seção 4.2.1 continua válida. É claro que você pode querer colocar algum peso sobre o fato de que o seu site de upstream deveria ser um servidor de tier baixo. Existem algumas outras considerações sobre sites espelhos oficiais que estão descritos na Seção 5.

4.2.3 Eu quero acessar um site mestre!

Se você tem boas razões e bons pré-requisitos, você pode querer e ter acesso a um dos servidores mestres. O acesso a estes sites geralmente é restrito e existem regras especiais para o acesso. Se você já é um site espelho oficial, isto certamente irá ajudá-lo a conseguir o acesso. Em qualquer outro caso, certifique-se de que o seu país realmente necessita de outro site espelho. Se ele já possui 3 ou mais, pergunte ao “administrador da zona” (<hostmaster@CC.FreeBSD.org>) ou primeiro na lista de discussão sobre sites espelhos do FreeBSD.

Quem o ajudou a se tornar um site espelho oficial, deveria tê-lo ajudado a ganhar acesso a um servidor apropriado de upstream, seja à um dos servidores mestre ou a um servidor Tier-1 adequado. Se isso não ocorreu, você pode enviar um email para o endereço <mirror-admin@FreeBSD.org> e solicitar ajuda com isto.

Existem 3 servidores mestres para o conjunto de arquivos do FTP e um para o repositório de CVS (as páginas web e os demais documentos são obtidos a partir do CVS, por isso não existe necessidade de se ter um servidor mestre para eles).