Bones pràctiques per a la implementació del servidor Hadoop a CentOS/RHEL 7 - Part 1


En aquesta sèrie d'articles, cobrirem tot l'edifici Cloudera Hadoop Cluster Building amb les millors pràctiques recomanades per a proveïdors i industrials.

Instal·lació i execució del sistema operatiu Els requisits previs són els primers passos per crear un clúster Hadoop. Hadoop es pot executar en diferents versions de la plataforma Linux: CentOS, RedHat, Ubuntu, Debian, SUSE, etc., En producció en temps real, la majoria dels clústers Hadoop es construeixen a sobre de RHEL/CentOS, utilitzarem CentOS 7 per a la demostració. en aquesta sèrie de tutorials.

En una organització, la instal·lació del sistema operatiu es pot fer mitjançant Kickstart. Si es tracta d'un clúster de 3 a 4 nodes, la instal·lació manual és possible, però si construïm un clúster gran amb més de 10 nodes, és tediós instal·lar el sistema operatiu un per un. En aquest escenari, el mètode Kickstart entra a la imatge, podem procedir amb la instal·lació massiva mitjançant kickstart.

Aconseguir un bon rendiment d'un entorn Hadoop depèn de subministrar el maquinari i el programari correctes. Per tant, construir un clúster Hadoop de producció implica molta consideració pel que fa al maquinari i el programari.

En aquest article, repassarem diversos punts de referència sobre la instal·lació del sistema operatiu i algunes pràctiques recomanades per implementar Cloudera Hadoop Cluster Server a CentOS/RHEL 7.

Consideració important i bones pràctiques per a la implementació del servidor Hadoop

A continuació es mostren les millors pràctiques per configurar el desplegament del servidor Cloudera Hadoop Cluster a CentOS/RHEL 7.

  • Els servidors Hadoop no requereixen servidors estàndard d'empresa per crear un clúster, sinó que requereixen maquinari bàsic.
  • Al clúster de producció, es recomana tenir entre 8 i 12 discos de dades. Segons la naturalesa de la càrrega de treball, hem de decidir-ho. Si el clúster és per a aplicacions intensives en càlcul, tenir entre 4 i 6 unitats és la millor pràctica per evitar problemes d'E/S.
  • Les unitats de dades s'han de particionar individualment, per exemple, començant des de /data01 fins a /data10.
  • La configuració RAID no es recomana per als nodes de treball, perquè el mateix Hadoop proporciona tolerància a errors a les dades replicant els blocs en 3 de manera predeterminada. Per tant, JBOD és millor per als nodes de treball.
  • Per als servidors mestres, RAID 1 és la millor pràctica.
  • El sistema de fitxers predeterminat a CentOS/RHEL 7.x és XFS. Hadoop és compatible amb XFS, ext3 i ext4. El sistema de fitxers recomanat és ext3, ja que s'ha provat per a un bon rendiment.
  • Tots els servidors haurien de tenir la mateixa versió del sistema operatiu, almenys la mateixa versió menor.
  • La millor pràctica és tenir un maquinari homogeni (tots els nodes de treball han de tenir les mateixes característiques de maquinari (RAM, espai en disc i nucli, etc.).
  • Segons la càrrega de treball del clúster (càrrega de treball equilibrada, intensiu de càlcul, intensiu d'E/S) i la mida, la planificació de recursos (RAM, CPU) per servidor serà diferent.

Trobeu l'exemple següent per a la partició de disc dels servidors d'emmagatzematge de 24 TB.

Instal·lació de CentOS 7 per al desplegament del servidor Hadoop

Coses que cal saber abans d'instal·lar el servidor CentOS 7 per al servidor Hadoop.

  • La instal·lació mínima és suficient per als servidors Hadoop (nodes de treball), en alguns casos, la GUI només es pot instal·lar per a servidors mestres o servidors de gestió on podem utilitzar navegadors per a les interfícies d'usuari web d'eines de gestió.
  • La configuració de xarxes, el nom d'amfitrió i altres paràmetres relacionats amb el sistema operatiu es poden fer després de la instal·lació del sistema operatiu.
  • En temps real, els proveïdors de servidors tindran la seva pròpia consola per interactuar i gestionar els servidors, per exemple: els servidors Dell tenen iDRAC, que és un dispositiu incrustat amb servidors. Mitjançant aquesta interfície iDRAC podem instal·lar el sistema operatiu amb una imatge del sistema operatiu al nostre sistema local.

En aquest article, hem instal·lat el sistema operatiu (CentOS 7) a la màquina virtual VMware. Aquí, no tindrem diversos discs per fer particions. CentOS és similar a RHEL (mateixa funcionalitat), així que veurem els passos per instal·lar CentOS.

1. Comenceu per baixar la imatge ISO de CentOS 7.x al vostre sistema Windows local i seleccioneu-la mentre arrenqueu la màquina virtual. Seleccioneu Instal·la CentOS 7 com es mostra.

2. Seleccioneu l'idioma, per defecte serà l'anglès i feu clic a continuar.

3. Selecció de programari: seleccioneu Instal·lació mínima i feu clic a Fet.

4. Establiu la contrasenya d'arrel ja que ens demanarà que la configurem.

5. Destinació de la instal·lació: aquest és el pas important per ser prudent. Hem de seleccionar el disc on s'ha d'instal·lar el sistema operatiu, el disc dedicat s'ha de seleccionar per al sistema operatiu. Feu clic a Destinació d'instal·lació i seleccioneu el disc, en temps real hi haurà diversos discs, hem de seleccionar, preferiblement sda.

6. Altres opcions d'emmagatzematge: trieu la segona opció (configuraré el particionament) per configurar el particionament relacionat amb el sistema operatiu com /var, /var/log, /home, /tmp, /opt, /swap.

7. Un cop fet, comenceu la instal·lació.

8. Un cop finalitzada la instal·lació, reinicieu el servidor.

9. Inicieu sessió al servidor i configureu el nom d'amfitrió.

# hostnamectl status
# hostnamectl set-hostname tecmint
# hostnamectl status

En aquest article, hem seguit els passos d'instal·lació del sistema operatiu i les millors pràctiques per a la partició del sistema de fitxers. Tot això són pautes generals, segons la naturalesa de la càrrega de treball, és possible que hàgim de concentrar-nos en més matisos per aconseguir el millor rendiment del clúster. La planificació de clústers és art per a l'administrador de Hadoop. Aprofundirem en els requisits previs del nivell del sistema operatiu i l'enduriment de seguretat al proper article.