Com configurar l'alta disponibilitat per a Namenode - Part 5


Hadoop té dos components bàsics que són HDFS i YARN. HDFS és per emmagatzemar les dades, YARN és per processar les dades. HDFS és el sistema de fitxers distribuït Hadoop, té Namenode com a servei mestre i Datanode com a servei esclau.

Namenode és el component crític de Hadoop que emmagatzema les metadades de les dades emmagatzemades a HDFS. Si el Namenode cau, tot el clúster no serà accessible, és el punt únic de fallada (SPOF). Per tant, l'entorn de producció tindrà l'alta disponibilitat de Namenode per evitar l'interrupció de la producció si un Namenode cau per diversos motius, com ara l'accident de la màquina, l'activitat de manteniment planificada, etc.

Hadoop 2.x proporciona la viabilitat on podem tenir dos Namenodes, un serà el Namenode actiu i un altre serà el Namenode en espera.

  • Node de nom actiu: gestiona totes les operacions del client.
  • Node de nom en espera: és redundant de Node de nom actiu. Si el NN actiu baixa, el NN en espera assumirà tota la responsabilitat de l'NN actiu.

L'habilitació de Namenode High Availability requereix Zookeeper, que és obligatori per a la migració automàtica per error. ZKFC (Zookeeper Failover Controller) és un client Zookeeper que s'utilitza per mantenir l'estat de Namenode.

  • Pràctiques recomanades per implementar el servidor Hadoop a CentOS/RHEL 7 - Part 1
  • Configuració dels requisits previs i l'enduriment de la seguretat de Hadoop - Part 2
  • Com instal·lar i configurar el gestor de Cloudera a CentOS/RHEL 7 - Part 3
  • Com instal·lar CDH i configurar ubicacions de serveis a CentOS/RHEL 7 - Part 4

En aquest article, habilitarem l'alta disponibilitat de Namenode a Cloudera Manager.

Pas 1: instal·lació de Zookeeper

1. Inicieu sessió a Cloudera Manager.

http://Your-IP:7180/cmf/home

2. A l'indicador d'acció del clúster (tecmint), seleccioneu \Afegeix servei.

3. Seleccioneu el servei \Zookeeper.

4. Seleccioneu els servidors on tindrem instal·lat Zookeeper.

5. Tindrem 3 Zookeepers per formar Zookeeper Quorum. Seleccioneu els servidors tal com s'esmenta a continuació.

6. Configura les propietats del Zookeeper, aquí tenim les per defecte. En temps real, heu de tenir directoris/punts de muntatge separats per emmagatzemar dades de Zookeeper. A la part 1, hem explicat la configuració d'emmagatzematge per a cada servei. Feu clic a continua per continuar.

7. La instal·lació començarà, un cop instal·lat s'iniciarà Zookeeper. Podeu veure les operacions de fons aquí.

8. Després de completar amb èxit el pas anterior, l'estat serà Finalitzat.

9. Ara, Zookeeper s'ha instal·lat i configurat correctament. Feu clic a Finalitzar.

10. Podeu veure el servei Zookeeper al tauler de control de Cloudera Manager.

Pas 2: activació de l'alta disponibilitat de Namenode

11. Aneu a Cloudera Manager –> HDFS –> Accions –> Activa l'alta disponibilitat.

12. Introduïu el nom del servei de noms com a \servei de noms1”: aquest és un espai de noms comú tant per a Namenode actiu com en espera.

13. Seleccioneu el segon Namenode on tindrem el Namenode en espera.

14. Aquí estem seleccionant master2.linux-console.net per a Namenode en espera.

15. Seleccioneu els nodes Journal, aquests són serveis obligatoris per sincronitzar el Namenode actiu i en espera.

16. Estem fent Quòrum Journal col·locant el node Journal en 3 servidors tal com s'esmenta a continuació. Seleccioneu 3 servidors i feu clic a D'acord.

17. Feu clic a Continua per continuar.

18. Introduïu la ruta del directori del node de diari. Només hem d'esmentar el camí mentre instal·leu aquest directori serà creat automàticament pel propi servei. Estem esmentant com a ‘/jn’. Feu clic a Continua per continuar.

19. Començarà a habilitar l'Alta Disponibilitat.

20. Un cop finalitzats tots els processos en segon pla, obtindrem l'estat Finalitzat.

21. Finalment, rebrem una notificació Alta disponibilitat activada amb èxit. Feu clic a Finalitzar.

22. Verifiqueu el Namenode actiu i en espera anant a Cloudera Manager –> HDFS –> Instàncies.

23. Aquí podeu veure dos Namenodes, un estarà en l'estat Actiu i un altre en l'estat En espera.

En aquest article, hem seguit el procés pas a pas per habilitar l'alta disponibilitat de Namenode. És molt recomanable tenir Namenode High Availability en tots els clústers en un entorn en temps real. Si us plau, publiqueu els vostres dubtes si trobeu algun error mentre feu aquest procés. Veurem Resource Manager High Availability al següent article.