Com instal·lar CDH i configurar les ubicacions del servei a CentOS/RHEL 7 - Part 4


En un article anterior, hem explicat la instal·lació de Cloudera Manager, en aquest article aprendràs a instal·lar i configurar CDH (Cloudera Distribution Hadoop) a RHEL/CentOS 7.

Durant la instal·lació de la parcel·la CDH, hem de garantir la compatibilitat de Cloudera Manager i CDH. La versió de Cloudera té 3 parts: ... La versió principal i secundaria de Cloudera Manager ha de ser la mateixa que la versió principal i menor de CDH.

Per exemple, estem utilitzant Cloudera Manager 6.3.1 i CDH 6.3.2. Aquí 6 és major i 3 és la versió menor. Major i Menor han de ser iguals per evitar problemes de compatibilitat.

  • Pràctiques recomanades per implementar el servidor Hadoop a CentOS/RHEL 7 - Part 1
  • Configuració dels requisits previs i l'enduriment de la seguretat de Hadoop - Part 2
  • Com instal·lar i configurar el gestor de Cloudera a CentOS/RHEL 7 - Part 3

Prenem els 2 nodes següents per instal·lar CDH. Ja hem instal·lat Cloudera Manager a master1, també estem utilitzant master1 com a servidor de repo.

master1.linux-console.net
worker1.linux-console.net

Pas 1: descarregueu CDH Parcels al servidor principal

1. En primer lloc, connecteu-vos al servidor master1 i baixeu els fitxers CDH Parcels al directori /var/www/html/cloudera-repos/cdh . Hem de descarregar els 3 fitxers esmentats a continuació que haurien de ser compatibles amb RHEL/CentOS 7.

CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
manifest.json

2. Abans de descarregar aquests fitxers, assegureu-vos de crear un directori cdh a la ubicació /var/www/html/cloudera-repos/.

$ cd /var/www/html/cloudera-repos/
$ sudo mkdir cdh
$ cd cdh

3. A continuació, descarregueu els 3 fitxers esmentats anteriorment mitjançant l'ordre wget següent.

$ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel 
$ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 
$ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/manifest.json 

Pas 2: configureu Cloudera Manager Repo als clients de treball

4. Ara, connecteu-vos als servidors de treball i copieu el fitxer de repo (cloudera-manager.repo) del servidor de repo (master1) a tot el servidor de treball restant. Aquest fitxer de repo assegura als servidors que tots els paquets i RPM necessaris es descarregaran del servidor de repo durant la instal·lació.

cat >/etc/yum.repos.d/cloudera-manager.repo <<EOL
[cloudera-repo]
name=cloudera-manager
baseurl=http://104.211.95.96/cloudera-repos/cm6/
enabled=1
gpgcheck=0
EOL

5. Un cop afegit el repositori, enumereu els repositoris habilitats per assegurar-vos que el repositori cloudera-manager està habilitat.

$ yum repolist

Pas 3: instal·leu els dimonis i l'agent de Cloudera Manager als servidors de treball

6. Ara, hem d'instal·lar cloudera-manager-daemons i cloudera-manager-agent a tots els servidors restants.

$ sudo yum install cloudera-manager-daemons cloudera-manager-agent

7. A continuació, heu de configurar l'agent de Cloudera Manager per informar del servidor de Cloudera Manager.

$ sudo vi /etc/cloudera-scm-agent/config.ini

Substituïu l'host local per l'adreça IP del servidor Cloudera Manager.

8. Inicieu l'agent Cloudera Manager i verifiqueu l'estat.

$ sudo systemctl start cloudera-scm-agent
$ sudo systemctl status cloudera-scm-agent

Pas 4: instal·leu i configureu CDH

Tenim paquets CDH al servidor master1 - repo. Assegureu-vos que tots els servidors tinguin un fitxer de repo de Cloudera Manager a /etc/yum.repos.d/ si seguiu la instal·lació automàtica mitjançant Cloudera Manager.

9. Inicieu sessió a Cloudera Manager mitjançant l'URL següent al port 7180 i utilitzeu el nom d'usuari i la contrasenya predeterminats de Cloudera Manager.

http://104.211.95.96:7180/cmf/login
Username: admin
Password: admin

10. Un cop inicieu sessió, se us donarà la benvinguda amb la pàgina de benvinguda. Aquí podeu trobar notes de la versió, Noves funcions de Cloudera Manager.

11. Accepteu la llicència i continueu.

12. Seleccioneu l'edició. La versió de prova s'ha seleccionat per defecte, podem continuar amb això.

13. Ara, seguiu els passos d'instal·lació del clúster. Continueu la pàgina de benvinguda.

14. Anomeneu el Clúster i continueu, hem anomenat \tecmint. Hi ha 2 tipus de Clúster que podeu definir. Seguim amb el Clúster Regular.

  • Clúster regular: constarà de nodes d'emmagatzematge, nodes de càlcul i altres serveis necessaris.
  • Clúster de càlcul: només constarà de nodes de càlcul. L'emmagatzematge extern es pot utilitzar per emmagatzemar dades.

15. Ja hem instal·lat Cloudera Manager Agents a tots els servidors. Podeu trobar aquests servidors a \Amfitrions gestionats actualment. Per a la instal·lació automàtica, heu d'introduir el FQDN o IP dels servidors a l'opció \Nous amfitrions i cercar. Cloudera Manager detectarà automàticament els amfitrions en els quals hem d'instal·lar CDH.

Aquí, feu clic a \Amfitrions gestionats actualment, seleccioneu tots els amfitrions seleccionant Nom d'amfitrió i continueu.

16. Seleccioneu Repositori: la manera recomanada és utilitzar Parcel. Feu clic a Més opcions per configurar el repositori.

17. Introduïu l'URL del dipòsit local tal com s'esmenta a continuació. Elimineu tots els repositoris públics restants que apunten al web (repositoris de Cloudera).

Aquest és l'URL del dipòsit local CDH que tenim a master1.

http://104.211.95.96/cloudera-repos/cdh/

18. Un cop introduït l'URL del dipòsit, aquesta pàgina només mostrarà les parcel·les disponibles. Continueu amb aquest pas.

19. Ara els paquets s'estan descarregant, distribuint, desempaquetant i activant a tots els servidors disponibles.

20. Un cop activades les Parcels CDH, inspeccioneu el Clúster. Aquest pas farà una revisió de salut del clúster. Aquí estem saltant i continuant.

Pas 5: Configuració del clúster

21. Aquí hem de seleccionar els Serveis a instal·lar al Clúster. Algunes combinacions empaquetades estaran disponibles per defecte, anem amb Serveis personalitzats.

22. Als serveis personalitzats, només estem instal·lant components bàsics (HDFS i YARN) per a aquest propòsit de demostració.

23. Assigna els rols al servidor. Podem personalitzar segons els nostres requisits. Trobeu el gràfic següent que descriu la distribució de rols recomanada per a un petit clúster bàsic amb entre 5 i 20 nodes amb alta disponibilitat.

24. Seleccioneu el tipus de base de dades, el nom d'amfitrió, el nom de la base de dades, el nom d'usuari i la contrasenya. Com que estem utilitzant Embedded PostgreSQL, estarà seleccionat per defecte. Proveu la connexió, hauria de tenir èxit.

25. Aquesta pàgina mostrarà els paràmetres de configuració predeterminats d'HDFS i Yarn, inclosos els directoris de dades. Reviseu tots els detalls de configuració i podeu fer canvis si cal. A continuació, continueu amb això.

26. Aquesta pàgina mostrarà els detalls de l'ordre Primera execució. Podeu ampliar-lo per veure els detalls de les ordres en execució. Si hi ha problemes de xarxa o de permís al clúster, aquest pas fallarà. Normalment, aquest pas decideix la instal·lació correcta de l'edifici del clúster.

27. Un cop completat el pas anterior, feu clic a Finalitzar per completar la instal·lació. Aquest és el tauler de control de Cloudera Manager després d'instal·lar CDH.

http://104.211.95.96:7180/cmf/home

Hem completat la instal·lació de Cloudera Manager i CDH amb èxit. Al tauler de control de Cloudera Manager, podeu trobar un conjunt predefinit de gràfics on podeu supervisar la CPU del clúster, les E/S de disc, etc. Podem gestionar tot el clúster mitjançant aquest Cloudera Manager. Veurem totes les operacions administratives en els propers articles.