VMware vSphere Big Data Extensions 2.3 Manuel utilisateur

Guide de l'interface de ligne de
commande VMware vSphere Big Data
Extensions
vSphere Big Data Extensions 2.3
Ce document prend en charge la version de chacun des produits
répertoriés, ainsi que toutes les versions publiées par la suite
jusqu'au remplacement dudit document par une nouvelle
édition. Pour rechercher des éditions plus récentes de ce
document, rendez-vous sur :
http://www.vmware.com/fr/support/pubs.
FR-001702-00
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
Vous trouverez la documentation technique la plus récente sur le site Web de VMware à l'adresse :
http://www.vmware.com/fr/support/
Le site Web de VMware propose également les dernières mises à jour des produits.
N’hésitez pas à nous transmettre tous vos commentaires concernant cette documentation à l’adresse suivante :
docfeedback@vmware.com
Copyright © 2013 – 2015 VMware, Inc. Tous droits réservés. Copyright et informations sur les marques.
Ce guide est sous licence Creative Commons Attribution-NoDerivs 3.0 United States License
(http://creativecommons.org/licenses/by-nd/3.0/us/legalcode).
VMware, Inc.
3401 Hillview Ave.
Palo Alto, CA 94304
www.vmware.com
2
VMware, Inc.
100-101 Quartier Boieldieu
92042 Paris La Défense
France
www.vmware.com/fr
VMware, Inc.
Table des matières
À propos de ce guide 7
1 Utilisation du client d'interface de ligne de commande distant Serengeti 9
Accéder à l'interface de ligne de commande Serengeti à l'aide du client d'interface de ligne de
commande distant 9
Se connecter aux nœuds Hadoop avec le client d'interface de ligne de commande Serengeti 11
2 Gestion des gestionnaires d'applications 13
À propos des gestionnaires d'applications 13
Ajouter un gestionnaire d'applications à l'aide de l'interface de ligne de commande Serengeti 14
Afficher la liste des gestionnaires d'applications à l'aide de l'interface de ligne de commande
Serengeti 15
Modifier un gestionnaire d'applications à l'aide de l'interface de ligne de commande Serengeti 15
Afficher les distributions prises en charge pour tous les gestionnaires d'applications à l'aide de
l'interface de ligne de commande Serengeti 15
Afficher les configurations ou les rôles pour le gestionnaire d'applications et la distribution à l'aide
de l'interface de ligne de commande Serengeti 16
Supprimer un gestionnaire d'applications à l'aide de l'interface de ligne de commande Serengeti 16
3 Gestion de l'environnement Big Data Extensions à l'aide de l'interface de ligne
de commande Serengeti 19
À propos des gestionnaires d'applications 19
Ajouter un pool de ressources avec l'interface de ligne de commande Serengeti 23
Supprimer un pool de ressources avec l'interface de ligne de commande Serengeti 23
Ajouter une banque de données avec l'interface de ligne de commande Serengeti 24
Supprimer une banque de données avec l'interface de ligne de commande Serengeti 24
Ajouter un réseau avec l'interface de ligne de commande Serengeti 24
Supprimer un réseau avec l'interface de ligne de commande Serengeti 25
Reconfigurer un réseau IP statique avec l'interface de ligne de commande Serengeti 25
Reconfigurer le type de DNS à l'aide de l'interface de ligne de commande Serengeti 26
Augmenter les performances de clonage et l'utilisation des ressources des machines virtuelles. 27
4 Gérer les utilisateurs et les comptes d'utilisateurs 29
Créer un fichier de configuration du service LDAP avec l'interface de ligne de commande
Serengeti 29
Activer la gestion centralisée des utilisateurs à l'aide de l'interface de ligne de commande Serengeti 31
Créer un cluster avec l'authentification utilisateur LDAP à l'aide de l'interface de ligne de
commande Serengeti 31
Changer les modes de gestion des utilisateurs à l'aide de l'interface de ligne de commande
Serengeti 32
Modifier la configuration LDAP à l'aide de l'interface de ligne de commande Serengeti 33
VMware, Inc.
3
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
5 Création de clusters Hadoop et HBase 35
À propos des types de déploiement de clusters Hadoop et HBase 37
Configurations des clusters Hadoop par défaut pour Serengeti 37
Configurations des clusters HBase par défaut pour Serengeti 38
À propos de la topologie des clusters 38
À propos des clusters HBase 41
À propos des clusters MapReduce 49
À propos des clusters de calcul de données 52
À propos des clusters personnalisés 64
6 Gestion des clusters Hadoop et HBase 73
Démarrer et arrêter un cluster avec l'interface de ligne de commande Serengeti 74
Agrandir un cluster avec l'interface de ligne de commande Serengeti 74
Mettre à l'échelle le CPU et la RAM avec l'interface de ligne de commande Serengeti 75
Reconfigurer un cluster avec l'interface de ligne de commande Serengeti 75
Supprimer un cluster avec l'interface de ligne de commande Serengeti 78
À propos de vSphere High Availability et de vSphere Fault Tolerance 78
Reconfigurer un groupe de nœuds avec l'interface de ligne de commande Serengeti 78
Développer un cluster à l'aide de l'interface de ligne de commande 78
Récupérer d'une défaillance disque avec le client d'interface de ligne de commande Serengeti
Effectuer la récupération d'une machine virtuelle de nœud de cluster 80
Passer en mode maintenance pour effectuer la sauvegarde et la restauration à l'aide du client
d'interface de ligne de commande Serengeti 81
80
7 Surveillance de l'environnement Big Data Extensions 83
Afficher la liste des gestionnaires d'applications à l'aide de l'interface de ligne de commande
Serengeti 83
Afficher les distributions Hadoop disponibles avec l'interface de ligne de commande Serengeti 84
Afficher les distributions prises en charge pour tous les gestionnaires d'applications à l'aide de
l'interface de ligne de commande Serengeti 84
Afficher les configurations ou les rôles pour le gestionnaire d'applications et la distribution à l'aide
de l'interface de ligne de commande Serengeti 84
Afficher les clusters provisionnés avec l'interface de ligne de commande Serengeti 85
Afficher les banques de données avec l'interface de ligne de commande Serengeti 85
Afficher les réseaux avec l'interface de ligne de commande Serengeti 86
Afficher les pools de ressources avec l'interface de ligne de commande Serengeti 86
8 Référence de spécification de cluster 87
Conditions requises de fichier de spécification de cluster 87
Conditions requises de la définition de cluster 88
Fichier de spécification de cluster annoté 88
Définitions des attributs de spécification de cluster 91
Attributs Hadoop de la liste blanche et de la liste noire 94
Convertir les fichiers XML Hadoop en Serengeti fichiers JSON 96
9 Référence des commandes de l'interface de ligne de commande Serengeti 97
Commandes appmanager 97
4
VMware, Inc.
Table des matières
Commandes cluster 99
Commande connect 106
Commandes datastore 107
Commande disconnect 107
Commande distro list 108
Commandes mgmtvmcfg 108
Commandes network 109
Commandes resourcepool 110
Commandes template 111
Commandes topology 111
Commandes usermgmt 112
Index
VMware, Inc.
115
5
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
6
VMware, Inc.
À propos de ce guide
Le Guide de l'interface de ligne de commande vSphere Big Data Extensions de VMware décrit comment utiliser
l'interface de ligne de commande Serengeti pour gérer les ressources vSphere utilisées pour créer les clusters
Hadoop et HBase. Il explique aussi comment créer, gérer et surveiller les clusters Hadoop et HBase à partir
de l'interface de ligne de commande VMware Serengeti™.
Le Guide de l'interface de ligne de commande vSphere Big Data Extensions de VMware décrit aussi comment
exécuter les opérations Hadoop et HBase avec l'Serengeti CLI, et fournit la spécification de cluster et les
références des commandes de l'Serengeti CLI.
Public ciblé
Le guide est destiné aux administrateurs système et aux développeurs qui veulent utiliser Serengeti pour
déployer et gérer des clusters Hadoop. Pour bien utiliser Serengeti, vous devez connaître Hadoop et
®
®
VMware vSphere .
Glossaire VMware Technical Publications
VMware Technical Publications fournit un glossaire des termes qui peuvent éventuellement ne pas vous
être familiers. Pour consulter la définition des termes utilisés dans la documentation technique VMware,
visitez le site Web http://www.vmware.com/support/pubs.
VMware, Inc.
7
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
8
VMware, Inc.
1
Utilisation du client d'interface de
ligne de commande distant Serengeti
Le client d'interface de ligne de commande distant Serengeti vous permet d'accéder à
Serengeti Management Server pour déployer, gérer et utiliser Hadoop.
Ce chapitre aborde les rubriques suivantes :
n
« Accéder à l'interface de ligne de commande Serengeti à l'aide du client d'interface de ligne de
commande distant », page 9
n
« Se connecter aux nœuds Hadoop avec le client d'interface de ligne de commande Serengeti »,
page 11
Accéder à l'interface de ligne de commande Serengeti à l'aide du
client d'interface de ligne de commande distant
Vous pouvez accéder à l'interface de ligne de commande (CLI) Serengeti pour effectuer des tâches
administratives Serengeti à l'aide du client d'interface de ligne de commande distant Serengeti.
Prérequis
®
n
Utilisez VMware vSphere Web Client pour vous connecter au serveur VMware vCenter Server sur
lequel vous avez déployé le vApp Serengeti.
n
Vérifiez que le déploiement de Serengeti vApp s'est correctement déroulé et que le serveur de gestion
est en cours d'exécution.
n
Vérifiez que le mot de passe dont vous disposez pour vous connecter à la Serengeti CLI est exact.
Consultez le Guide de l'utilisateur et de l'administrateur VMware vSphere Big Data Extensions.
La Serengeti CLI utilise ses informations d'identification vCenter Server.
n
Vérifiez que l'environnement d'exécution Java (JRE, Java Runtime Environment) est installé dans votre
environnement et que son emplacement se trouve dans votre variable d'environnement path.
Procédure
1
Téléchargez le package Serengeti CLI à partir du Serengeti Management Server.
Ouvrez un navigateur Web et naviguez jusqu'à l'URL suivante :
https://server_ip_address/cli/VMware-Serengeti-CLI.zip
2
Téléchargez le fichier ZIP.
Le nom de fichier est au format VMware-Serengeti-cli-numéro_version-numéro_build.ZIP.
VMware, Inc.
9
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
3
Décompressez le fichier téléchargé.
Celui-ci inclut les composants suivants.
n
Le fichier JAR serengeti-cli-version_number, qui inclut le Serengeti Remote CLI Client.
n
Répertoire samples, qui inclut des exemples de configurations de clusters.
n
Bibliothèques dans le répertoire lib.
4
Ouvrez une interface de commande, puis accédez au répertoire dans lequel vous avez décompressé le
package.
5
Accédez au répertoire cli, puis exécutez la commande suivante pour entrer dans l'interface de ligne de
commande Serengeti.
n
Pour les langues autres que le français ou l'allemand, exécutez la commande suivante.
java -jar serengeti-cli-numéro_version.jar
n
Pour le français ou l'allemand, qui utilisent l'encodage linguistique de page de code 850 (CP 850)
exécuter l'interface de ligne de commande Serengeti à partir d'une console de commandes
Windows, exécutez la commande suivante.
java -Dfile.encoding=cp850 -jar serengeti-cli-numéro_version.jar
6
Connectez-vous au service Serengeti.
Vous devez exécuter la commande connect host chaque fois que vous commencez une session
d'interface de ligne de commande, puis une nouvelle fois à l'issue du délai d'expiration de session de
30 minutes. Si vous n'exécutez pas cette commande, vous ne pouvez pas en exécuter d'autres.
a
Exécutez la commande connect.
connect --host xx.xx.xx.xx:8443
b
À l'invite, tapez votre nom d'utilisateur, qui peut être différent des informations d'identification
que vous utilisez pour vous connecter au Serengeti Management Server.
REMARQUE Si vous ne créez pas de nom d'utilisateur et de mot de passe pour le
Serengeti Command-Line Interface Client, vous pouvez utiliser les informations d'identification
d'administrateur vCenter Server par défaut. Le Serengeti Command-Line Interface Client utilise les
informations d'identification de vCenter Server avec les autorisations de lecture sur le
Serengeti Management Server.
c
À l'invite, tapez votre mot de passe.
Une interface de commande s'ouvre, puis l'invite de la Serengeti CLI apparaît. Vous pouvez utiliser la
commande help pour obtenir de l'aide sur les commandes Serengeti et leur syntaxe.
n
Pour afficher la liste des commandes disponibles, tapez help.
n
Pour obtenir de l'aide sur une commande particulière, ajoutez son nom après la commande help.
help cluster create
n
10
Appuyez sur Tab exécuter une commande.
VMware, Inc.
Chapitre 1 Utilisation du client d'interface de ligne de commande distant Serengeti
Se connecter aux nœuds Hadoop avec le client d'interface de ligne de
commande Serengeti
Pour résoudre les problèmes ou exécuter vos scripts d'automatisation de la gestion, connectez-vous aux
nœuds Hadoop master, worker et client via SSH à partir du Serengeti Management Server à l'aide des outils
des clients SSH tels que SSH, PDSH, ClusterSSH et Mussh, qui n'exigent pas d'authentification par mot de
passe.
Pour vous connecter aux nœuds de cluster Hadoop via SSH, vous pouvez utiliser une connexion
authentifiée par un nom d'utilisateur et un mot de passe. Tous les nœuds déployés sont protégés par un mot
de passe soit aléatoire, soit défini par l'utilisateur, qui a été attribué lors de la création du cluster.
Prérequis
Utilisez le vSphere Web Client pour vous connecter à vCenter Server, et vérifiez que la machine virtuelle
Serengeti Management Server est en cours d'exécution.
Procédure
1
Cliquez avec le bouton droit sur la machine virtuelle du Serengeti Management Server et sélectionnez
Ouvrir la console.
Le mot de passe du Serengeti Management Server s'affiche.
REMARQUE Si le mot de passe disparaît de l'écran de la console, appuyez sur Ctrl+D pour revenir à
l'invite de commande.
2
Utilisez vSphere Web Client pour vous connecter au nœud Hadoop.
Le mot de passe de l'utilisateur root apparaît sur la console de la machine virtuelle dans
vSphere Web Client.
3
Modifiez le mot de passe du nœud Hadoop en exécutant la commande set-password -u.
sudo /opt/serengeti/sbin/set-password -u
VMware, Inc.
11
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
12
VMware, Inc.
Gestion des gestionnaires
d'applications
2
Pour bien gérer vos clusters Hadoop, il est essentiel de comprendre comment gérer les différents
gestionnaires d'applications que vous utilisez dans votre environnement Big Data Extensions.
Ce chapitre aborde les rubriques suivantes :
n
« À propos des gestionnaires d'applications », page 13
n
« Ajouter un gestionnaire d'applications à l'aide de l'interface de ligne de commande Serengeti »,
page 14
n
« Afficher la liste des gestionnaires d'applications à l'aide de l'interface de ligne de commande
Serengeti », page 15
n
« Modifier un gestionnaire d'applications à l'aide de l'interface de ligne de commande Serengeti »,
page 15
n
« Afficher les distributions prises en charge pour tous les gestionnaires d'applications à l'aide de
l'interface de ligne de commande Serengeti », page 15
n
« Afficher les configurations ou les rôles pour le gestionnaire d'applications et la distribution à l'aide
de l'interface de ligne de commande Serengeti », page 16
n
« Supprimer un gestionnaire d'applications à l'aide de l'interface de ligne de commande Serengeti »,
page 16
À propos des gestionnaires d'applications
Vous pouvez utiliser Cloudera Manager, Apache Ambari et le gestionnaire d'applications par défaut pour
provisionner et gérer des clusters avec VMware vSphere Big Data Extensions.
Après avoir ajouté un nouveau gestionnaire d'applications Cloudera Manager ou Ambari à
Big Data Extensions, vous pouvez y rediriger vos tâches de gestion logicielle, notamment la surveillance et
la gestion des clusters.
Vous pouvez utiliser un gestionnaire d'applications pour effectuer les tâches suivantes :
n
Dresser la liste de toutes les instances de fournisseurs disponibles, des distributions prises en charge et
des configurations ou des rôles pour un gestionnaire d'applications et une distribution spécifiques.
n
Créer des clusters.
n
Surveiller et gérer des services à partir de la console du gestionnaire d'applications.
Consultez la documentation de votre gestionnaire d'applications pour identifier les exigences propres aux
outils.
VMware, Inc.
13
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
Restrictions
Les restrictions suivantes s'appliquent aux gestionnaires d'applications Cloudera Manager et Ambari :
n
Pour ajouter un gestionnaire d'applications avec HTTPS, utilisez le nom de domaine complet (FQDN)
au lieu de l'URL.
n
Vous ne pouvez pas renommer un cluster créé avec le gestionnaire d'applications Cloudera Manager ou
Ambari.
n
Vous ne pouvez pas changer les services d'un cluster Big Data à partir de Big Data Extensions si le
cluster a été créé avec le gestionnaire d'applications Ambari ou Cloudera Manager.
n
Pour modifier les services, les configurations ou les deux, vous devez le faire à partir du gestionnaire
d'applications sur les nœuds.
Si vous installez de nouveaux services, Big Data Extensions les démarre et les arrête en même temps
que les anciens.
n
Si vous utilisez un gestionnaire d'applications pour modifier les services et les configurations de
clusters Big Data, ces modifications ne peuvent pas être synchronisées à partir de Big Data Extensions.
Les nœuds que vous créez avec Big Data Extensions ne contiennent pas les nouveaux services ni les
nouvelles configurations.
Ajouter un gestionnaire d'applications à l'aide de l'interface de ligne
de commande Serengeti
Pour utiliser les gestionnaires d'application Cloudera Manager ou Ambari, vous devez ajouter le
gestionnaire d'applications et ajouter les informations sur le serveur à Big Data Extensions.
REMARQUE Pour ajouter un gestionnaire d'applications Cloudera Manager ou Ambari avec HTTPS, utilisez
le nom de domaine complet (FQDN) au lieu de l'URL.
Procédure
1
Accédez à l'interface de ligne de commande Serengeti.
2
Exécutez la commande appmanager add.
appmanager add --name application_manager_name --type [ClouderaManager|Ambari]
--url http[s]://server:port
Les noms des gestionnaires d'applications peuvent comporter uniquement des caractères
alphanumériques ([0-9, a-z, A-Z]) et les caractères spéciaux suivants : trait de soulignement, tiret et
espace.
Vous pouvez utiliser la variable description facultative pour inclure une description de l'instance du
gestionnaire d'applications.
3
Entrez à l'invite votre nom d'utilisateur et votre mot de passe.
4
Si vous avez spécifié SSL, entrez à l'invite le chemin d'accès du certificat SSL.
Suivant
Pour vérifier que le gestionnaire d'applications a été ajouté avec succès, exécutez la commande appmanager
list.
14
VMware, Inc.
Chapitre 2 Gestion des gestionnaires d'applications
Afficher la liste des gestionnaires d'applications à l'aide de l'interface
de ligne de commande Serengeti
Vous pouvez utiliser la commande appManager list pour afficher les gestionnaires d'applications qui sont
installés sur l'environnement Big Data Extensions.
Prérequis
Vérifiez que vous êtes connecté à un gestionnaire d'applications.
Procédure
1
Accédez à l'interface de ligne de commande Serengeti.
2
Exécutez la commande appmanager list.
appmanager list
La commande retourne la liste de tous les gestionnaires d'applications installés sur l'environnement
Big Data Extensions.
Modifier un gestionnaire d'applications à l'aide de l'interface de ligne
de commande Serengeti
Vous pouvez modifier les informations d'un gestionnaire d'applications avec la commandeSerengeti CLI :
par exemple, vous pouvez modifier l'adresse IP du serveur du gestionnaire s'il ne s'agit pas d'une adresse IP
statique ou vous pouvez mettre à niveau le compte de l'administrateur.
Prérequis
Vérifiez que vous avez au moins un gestionnaire d'applications externe installé sur votre environnement
Big Data Extensions.
Procédure
1
Accédez à l'Serengeti CLI.
2
Exécutez la commande appmanager modify.
appmanager modify --name application_manager_name
--url <http[s]://server:port>
Des paramètres supplémentaires sont disponibles pour cette commande. Pour plus d'informations sur
cette commande, consultez « Commande appmanager modify », page 98.
Afficher les distributions prises en charge pour tous les gestionnaires
d'applications à l'aide de l'interface de ligne de commande Serengeti
Les distributions prises en charge sont celles qui le sont par Big Data Extensions. Les distributions
disponibles sont celles qui ont été ajoutées à votre environnement Big Data Extensions. Vous pouvez
afficher la liste des distributions Hadoop qui sont prises en charge dans l'environnement
Big Data Extensions pour déterminer si une distribution particulière est disponible pour un gestionnaire
d'applications particulier.
Prérequis
Vérifiez que vous êtes connecté à un gestionnaire d'applications.
VMware, Inc.
15
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
Procédure
1
Accédez à l'interface de ligne de commande Serengeti.
2
Exécutez la commande appmanager list.
appmanager list --name application_manager_name [--distros]
Si vous n'incluez pas le paramètre --name, la commande retourne la liste de toutes les distributions
Hadoop qui sont prises en charge sur chacun des gestionnaires d'applications de l'environnement
Big Data Extensions.
La commande retourne la liste de toutes les distributions qui sont prises en charge pour le gestionnaire
d'applications du nom que vous spécifiez.
Afficher les configurations ou les rôles pour le gestionnaire
d'applications et la distribution à l'aide de l'interface de ligne de
commande Serengeti
Vous pouvez utiliser la commande appManager list pour afficher les rôles ou les configurations Hadoop
d'une distribution et d'un gestionnaire d'applications spécifiques.
La liste des configurations inclut ces configurations que vous pouvez utiliser pour configurer le cluster dans
les spécifications de cluster.
La liste des rôles contient les rôles que vous pouvez utiliser pour créer un cluster. Vous ne devez pas utiliser
de rôles non pris en charge pour créer des clusters dans le gestionnaire d'applications.
Prérequis
Vérifiez que vous êtes connecté à un gestionnaire d'applications.
Procédure
1
Accédez à l'interface de ligne de commande Serengeti.
2
Exécutez la commande appmanager list.
appmanager list --name application_manager_name [--distro distro_name
(--configurations | --roles) ]
La commande retourne une liste des rôles ou configurations Hadoop d'une distribution et d'un gestionnaire
d'applications spécifique.
Supprimer un gestionnaire d'applications à l'aide de l'interface de
ligne de commande Serengeti
Vous pouvez utiliser l'Serengeti CLI pour supprimer un gestionnaire d'applications lorsque vous n'en avez
plus besoin.
Prérequis
n
Vérifiez que vous avez au moins un gestionnaire d'applications externe installé dans votre
environnement Big Data Extensions.
n
Vérifiez que le gestionnaire d'applications que vous souhaitez supprimer ne contient aucun cluster.
Sinon, le processus de suppression échouera.
Procédure
1
16
Accédez à l'interface de ligne de commande Serengeti.
VMware, Inc.
Chapitre 2 Gestion des gestionnaires d'applications
2
Exécutez la commande appmanager delete.
appmanager delete
VMware, Inc.
--name application_manager_name
17
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
18
VMware, Inc.
Gestion de l'environnement Big Data
Extensions à l'aide de l'interface de
ligne de commande Serengeti
3
Vous devez gérer votre Big Data Extensions, ce qui inclut de s'assurer que si vous n'avez pas choisi d'ajouter
le pool de ressources, la banque de données et le réseau lorsque vous déployez le vApp Serengeti, vous
ajoutez les ressources vSphere avant de créer un cluster Hadoop ou HBase. Vous devez aussi ajouter des
gestionnaires d'applications supplémentaires, si vous voulez utiliser Ambari ou Cloudera Manager pour
gérer vos clusters Hadoop. Vous pouvez supprimer les ressources dont vous n'avez plus besoin.
Ce chapitre aborde les rubriques suivantes :
n
« À propos des gestionnaires d'applications », page 19
n
« Ajouter un pool de ressources avec l'interface de ligne de commande Serengeti », page 23
n
« Supprimer un pool de ressources avec l'interface de ligne de commande Serengeti », page 23
n
« Ajouter une banque de données avec l'interface de ligne de commande Serengeti », page 24
n
« Supprimer une banque de données avec l'interface de ligne de commande Serengeti », page 24
n
« Ajouter un réseau avec l'interface de ligne de commande Serengeti », page 24
n
« Supprimer un réseau avec l'interface de ligne de commande Serengeti », page 25
n
« Reconfigurer un réseau IP statique avec l'interface de ligne de commande Serengeti », page 25
n
« Reconfigurer le type de DNS à l'aide de l'interface de ligne de commande Serengeti », page 26
n
« Augmenter les performances de clonage et l'utilisation des ressources des machines virtuelles. »,
page 27
À propos des gestionnaires d'applications
Vous pouvez utiliser Cloudera Manager, Apache Ambari et le gestionnaire d'applications par défaut pour
provisionner et gérer des clusters avec VMware vSphere Big Data Extensions.
Après avoir ajouté un nouveau gestionnaire d'applications Cloudera Manager ou Ambari à
Big Data Extensions, vous pouvez y rediriger vos tâches de gestion logicielle, notamment la surveillance et
la gestion des clusters.
Vous pouvez utiliser un gestionnaire d'applications pour effectuer les tâches suivantes :
n
Dresser la liste de toutes les instances de fournisseurs disponibles, des distributions prises en charge et
des configurations ou des rôles pour un gestionnaire d'applications et une distribution spécifiques.
n
Créer des clusters.
n
Surveiller et gérer des services à partir de la console du gestionnaire d'applications.
Consultez la documentation de votre gestionnaire d'applications pour identifier les exigences propres aux
outils.
VMware, Inc.
19
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
Restrictions
Les restrictions suivantes s'appliquent aux gestionnaires d'applications Cloudera Manager et Ambari :
n
Pour ajouter un gestionnaire d'applications avec HTTPS, utilisez le nom de domaine complet (FQDN)
au lieu de l'URL.
n
Vous ne pouvez pas renommer un cluster créé avec le gestionnaire d'applications Cloudera Manager ou
Ambari.
n
Vous ne pouvez pas changer les services d'un cluster Big Data à partir de Big Data Extensions si le
cluster a été créé avec le gestionnaire d'applications Ambari ou Cloudera Manager.
n
Pour modifier les services, les configurations ou les deux, vous devez le faire à partir du gestionnaire
d'applications sur les nœuds.
Si vous installez de nouveaux services, Big Data Extensions les démarre et les arrête en même temps
que les anciens.
n
Si vous utilisez un gestionnaire d'applications pour modifier les services et les configurations de
clusters Big Data, ces modifications ne peuvent pas être synchronisées à partir de Big Data Extensions.
Les nœuds que vous créez avec Big Data Extensions ne contiennent pas les nouveaux services ni les
nouvelles configurations.
Ajouter un gestionnaire d'applications à l'aide de l'interface de ligne de
commande Serengeti
Pour utiliser les gestionnaires d'application Cloudera Manager ou Ambari, vous devez ajouter le
gestionnaire d'applications et ajouter les informations sur le serveur à Big Data Extensions.
REMARQUE Pour ajouter un gestionnaire d'applications Cloudera Manager ou Ambari avec HTTPS, utilisez
le nom de domaine complet (FQDN) au lieu de l'URL.
Procédure
1
Accédez à l'interface de ligne de commande Serengeti.
2
Exécutez la commande appmanager add.
appmanager add --name application_manager_name --type [ClouderaManager|Ambari]
--url http[s]://server:port
Les noms des gestionnaires d'applications peuvent comporter uniquement des caractères
alphanumériques ([0-9, a-z, A-Z]) et les caractères spéciaux suivants : trait de soulignement, tiret et
espace.
Vous pouvez utiliser la variable description facultative pour inclure une description de l'instance du
gestionnaire d'applications.
3
Entrez à l'invite votre nom d'utilisateur et votre mot de passe.
4
Si vous avez spécifié SSL, entrez à l'invite le chemin d'accès du certificat SSL.
Suivant
Pour vérifier que le gestionnaire d'applications a été ajouté avec succès, exécutez la commande appmanager
list.
20
VMware, Inc.
Chapitre 3 Gestion de l'environnement Big Data Extensions à l'aide de l'interface de ligne de commande Serengeti
Modifier un gestionnaire d'applications à l'aide de l'interface de ligne de
commande Serengeti
Vous pouvez modifier les informations d'un gestionnaire d'applications avec la commandeSerengeti CLI :
par exemple, vous pouvez modifier l'adresse IP du serveur du gestionnaire s'il ne s'agit pas d'une adresse IP
statique ou vous pouvez mettre à niveau le compte de l'administrateur.
Prérequis
Vérifiez que vous avez au moins un gestionnaire d'applications externe installé sur votre environnement
Big Data Extensions.
Procédure
1
Accédez à l'Serengeti CLI.
2
Exécutez la commande appmanager modify.
appmanager modify --name application_manager_name
--url <http[s]://server:port>
Des paramètres supplémentaires sont disponibles pour cette commande. Pour plus d'informations sur
cette commande, consultez « Commande appmanager modify », page 98.
Afficher les distributions prises en charge pour tous les gestionnaires
d'applications à l'aide de l'interface de ligne de commande Serengeti
Les distributions prises en charge sont celles qui le sont par Big Data Extensions. Les distributions
disponibles sont celles qui ont été ajoutées à votre environnement Big Data Extensions. Vous pouvez
afficher la liste des distributions Hadoop qui sont prises en charge dans l'environnement
Big Data Extensions pour déterminer si une distribution particulière est disponible pour un gestionnaire
d'applications particulier.
Prérequis
Vérifiez que vous êtes connecté à un gestionnaire d'applications.
Procédure
1
Accédez à l'interface de ligne de commande Serengeti.
2
Exécutez la commande appmanager list.
appmanager list --name application_manager_name [--distros]
Si vous n'incluez pas le paramètre --name, la commande retourne la liste de toutes les distributions
Hadoop qui sont prises en charge sur chacun des gestionnaires d'applications de l'environnement
Big Data Extensions.
La commande retourne la liste de toutes les distributions qui sont prises en charge pour le gestionnaire
d'applications du nom que vous spécifiez.
Afficher les configurations ou les rôles pour le gestionnaire d'applications et la
distribution à l'aide de l'interface de ligne de commande Serengeti
Vous pouvez utiliser la commande appManager list pour afficher les rôles ou les configurations Hadoop
d'une distribution et d'un gestionnaire d'applications spécifiques.
La liste des configurations inclut ces configurations que vous pouvez utiliser pour configurer le cluster dans
les spécifications de cluster.
VMware, Inc.
21
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
La liste des rôles contient les rôles que vous pouvez utiliser pour créer un cluster. Vous ne devez pas utiliser
de rôles non pris en charge pour créer des clusters dans le gestionnaire d'applications.
Prérequis
Vérifiez que vous êtes connecté à un gestionnaire d'applications.
Procédure
1
Accédez à l'interface de ligne de commande Serengeti.
2
Exécutez la commande appmanager list.
appmanager list --name application_manager_name [--distro distro_name
(--configurations | --roles) ]
La commande retourne une liste des rôles ou configurations Hadoop d'une distribution et d'un gestionnaire
d'applications spécifique.
Afficher la liste des gestionnaires d'applications à l'aide de l'interface de ligne
de commande Serengeti
Vous pouvez utiliser la commande appManager list pour afficher les gestionnaires d'applications qui sont
installés sur l'environnement Big Data Extensions.
Prérequis
Vérifiez que vous êtes connecté à un gestionnaire d'applications.
Procédure
1
Accédez à l'interface de ligne de commande Serengeti.
2
Exécutez la commande appmanager list.
appmanager list
La commande retourne la liste de tous les gestionnaires d'applications installés sur l'environnement
Big Data Extensions.
Supprimer un gestionnaire d'applications à l'aide de l'interface de ligne de
commande Serengeti
Vous pouvez utiliser l'Serengeti CLI pour supprimer un gestionnaire d'applications lorsque vous n'en avez
plus besoin.
Prérequis
n
Vérifiez que vous avez au moins un gestionnaire d'applications externe installé dans votre
environnement Big Data Extensions.
n
Vérifiez que le gestionnaire d'applications que vous souhaitez supprimer ne contient aucun cluster.
Sinon, le processus de suppression échouera.
Procédure
1
Accédez à l'interface de ligne de commande Serengeti.
2
Exécutez la commande appmanager delete.
appmanager delete
22
--name application_manager_name
VMware, Inc.
Chapitre 3 Gestion de l'environnement Big Data Extensions à l'aide de l'interface de ligne de commande Serengeti
Ajouter un pool de ressources avec l'interface de ligne de commande
Serengeti
Vous pouvez ajouter des pools de ressources pour qu'ils puissent être utilisés par les clusters Hadoop. Les
pools de ressources doivent être situés au niveau supérieur du cluster. Les pools de ressources imbriqués ne
sont pas pris en charge.
Lorsque vous ajoutez un pool de ressources à Big Data Extensions, il représente symboliquement le pool de
ressources vSphere réel tel qu'il est identifié par vCenter Server. Cette représentation symbolique vous
permet d'utiliser le nom du pool de ressources Big Data Extensions au lieu du chemin d'accès complet du
pool de ressources dans vCenter Server, dans les fichiers de spécification de cluster.
REMARQUE Après avoir ajouté un pool de ressources à Big Data Extensions, ne renommez pas le pool de
ressources dans vSphere. Si vous le renommez, vous ne pourrez pas exécuter d'opérations Serengeti sur les
clusters qui utilisent ce pool de ressources.
Procédure
1
Accédez au client d'interface de ligne de commande Serengeti.
2
Exécutez la commande resourcepool add.
Le paramètre --vcrp est facultatif.
Cet exemple ajoute un pool de ressources Serengeti nommé myRP au pool de ressources vSphere rp1
contenu dans le cluster vSphere cluster1.
resourcepool add --name myRP --vccluster cluster1 --vcrp rp1
Supprimer un pool de ressources avec l'interface de ligne de
commande Serengeti
Vous pouvez supprimer de Serengeti les pools de ressources qui ne sont pas utilisés par un cluster Hadoop.
Vous supprimez des pools de ressources quand vous n'en avez plus besoin ou si vous voulez que les
clusters Hadoop que vous créez dans le serveur de gestion Serengeti soient déployés sous un autre pool de
ressources. La suppression d'un pool de ressources supprime sa référence dans vSphere. Le pool de
ressources n'est pas réellement supprimé.
Procédure
1
Accédez au client d'interface de ligne de commande Serengeti.
2
Exécutez la commande resourcepool delete.
Si la commande échoue parce que le pool de ressources est référencé par un cluster Hadoop, vous
pouvez utiliser la commande resourcepool list pour voir quel cluster référence ce pool de ressources.
Cet exemple supprime le pool de ressources nommé myRP.
resourcepool delete --name myRP
VMware, Inc.
23
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
Ajouter une banque de données avec l'interface de ligne de
commande Serengeti
Vous pouvez ajouter des banques de données locales ou partagées au serveur Serengeti pour que les clusters
Hadoop puissent y accéder.
REMARQUE Après avoir ajouté un pool de ressources à Big Data Extensions, ne renommez pas le pool de
ressources dans vSphere. Si vous le renommez, vous ne pourrez pas exécuter d'opérations Serengeti sur les
clusters qui utilisent ce pool de ressources.
Procédure
1
Accédez à l'interface de ligne de commande Serengeti.
2
Exécutez la commande datastore add.
L'exemple ajoute une nouvelle banque de données de stockage local, nommée myLocalDS. La valeur du
paramètre --spec, local*, est un caractère générique spécifiant un ensemble de banques de données
vSphere. Toutes les banques de données vSphere dont le nom commence par « local » sont ajoutées et
gérées comme un tout par Serengeti.
datastore add --name myLocalDS --spec local* --type LOCAL
Suivant
Après avoir ajouté une banque de données à Big Data Extensions, ne la renommez pas dans vSphere. Si
vous la renommez, vous ne pourrez pas exécuter d'opérations Serengeti sur les clusters qui l'utilisent.
Supprimer une banque de données avec l'interface de ligne de
commande Serengeti
Vous pouvez supprimer une banque de données de Serengeti qui n'est référencée par aucun cluster
Hadoop. La suppression d'une banque de données supprime uniquement la référence à la banque de
données vCenter Server. La banque de données elle-même n'est pas supprimée.
Vous supprimez les banques de données si vous n'en avez plus besoin ou si vous voulez déployer les
clusters Hadoop que vous créez sur le serveur de gestion Serengeti sous une autre banque de données.
Procédure
1
Accédez à l'interface de ligne de commande Serengeti.
2
Exécutez la commande datastore delete.
Si la commande échoue parce que la banque de données est référencée par un cluster Hadoop, vous
pouvez utiliser la commande datastore list pour savoir quel cluster fait référence à la banque de
données.
Cet exemple supprime la banque de données myDS.
datastore delete --name myDS
Ajouter un réseau avec l'interface de ligne de commande Serengeti
Ajouter des réseaux à Big Data Extensions permet aux clusters Hadoop d'accéder à leurs adresses IP. Un
réseau est à la fois un groupe de ports et un moyen d'accéder à ce groupe via une adresse IP.
Après avoir ajouté un réseau à Big Data Extensions, ne le renommez pas dans vSphere. Si vous le
renommez, vous ne pourrez pas exécuter d'opérations Serengeti sur les clusters qui l'utilisent.
24
VMware, Inc.
Chapitre 3 Gestion de l'environnement Big Data Extensions à l'aide de l'interface de ligne de commande Serengeti
Prérequis
Si votre réseau utilise des adresses IP statiques, assurez-vous que les adresses ne sont pas occupées avant
d'ajouter le réseau.
Procédure
1
Accédez à l'Serengeti CLI.
2
Exécutez la commande network add.
Cet exemple ajoute un réseau appelé myNetwork au groupe de ports 10PG vSphere. Les machines
virtuelles utilisant ce réseau recourent au protocole DHCP pour obtenir les adresses IP.
network add --name myNetwork --portGroup 10PG --dhcp
Cet exemple ajoute un réseau appelé myNetwork au groupe de ports 10PG vSphere. Les nœuds Hadoop
utilisent les adresses de la plage d'adresses IP 192.168.1.2-100 ; l'adresse IP du serveur DNS est
10.111.90.2, l'adresse de la passerelle est 192.168.1.1 et le masque de sous-réseau est 255.255.255.0.
network add --name myNetwork --portGroup 10PG --ip 192.168.1.2-100 --dns 10.111.90.2
--gateway 192.168.1.1 --mask 255.255.255.0
Pour spécifier plusieurs segments d'adresse IP, utilisez différentes chaînes afin d'exprimer la plage
d'adresses IP au format xx.xx.xx.xx-xx[,xx]*.
xx.xx.xx.xx-xx, xx.xx.xx.xx-xx, single_ip, single_ip
Cet exemple ajoute un réseau dynamique avec des adresses IP attribuées par DHCP et un nom d'hôte
significatif.
network add --name ddnsNetwork --dhcp --portGroup pg1 --dnsType DYNAMIC
Supprimer un réseau avec l'interface de ligne de commande Serengeti
Vous pouvez supprimer un réseau de Serengeti qui n'est référencé par aucun cluster Hadoop. La
suppression d'un réseau non utilisé libère les adresses IP en vue d'une réutilisation.
Procédure
1
Accédez à l'interface de ligne de commande Serengeti.
2
Exécutez la commande network delete.
network delete --name network_name
Si la commande échoue parce que le réseau est référencé par un cluster Hadoop, vous pouvez utiliser la
commande network list --detail pour savoir quel cluster fait référence au réseau.
Reconfigurer un réseau IP statique avec l'interface de ligne de
commande Serengeti
Vous pouvez reconfigurer un réseau IP statique Serengeti en lui ajoutant des segments d'adresse IP. Il se
peut que vous ayez besoin d'ajouter des segments d'adresse IP de telle sorte qu'il y ait assez de capacité pour
le cluster que vous voulez créer.
Si la plage d'adresses IP que vous spécifiez inclut les adresses IP qui sont déjà dans le réseau, Serengeti
ignore les adresses dupliquées. Les adresses restantes de la plage spécifiée sont ajoutées au réseau. Si le
réseau est déjà utilisé par un cluster, celui-ci peut utiliser les nouvelles adresses IP après que vous les avez
ajoutées au réseau. Si seule une partie de la plage d'adresses IP est utilisée par un cluster, les adresses IP non
employées peuvent être utilisées lorsque vous créez un nouveau cluster.
VMware, Inc.
25
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
Prérequis
Si votre réseau utilise des adresses IP statiques, assurez-vous que les adresses ne sont pas occupées avant
d'ajouter le réseau.
Procédure
1
Accédez à l'interface de ligne de commande Serengeti.
2
Exécutez la commande network modify.
Cet exemple ajoute les adresses IP comprises entre 192.168.1.2 et 192.168.1.100 à un réseau nommé
myNetwork.
network modify --name myNetwork --addIP 192.168.1.2-100
Reconfigurer le type de DNS à l'aide de l'interface de ligne de
commande Serengeti
Vous pouvez reconfigurer le type de système de noms de domaine (DNS) d'un réseau, et spécifier que
Big Data Extensions génère des noms d'hôte significatifs pour les nœuds d'un cluster Hadoop.
Après avoir ajouté un réseau à Big Data Extensions, ne le renommez pas dans vSphere. Si vous le
renommez, vous ne pourrez pas exécuter d'opérations Serengeti sur les clusters qui l'utilisent.
Vous pouvez spécifier trois options DNS :
Normale
Le serveur DNS fournit la résolution FQDN/IP dans les deux sens. Le DNS
inverse correspond au mappage de l'adresse IP au nom de domaine. Il s'agit
du contraire du DNS normal qui mappe les noms de domaine aux
adresses IP. Par défaut, le type de DNS est normal.
Dynamique
Dynamic DNS (DDNS ou DynDNS) est une méthode qui permet la mise à
jour automatique d'un nom de serveur du système DNS (Domain Name
System) avec la configuration DNS active de ses noms d'hôte configurés,
adresses ou autres informations. Big Data Extensions s'intègre à un serveur
Dynamic DNS de son réseau, au travers duquel il fournit des noms d'hôte
significatifs aux nœuds d'un cluster Hadoop. Le cluster s'enregistre ensuite
automatiquement auprès du serveur DNS.
Autres
Il n'y a pas de serveur DNS ou le serveur DNS n'offre pas de résolution DNS
normale ou de services Dynamic DNS. Dans ce cas, vous devez ajouter un
mappage FQDN/IP pour tous les nœuds du fichier /etc/hosts de chaque
nœud du cluster. Grâce à ce mappage de noms d'hôte vers des adresses IP,
chaque nœud peut contacter un autre nœud du cluster.
Les noms d'hôte vous permettent d'identifier les éléments plus facilement et d'utiliser des services tels que
l'authentification unique, ce qui nécessite l'utilisation d'un DNS correctement configuré.
Procédure
1
Accédez à l'Serengeti CLI.
2
Exécutez la commande network modify.
Vous pouvez spécifier trois types de DNS : NORMAL, DYNAMIC et OTHERS. La valeur par défaut est NORMAL.
Dans cet exemple, un réseau nommé myNetwork est modifié de sorte qu'il utilise un type Dynamic DNS.
Les machines virtuelles utilisant ce réseau recourront au protocole DHCP pour obtenir les adresses IP.
network modify --name myNetwork --dnsType DYNAMIC
26
VMware, Inc.
Chapitre 3 Gestion de l'environnement Big Data Extensions à l'aide de l'interface de ligne de commande Serengeti
Augmenter les performances de clonage et l'utilisation des
ressources des machines virtuelles.
Vous pouvez rapidement cloner et déployer des machines virtuelles à l'aide de Instant Clone, une
fonctionnalité de vSphere 6.0.
À l'aide de Instant Clone, une machine virtuelle parent est dupliquée, puis une machine virtuelle enfant (ou
un clone instantané) est créée. La machine virtuelle enfant tire profit du stockage et de la mémoire de la
machine virtuelle parent, ce qui permet de réduire l'utilisation des ressources.
Lorsque vous provisionnez un cluster, Big Data Extensions crée une machine virtuelle parent pour chaque
hôte sur lequel un nœud de cluster a été placé. Après le provisionnement, un nouveau pool de ressources
étiqueté BDE-ParentVMs-$serengeti.uuid-$template.name apparaît dans vCenter Server. Ce pool de
ressources contient plusieurs machines virtuelles parent. Les nœuds de cluster normaux sont clonés
instantanément à partir de ces machines virtuelles parent. Une fois qu'elles sont créées sur les hôtes du
cluster, le temps nécessaire au provisionnement et à la mise à l'échelle d'un cluster est considérablement
réduit.
Lorsque vous mettez un clone à l'échelle, le type de clone que vous avez spécifié lors de la création du
cluster continue d'être utilisé, quel que soit le type actuel du clone. Par exemple, si vous avez créé un cluster
à l'aide de la fonction Instant Clone, puis que vous passez au type Fast Clone dans Big Data Extensions, le
cluster que vous avez provisionné à l'aide d'Instant Clone continuera d'utiliser Instant Clone pour agrandir
le cluster.
Si vous créez des clusters et que vous souhaitez ultérieurement apporter des changements à la machine
virtuelle de modèle utilisée pour provisionner ces clusters, vous devez d'abord supprimer toutes les
machines virtuelles parent existantes avant d'utiliser la nouvelle machine virtuelle de modèle. Lorsque vous
créez des clusters à l'aide du nouveau modèle, Big Data Extensions crée de nouvelles machines virtuelles
parent basées sur le nouveau modèle.
Prérequis
Votre déploiement Big Data Extensions doit utiliser vSphere 6.0 pour bénéficier d'Instant Clone.
Procédure
1
Connectez-vous à Serengeti Management Server.
2
Modifiez le fichier /opt/serengeti/conf/serengeti.properties et changez la valeur de
cluster.clone.service=fast.
Le type de clone par défaut lorsque vous exécutez vSphere 6.0 est Instant Clone.
cluster.clone.service = instant
3
Pour activer le type Instant Clone, redémarrez Serengeti Management Server.
sudo /sbin/service tomcat restart
Serengeti Management Server lit le fichier serengeti.properties révisé et applique la fonction Fast
Clone à tous les nouveaux clusters que vous créez.
Suivant
Tous les clusters que vous créez ensuite utiliseront Instant Clone pour déployer les machines virtuelles.
Reportez-vous à Chapitre 5, « Création de clusters Hadoop et HBase », page 35.
VMware, Inc.
27
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
28
VMware, Inc.
Gérer les utilisateurs et les comptes
d'utilisateurs
4
Par défaut, l'authentification est configurée uniquement pour les comptes d'utilisateurs locaux dans
Big Data Extensions. Si vous voulez utiliser LDAP (soit Active Directory soit un répertoire compatible
OpenLDAP) pour authentifier les utilisateurs, vous devez configurer Big Data Extensions pour utiliser votre
service LDAP ou Active Directory.
Ce chapitre aborde les rubriques suivantes :
n
« Créer un fichier de configuration du service LDAP avec l'interface de ligne de commande
Serengeti », page 29
n
« Activer la gestion centralisée des utilisateurs à l'aide de l'interface de ligne de commande Serengeti »,
page 31
n
« Créer un cluster avec l'authentification utilisateur LDAP à l'aide de l'interface de ligne de commande
Serengeti », page 31
n
« Changer les modes de gestion des utilisateurs à l'aide de l'interface de ligne de commande
Serengeti », page 32
n
« Modifier la configuration LDAP à l'aide de l'interface de ligne de commande Serengeti », page 33
Créer un fichier de configuration du service LDAP avec l'interface de
ligne de commande Serengeti
Créez un fichier de configuration qui identifie votre environnement de serveur LDAP ou Active Directory.
Prérequis
n
Déployez le vApp Serengeti.
n
Assurez-vous d'avoir les ressources adéquates allouées exécuter le cluster Hadoop.
n
Pour utiliser une distribution Hadoop autre que la distribution par défaut, ajoutez une ou plusieurs
distributions Hadoop. Consultez le Guide de l'utilisateur et de l'administrateur VMware vSphere Big Data
Extensions.
Procédure
1
Accédez à l'Serengeti CLI.
2
Accédez au répertoire de Serengeti Management Server dans lequel vous souhaitez créer et stocker le
fichier de configuration.
Vous pouvez utiliser le répertoire /opt/serengeti/etc pour stocker votre fichier de configuration.
VMware, Inc.
29
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
3
À l'aide d'un éditeur de texte, créez un fichier JavaScript Object Notation (JSON) contenant les
paramètres de configuration de votre service LDAP ou Active Directory.
Le format du fichier de configuration est représenté ci-dessous.
{
"type": "user_mode_type",
"primaryUrl": "ldap://AD_LDAP_server_IP_address:network_port",
"baseUserDn": "DN_information",
"baseGroupDn": "DN_information",
"userName": "username",
"password": "password",
"mgmtVMUserGroupDn":"DN_information"
}
Tableau 4‑1. Informations de connexion LDAP
4
type
Le service d'authentification utilisateur externe à utiliser (soit AD_AS_LDAP, soit LDAP).
baseUserDn
Indiquez le DN utilisateur de base.
baseGroupDn
Indiquez le DN groupe de base.
primaryUrl
Indiquez l'URL du serveur principal de votre serveur Active Directory ou LDAP.
mgmtVMUserGroupDn
(Facultatif) Spécifiez le DN de base pour rechercher les groupes afin d'accéder au
Serengeti Management Server.
userName
Saisissez le nom d'utilisateur du compte d'administrateur Active Directory ou LDAP.
password
Saisissez le mot de passe du compte d'administrateur Active Directory ou LDAP.
Lorsque le fichier est terminé, enregistrez votre travail.
Exemple : Exemple de fichier de configuration LDAP
L'exemple suivant illustre le fichier de configuration d'un serveur LDAP dans le domaine acme.com.
{
"type": "LDAP",
"primaryUrl": "ldap://acme.com:8888",
"baseUserDn": "ou=users,dc=dev,dc=acme,dc=com",
"baseGroupDn": "ou=users,dc=dev,dc=acme,dc=com",
"userName": "jsmith",
"password": "MyPassword",
"mgmtVMUserGroupDn":"cn=Administrators,cn=Builtin,dc=dev,dc=acme,dc=com"
}
Suivant
Une fois que vous avez créé un fichier de configuration LDAP, vous pouvez activer la gestion centralisée
des utilisateurs pour votre environnement Big Data Extensions. Reportez-vous à « Activer la gestion
centralisée des utilisateurs à l'aide de l'interface de ligne de commande Serengeti », page 31.
30
VMware, Inc.
Chapitre 4 Gérer les utilisateurs et les comptes d'utilisateurs
Activer la gestion centralisée des utilisateurs à l'aide de l'interface de
ligne de commande Serengeti
Vous devez configurer Big Data Extensions de sorte qu'il utilise une source d'identité utilisateur externe
avant de pouvoir gérer les utilisateurs via votre service LDAP ou Active Directory.
Prérequis
n
Déployez le vApp Serengeti.
n
Assurez-vous d'avoir les ressources adéquates allouées exécuter le cluster Hadoop.
n
Pour utiliser une distribution Hadoop autre que la distribution par défaut, ajoutez une ou plusieurs
distributions
Hadoop. Consultez le Guide de l'utilisateur et de l'administrateur VMware vSphere Big Data Extensions.
n
Créez un fichier de configuration identifiant votre environnement LDAP ou Active Directory à utiliser
avec Big Data Extensions. Reportez-vous à « Créer un fichier de configuration du service LDAP avec
l'interface de ligne de commande Serengeti », page 29
Procédure
1
Accédez à l'Serengeti CLI.
2
Exécutez la commande usermgmtserver add --cfgfile config_file_path
Cet exemple active la gestion centralisée des utilisateurs, en indiquant que les paramètres de
configuration LDAP se trouvent dans le fichier /opt/serengeti/LDAPConfigFile.cfg.
usermgmtserver add --cfgfile /opt/serengeti/LDAPConfigFile.cfg
3
Exécutez la commande mgmtvmcfg get pour vérifier la configuration correcte de votre environnement en
affichant les informations de configuration du service LDAP ou Active Directory.
Le contenu du fichier de la configuration active utilisé par votre environnement Big Data Extensions
s'affiche sur le terminal.
Suivant
Lorsque vous activez la gestion centralisée des utilisateurs, vous pouvez créer des clusters et attribuer des
rôles de gestion des utilisateurs à l'aide des utilisateurs et des groupes d'utilisateurs définis par votre service
LDAP ou Active Directory. Reportez-vous à « Créer un cluster avec l'authentification utilisateur LDAP à
l'aide de l'interface de ligne de commande Serengeti », page 31.
Créer un cluster avec l'authentification utilisateur LDAP à l'aide de
l'interface de ligne de commande Serengeti
Lorsque la gestion centralisée des utilisateurs est configurée et activée, vous pouvez accorder des privilèges
aux utilisateurs et aux groupes d'utilisateurs dans votre service LDAP ou Active Directory pour chaque
cluster Hadoop que vous créez.
Pour illustrer l'utilisation de la gestion centralisée des utilisateurs dans votre environnement
Big Data Extensions, vous pouvez attribuer aux groupes dotés de privilèges administratifs dans votre
service LDAP ou Active Directory un accès au Serengeti Management Server. Cela permet aux utilisateurs
d'administrer Big Data Extensions et le Serengeti Management Server. Vous pouvez ensuite octroyer à un
autre groupe d'utilisateurs un accès à des nœuds de cluster Hadoop pour leur permettre d'exécuter des
tâches Hadoop.
VMware, Inc.
31
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
Pour accéder aux commandes de l'Serengeti CLI et de Serengeti, les utilisateurs doivent prendre l'identité
d'utilisateur serengeti après leur connexion. Par exemple, vous pouvez utiliser la commande su pour
prendre l'identité d'utilisateur serengeti. Vous pourrez ensuite accéder à l'Serengeti CLI.
su serengeti
Prérequis
n
Déployez le vApp Serengeti.
n
Assurez-vous d'avoir les ressources adéquates allouées exécuter le cluster Hadoop.
n
Pour utiliser une distribution Hadoop autre que la distribution par défaut, ajoutez une ou plusieurs
distributions
Hadoop. Consultez le Guide de l'utilisateur et de l'administrateur VMware vSphere Big Data Extensions.
n
Activez la gestion centralisée des utilisateurs pour votre déploiement Big Data Extensions. Reportezvous à « Activer la gestion centralisée des utilisateurs à l'aide de l'interface de ligne de commande
Serengeti », page 31.
Procédure
1
Accédez à l'Serengeti CLI.
2
Exécutez le cluster create command et spécifiez la valeur des paramètres --adminGroupName et -userGroupName à l'aide des noms des groupes d'administrateurs et des groupes d'utilisateurs auxquels
vous souhaitez accorder des privilèges relatifs au cluster que vous créez.
cluster create --name cluster_name --type hbase --adminGroupName AdminGroupName -userGroupName UserGroupName
Suivant
Après avoir déployé le cluster Hadoop, vous pouvez y accéder à l'aide de plusieurs méthodes. Consultez le
Guide de l'utilisateur et de l'administrateur VMware vSphere Big Data Extensions.
Changer les modes de gestion des utilisateurs à l'aide de l'interface
de ligne de commande Serengeti
Vous pouvez modifier le mode de gestion des utilisateurs de votre environnement Big Data Extensions.
Vous pouvez choisir d'utiliser la gestion des utilisateurs locaux, LDAP ou les deux.
Big Data Extensions vous permet d'authentifier les utilisateurs locaux, ceux gérés par LDAP ou Active
Directory, ou une combinaison de ces méthodes d'authentification.
Tableau 4‑2. Modes d'authentification utilisateur
32
Mode utilisateur
Description
Local
Spécifiez LOCAL pour créer et gérer les utilisateurs et les groupes stockés localement dans votre
environnement Big Data Extensions. Il s'agit de la solution de gestion des utilisateurs par
défaut.
Utilisateur LDAP
Spécifiez LDAP pour créer et gérer les utilisateurs et les groupes stockés dans la source
d'identité de votre entreprise telle qu'Active Directory ou LDAP. Si vous choisissez le mode
utilisateur LDAP, vous devez configurer Big Data Extensions pour qu'il utilise un service
LDAP ou Active Directory (Active Directory en tant que LDAP).
Mode mixte
Spécifiez MIXED pour utiliser une combinaison des utilisateurs locaux et de ceux stockés dans
une source d'identité externe. Si vous choisissez le mode mixte, vous devez configurer
Big Data Extensions pour qu'il utilise un service LDAP ou Active Directory (Active Directory
en tant que LDAP).
VMware, Inc.
Chapitre 4 Gérer les utilisateurs et les comptes d'utilisateurs
Prérequis
n
Déployez le vApp Serengeti.
n
Assurez-vous d'avoir les ressources adéquates allouées exécuter le cluster Hadoop.
n
Pour utiliser une distribution Hadoop autre que la distribution par défaut, ajoutez une ou plusieurs
distributions Hadoop. Consultez le Guide de l'utilisateur et de l'administrateur VMware vSphere Big Data
Extensions.
Procédure
1
Accédez à l'Serengeti CLI.
2
Exécutez la commande mgmtvmcfg modify pour spécifier le mode d'authentification utilisateur que vous
souhaitez utiliser.
n
Spécifiez LOCAL pour créer et gérer les utilisateurs et les groupes stockés localement dans votre
environnement Big Data Extensions. LOCAL est la solution de gestion des utilisateurs par défaut
lorsqu'aucun service Active Directory ou LDAP n'est disponible.
mgmtvmcfg modify LOCAL
n
Spécifiez MIXED pour utiliser une combinaison des utilisateurs locaux et de ceux stockés dans une
source d'identité externe. Si vous choisissez ce mode, vous devez configurer Big Data Extensions
pour qu'il utilise un service LDAP ou Active Directory.
mgmtvmcfg modify MIXED
n
Spécifiez LDAP pour créer et gérer les utilisateurs et les groupes stockés dans la source d'identité de
votre entreprise telle qu'Active Directory en tant que LDAP ou LDAP. Si vous choisissez LDAP,
vous devez configurer Big Data Extensions pour qu'il utilise un service LDAP ou Active Directory.
mgmtvmcfg modify LDAP
Big Data Extensions utilise le mode d'authentification utilisateur que vous avez spécifié.
Modifier la configuration LDAP à l'aide de l'interface de ligne de
commande Serengeti
Vous pouvez modifier vos paramètres LDAP et rendre ces modifications disponibles dans votre
environnement Big Data Extensions.
Vous pouvez appliquer à Big Data Extensions les modifications que vous apportez à vos paramètres de
configuration LDAP. Cela vous permet de mettre à jour vos informations du service LDAP.
Prérequis
n
Déployez le vApp Serengeti.
n
Assurez-vous d'avoir les ressources adéquates allouées exécuter le cluster Hadoop.
n
Pour utiliser une distribution Hadoop autre que la distribution par défaut, ajoutez une ou plusieurs
distributions
Hadoop. Consultez le Guide de l'utilisateur et de l'administrateur VMware vSphere Big Data Extensions.
n
Activez la gestion centralisée des utilisateurs pour votre déploiement Big Data Extensions. Reportezvous à « Activer la gestion centralisée des utilisateurs à l'aide de l'interface de ligne de commande
Serengeti », page 31.
n
Modifiez le fichier de configuration LDAP pour refléter tous les changements que vous souhaitez
apporter à vos paramètres de gestion des utilisateurs. Reportez-vous à « Créer un fichier de
configuration du service LDAP avec l'interface de ligne de commande Serengeti », page 29
VMware, Inc.
33
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
Procédure
1
Accédez à l'Serengeti CLI.
2
Exécutez la commande usermgmtserver modify --cfgfile config_file_path
usermgmtserver modify --cfgfile config_file_path
Tous les changements que vous avez apportés au fichier de configuration LDAP sont appliqués à votre
environnement Big Data Extensions. Les clusters que vous créez utiliseront les nouveaux paramètres LDAP.
Suivant
Vous pouvez créer des clusters et attribuer des rôles de gestion des utilisateurs à l'aide des utilisateurs et des
groupes d'utilisateurs définis par votre service LDAP ou Active Directory. Reportez-vous à « Créer un
cluster avec l'authentification utilisateur LDAP à l'aide de l'interface de ligne de commande Serengeti »,
page 31.
34
VMware, Inc.
Création de clusters Hadoop et
HBase
5
Dans Big Data Extensions, vous pouvez créer et déployer des clusters Hadoop et HBase. Un cluster Big Data
est un type de cluster de calcul conçu pour stocker et analyser de grandes quantités de données non
structurées dans un environnement informatique distribué.
Restrictions.
n
Lorsque vous créez un cluster uniquement HBase, vous devez utiliser le gestionnaire d'applications par
défaut, car les autres ne prennent pas en charge ce type de cluster.
n
Vous ne pouvez pas renommer un cluster créé avec le gestionnaire d'applications Cloudera Manager ou
Ambari.
n
La mise hors tension temporaire des hôtes provoque l'échec des clusters Big Data pendant la création
du cluster.
Lorsque vous créez des clusters Big Data, Big Data Extensions calcule le placement des machines
virtuelles en fonction des ressources disponibles, des meilleures pratiques Hadoop et des stratégies de
placement définies par l'utilisateur avant la création des machines virtuelles. Lors de ces calculs, si
certains hôtes sont mis hors tension ou en veille soit manuellement soit par VMware Distributed Power
Management (VMware DPM), ces hôtes ne sont pas considérés comme des ressources disponibles par
Big Data Extensions.
Si un hôte est mis hors tension ou en veille après que Big Data Extensions a calculé le placement des
machines virtuelles, mais avant leur création, la création du cluster échoue tant que vous ne remettez
pas ces hôtes sous tension. Les solutions de contournement suivantes peuvent vous aider à éviter ce
problème et à y remédier.
n
Désactivez VMware DPM sur les clusters vSphere où vous déployez et exécutez
Big Data Extensions.
n
Mettez les hôtes en mode maintenance avant de les mettre hors tension.
n
Si la création d'un cluster Big Data échoue en raison de l'indisponibilité temporaire des hôtes qui
lui sont attribués, reprenez la création du cluster après avoir mis les hôtes sous tension.
Conditions
Les besoins en ressources sont différents pour les clusters créés avec l'interface de ligne de commande de
Serengeti et le plug-in Big Data Extensions pour vSphere Web Client, car les clusters utilisent des modèles
par défaut différents. Les clusters par défaut créés à l'aide de la Serengeti CLI sont ciblés sur les utilisateurs
de Project Serengeti et les applications de validation technique. Ils sont plus petits que les modèles de plugin de Big Data Extensions, qui sont ciblés sur des déploiements de plus grande envergure à usage
commercial.
VMware, Inc.
35
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
Certaines configurations de déploiement nécessitent plus de ressources que d'autres. Par exemple, si vous
créez un cluster Greenplum HD 1.2, vous ne pouvez pas utiliser la machine virtuelle de petite taille. Si vous
créez un cluster MapR ou Greenplum HD par défaut à l'aide de la Serengeti CLI, il est recommandé de
disposer d'au moins 550 Go de stockage et de 55 Go de mémoire. Pour les autres distributions Hadoop, il est
recommandé de disposer d'au moins 350 Go de stockage et de 35 Go de mémoire.
AVERTISSEMENT Lorsque vous créez un cluster avec Big Data Extensions, Big Data Extensions désactive la
migration automatique des machines virtuelles sur le cluster. Cela empêche la migration automatique des
machines virtuelles par vSphere, mais ne vous empêche pas de déplacer accidentellement les nœuds du
cluster vers d'autres hôtes avec l'interface utilisateur de vCenter Server. N'utilisez pas l'interface utilisateur
de vCenter Server pour migrer des clusters. L'utilisation de ces fonctions de gestion en dehors de
l'environnement Big Data Extensions peut vous empêcher d'effectuer certaines opérations de Big Data
Extensions telles que la récupération de défaillances de disque.
Les mots de passe doivent contenir 8 à 20 caractères, utiliser uniquement des caractères ASCII inférieurs
visibles (pas d'espaces) et comporter au moins une lettre majuscule (A - Z), une lettre minuscule (a - z), un
chiffre (0 - 9) et l'un des caractères spéciaux suivants : _, @, #, $, %, ^, &, *
Ce chapitre aborde les rubriques suivantes :
36
n
« À propos des types de déploiement de clusters Hadoop et HBase », page 37
n
« Configurations des clusters Hadoop par défaut pour Serengeti », page 37
n
« Configurations des clusters HBase par défaut pour Serengeti », page 38
n
« À propos de la topologie des clusters », page 38
n
« À propos des clusters HBase », page 41
n
« À propos des clusters MapReduce », page 49
n
« À propos des clusters de calcul de données », page 52
n
« À propos des clusters personnalisés », page 64
VMware, Inc.
Chapitre 5 Création de clusters Hadoop et HBase
À propos des types de déploiement de clusters Hadoop et HBase
Avec Big Data Extensions, vous pouvez créer et utiliser plusieurs types de clusters Big Data.
Cluster Hadoop de base
Déploiement Hadoop simple pour les projets de validation technique et
d'autres tâches de traitement de données à petite échelle. Le cluster Hadoop
de base contient le HDFS et l'infrastructure MapReduce. L'infrastructure
MapReduce traite les problèmes en parallèle sur d'énormes jeux de données
dans le HDFS.
Cluster HBase
Il s'exécute par-dessus HDFS et offre une solution de tolérance aux pannes
pour stocker de grandes quantités de données éparses.
Cluster de séparation
de données et de calcul
Sépare les nœuds de données et de calcul ou les clusters qui contiennent des
nœuds de calcul uniquement. Dans ce type de cluster, le nœud de données et
le nœud de calcul ne sont pas sur la même machine virtuelle.
Cluster de calcul
uniquement
Vous pouvez créer un cluster qui contient uniquement des nœuds de calcul,
par exemple des nœuds JobTracker, TaskTracker, ResourceManager et
NodeManager, mais pas des nœuds NameNode ni DataNode. Un cluster de
calcul uniquement sert à exécuter des tâches MapReduce sur un cluster
HDFS externe.
Cluster de calcul de
travailleurs uniquement
Contient uniquement des nœuds worker, par exemple des nœuds
TaskTracker et NodeManager, mais pas des nœuds NameNode ni
DataNode. Un cluster de calcul de travailleurs uniquement sert à ajouter des
nœuds de calcul worker à un cluster Hadoop existant.
Cluster uniquement
HBase
Contient des nœuds HBase Master, HBase RegionServer et Zookeeper, mais
pas des nœuds NameNodes ni DataNodes. Plusieurs clusters HBase
uniquement peuvent utiliser le même cluster HDFS externe.
Cluster personnalisé
Utilise un fichier de spécification de cluster pour créer des clusters à l'aide de
la même configuration que celle des clusters précédemment créés. Vous
pouvez modifier le fichier de spécification de cluster pour personnaliser la
configuration du cluster.
Configurations des clusters Hadoop par défaut pour Serengeti
Pour les déploiements Hadoop de base, tels que les projets de validation technique, vous pouvez utiliser la
configuration de cluster Hadoop par défaut pour Serengeti dans le cas des clusters créés avec l'interface de
ligne de commande.
Le déploiement du cluster obtenu se compose des machines virtuelles et nœuds suivants :
n
Une machine virtuelle de nœud master avec les services NameNode et JobTracker.
n
Trois machines virtuelles de nœud worker, chacune avec les services DataNode et TaskTracker.
n
Une machine virtuelle de nœud client contenant l'environnement client Hadoop : le shell client
Hadoop, Pig et Hive.
VMware, Inc.
37
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
Distributions Hadoop prenant en charge MapReduce v1 et MapReduce v2
(YARN)
Si vous utilisez les distributions Hadoop Cloudera CDH4 ou CDH5, qui prennent en charge à la fois
MapReduce v1 et MapReduce v2 (YARN), les configurations de cluster Hadoop par défaut sont différentes.
La configuration de cluster Hadoop par défaut pour CDH4 est un cluster MapReduce v1. La configuration
de cluster Hadoop par défaut pour CDH5 est un cluster MapReduce v2. Toutes les autres distributions
prennent en charge soit MapReduce v1 soit MapReduce v2 (YARN), mais pas les deux.
Configurations des clusters HBase par défaut pour Serengeti
HBase est une base de données distribuée en colonnes open source qui utilise MapReduce et HDFS pour
gérer les données. Vous pouvez utiliser HBase pour créer des applications de table volumineuses.
Pour exécuter les tâches HBase MapReduce, configurez le cluster HBase de façon à inclure les nœuds
JobTracker ou TaskTracker. Lorsque vous créez un cluster HBase avec l'interface de ligne de commande,
conformément au modèle Serengeti HBase par défaut, le cluster obtenu se compose des nœuds suivants :
n
Un nœud master, qui exécute les services NameNode et HBaseMaster.
n
Trois nœuds zookeeper, chacun exécutant le service ZooKeeper.
n
Trois nœuds de données, chacun exécutant les services DataNode et HBase Regionserver.
n
Un nœud client, à partir duquel vous pouvez exécuter les tâches Hadoop ou HBase.
Le cluster HBase par défaut déployé par Serengeti ne contient pas de démons Hadoop JobTracker ou
Hadoop TaskTracker. Pour exécuter une tâche HBase MapReduce, déployez un cluster HBase personnalisé
non par défaut.
À propos de la topologie des clusters
Vous pouvez améliorer l'équilibrage de la charge de travail entre vos nœuds de cluster et accroître les
performances et le débit en spécifiant comment les machines virtuelles Hadoop sont placées, à l'aide de la
reconnaissance de la topologie. Par exemple, vous pouvez avoir des nœuds de données et des nœuds de
calcul distincts, et améliorer les performances et le débit en plaçant les nœuds sur le même ensemble d'hôtes
physiques.
Pour optimiser les performances de votre cluster Big Data, configurez votre cluster de sorte qu'il reconnaisse
la topologie de l'hôte de votre environnement et les informations sur le réseau. Les performances d'Hadoop
sont supérieures s'il utilise les transferts au sein du rack, lorsqu'une plus grande bande passante est
disponible, plutôt que les transferts hors rack lorsqu'il attribue des tâches MapReduce aux nœuds. HDFS
peut placer des réplicas de manière plus intelligente pour améliorer les performances et la résilience. Par
exemple, si vous avez des nœuds de données et des nœuds de calcul distincts, vous pouvez améliorer les
performances et le débit en plaçant les nœuds sur le même ensemble d'hôtes physiques.
AVERTISSEMENT Lorsque vous créez un cluster avec Big Data Extensions, Big Data Extensions désactive la
migration automatique des machines virtuelles du cluster. Cela empêche la migration des machines
virtuelles par vSphere, mais ne vous empêche pas de déplacer accidentellement les nœuds du cluster vers
d'autres hôtes avec l'interface utilisateur de vCenter Server. N'utilisez pas l'interface utilisateur de vCenter
Server pour migrer des clusters. L'utilisation de ces fonctions de gestion en dehors de l'environnement Big
Data Extensions peut enfreindre la stratégie de placement du cluster, notamment le nombre d'instances par
hôte et les associations de groupe. Même si vous ne spécifiez aucune stratégie de placement, l'utilisation de
vCenter Server pour migrer des clusters peut transgresser les contraintes de la stratégie de placement
ROUNDROBIN par défaut.
38
VMware, Inc.
Chapitre 5 Création de clusters Hadoop et HBase
Vous pouvez spécifier les configurations suivantes de reconnaissance de la topologie.
Extensions de
virtualisation Hadoop
(HVE, Hadoop
Virtualization
Extensions)
Fiabilité et performances des clusters améliorées grâce à un placement des
réplicas, une planification des tâches et des politiques d'équilibrage Hadoop
plus précis. Les clusters Hadoop implémentés dans une infrastructure
virtualisée sont dotés d'une reconnaissance complète de la topologie sur
laquelle ils fonctionnent lorsqu'ils utilisent HVE.
Pour utiliser HVE, votre distribution Hadoop doit prendre en charge HVE et
vous devez créer et télécharger un fichier de mappage rack-hôtes.
RACK_EN_RACK
Topologie standard pour les distributions Apache Hadoop. Seules les
informations sur le rack et l'hôte sont exposées à Hadoop. Pour utiliser
RACK_AS_RACK, créez et téléchargez un fichier de topologie de serveur.
HÔTE_EN_RACK
Topologie simplifiée pour les distributions Apache Hadoop. Pour éviter de
placer tous les réplicas de blocs de données HDFS sur le même hôte
physique, chaque hôte physique est traité comme un rack. Étant donné que
les réplicas des blocs de données ne sont jamais placés sur un rack, cela évite
le pire scénario où une défaillance d'un seul hôte provoque la perte totale
d'un bloc de données.
Utilisez HOST_AS_RACK si votre cluster utilise un seul rack ou si vous ne
disposez pas d'informations sur le rack vous permettant de décider des
options de configuration de la topologie.
Aucune
Aucune topologie n'est spécifiée.
Fichier de mappage rack/hôtes de la topologie
Les fichiers de mappage rack/hôtes de la topologie sont des fichiers texte brut qui associent les racks
logiques aux hôtes physiques. Ces fichiers sont obligatoires pour créer des clusters avec une topologie HVE
ou RACK_AS_RACK.
Le format de chaque ligne d'un fichier de mappage rack/hôtes de la topologie est :
rackname: hostname1, hostname2 ...
Par exemple, pour affecter les hôtes physiques a.b.foo.com et a.c.foo.com à rack1, et l'hôte physique
c.a.foo.com à rack2, incluez les lignes suivantes dans votre fichier de mappage rack/hôtes de la topologie.
rack1: a.b.foo.com, a.c.foo.com
rack2: c.a.foo.com
Fichiers de définition de la stratégie de placement de la topologie
Le champ placementPolicies du fichier de spécification de cluster contrôle la façon dont les nœuds sont
placés dans le cluster.
Si vous spécifiez des valeurs pour instancePerHost et pour groupRacks, il doit y avoir un nombre suffisant
d'hôtes disponibles. Pour afficher les informations sur les racks hôtes, utilisez la commande topology list.
Le code illustre un exemple du champ placementPolicies dans un fichier de spécification de cluster.
{
"nodeGroups":[
…
{
"name": "group_name",
…
"placementPolicies": {
VMware, Inc.
39
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
"instancePerHost": 2,
"groupRacks": {
"type": "ROUNDROBIN",
"racks": ["rack1", "rack2", "rack3"]
},
"groupAssociations": [{
"reference": "another_group_name",
"type": "STRICT"
// or "WEAK"
}]
}
},
…
}
Tableau 5‑1. Définition de l'objet placementPolicies
Champ JSON
Type
Description
instancePerHost
Facultatif
Nombre de nœuds de machine
virtuelle à placer pour chaque hôte
ESXi physique. Cette contrainte est
destinée à équilibrer la charge de
travail.
groupRacks
Facultatif
Méthode de répartition des nœuds de
machine virtuelle entre les racks
physiques du cluster. Spécifiez les
chaînes JSON suivantes :
groupAssociations
Facultatif
n
type. Spécifiez ROUNDROBIN
pour sélectionner les candidats
équitablement et sans priorité.
n
racks. Racks de la carte de
topologie à utiliser.
Un ou plusieurs groupes de nœuds
cibles auquel ou auxquels ce groupe de
nœuds est associé. Spécifiez les chaînes
JSON suivantes :
n
reference. Nom du groupe de
nœuds cible
n
type:
STRICT. Placez le groupe de
nœuds sur l'ensemble ou le sousensemble d'hôtes ESXi du groupe
cible. Si le placement STRICT n'est
pas possible, l'opération échoue.
FAIBLE. Essayez de placer le
groupe de nœuds sur l'ensemble
ou le sous-ensemble d'hôtes ESXi
du groupe cible, mais si ce n'est
pas possible, utilisez un hôte ESXi
supplémentaire.
n
n
40
VMware, Inc.
Chapitre 5 Création de clusters Hadoop et HBase
Créer un cluster avec prise en charge de la topologie à l'aide de l'interface de
ligne de commande Serengeti
Pour obtenir une charge de travail équilibrée ou améliorer les performances et le débit, vous pouvez
contrôler la façon dont les machines virtuelles Hadoop sont placées en ajoutant la prise en charge de la
topologie aux clusters Hadoop. Par exemple, vous pouvez avoir des nœuds de données et des nœuds de
calcul distincts, et améliorer les performances et le débit en plaçant les nœuds sur le même ensemble d'hôtes
physiques.
Prérequis
n
Déployez le vApp Serengeti.
n
Assurez-vous d'avoir les ressources adéquates allouées exécuter le cluster Hadoop.
n
Pour utiliser une distribution Hadoop autre que la distribution par défaut, ajoutez une ou plusieurs
distributions Hadoop. Consultez le Guide de l'utilisateur et de l'administrateur VMware vSphere Big Data
Extensions.
Procédure
1
Accédez à l'Serengeti CLI.
2
(Facultatif) Exécutez la commande topology list pour afficher la liste des topologies disponibles.
topology list
3
(Facultatif) Si vous voulez que le cluster utilise les topologies HVE ou RACK_AS_RACK, créez un
fichier de mappage rack/hôtes de topologie, puis téléchargez le fichier sur le serveur de gestion
Serengeti.
topology upload --fileName name_of_rack_hosts_mapping_file
4
Exécutez la commande cluster create pour créer le cluster.
cluster create --name cluster-name ... --topology {HVE|RACK_AS_RACK|HOST_AS_RACK}
REMARQUE Pour créer un cluster Apache Bigtop, Cloudera CDH4 et CDH5, Hortonworks HDP 2.x ou
Pivotal PHD 1.1 ou version ultérieure, vous devez configurer un DNS et un FQDN valides pour le trafic
réseau HDFS et MapReduce du cluster. Si le serveur DNS ne peut pas assurer la résolution FQDN/IP
dans un sens et dans l'autre, le processus de création du cluster risque d'échouer ou le cluster est créé
mais il ne fonctionne pas.
L'exemple crée une topologie HVE.
cluster create --name cluster-name --topology HVE --distro name_of_HVE-supported_distro
5
Affichez les nœuds alloués sur chaque rack.
cluster list --name cluster-name –-detail
À propos des clusters HBase
HBase s'exécute par-dessus HDFS et offre une solution de tolérance aux pannes pour stocker de grandes
quantités de données éparses.
VMware, Inc.
41
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
Créer un cluster HBase par défaut avec l'interface de ligne de commande
Serengeti
Vous pouvez utiliser l'Serengeti CLI pour déployer les clusters HBase sur HDFS.
Cette tâche crée un cluster HBase par défaut qui ne contient pas l'infrastructure MapReduce. Exécuter les
tâches MapReduce HBase, ajoutez les nœuds Jobtracker et TaskTracker ou ResourceManager et
NodeManager à l'exemple de fichier de spécification de cluster HBase par
défaut /opt/serengeti/samples/default_hbase_cluster.json, puis créez un cluster à l'aide de ce fichier de
spécification.
Prérequis
n
Déployez le vApp Serengeti.
n
Assurez-vous d'avoir les ressources adéquates allouées exécuter le cluster Hadoop.
n
Pour utiliser une distribution Hadoop autre que la distribution par défaut, ajoutez une ou plusieurs
distributions Hadoop. Consultez le Guide de l'utilisateur et de l'administrateur VMware vSphere Big Data
Extensions.
Procédure
1
Accédez à l'Serengeti CLI.
2
Exécutez le cluster create command et spécifiez la valeur du paramètre --type comme hbase.
cluster create --name cluster_name --type hbase
Suivant
Après avoir déployé le cluster, vous pouvez accéder à une base de données HBase à l'aide de plusieurs
méthodes. Consultez le Guide de l'utilisateur et de l'administrateur VMware vSphere Big Data Extensions.
Créer un cluster uniquement HBase dans Big Data Extensions
Big Data Extensions vous permet de créer un cluster uniquement HBase qui contient uniquement des
nœuds HBase Master, HBase RegionServer et Zookeeper, mais aucun nœud NameNode ni DataNode. Le
cluster uniquement HBase présente l'avantage de permettre à plusieurs clusters HBase d'utiliser le même
HDFS externe.
Procédure
1
Conditions préalables à la création d'un cluster uniquement HBase page 43
Pour pouvoir créer un cluster uniquement HBase, vous devez d'abord vérifier que votre système
remplit toutes les conditions préalables.
2
Préparer EMC Isilon OneFS en tant que cluster HDFS externe page 43
Si vous utilisez EMC Isilon OneFS pour prendre en charge un cluster HDFS externe afin de l'utiliser
avec un cluster uniquement HBase, vous devez créer et configurer des utilisateurs et des groupes
d'utilisateurs, et préparer votre environnement Isilon OneFS.
3
Créer un cluster uniquement HBase avec l'interface de ligne de commande Serengeti page 44
Vous pouvez utiliser l'interface de ligne de commande Serengeti pour créer un cluster uniquement
HBase.
42
VMware, Inc.
Chapitre 5 Création de clusters Hadoop et HBase
Conditions préalables à la création d'un cluster uniquement HBase
Pour pouvoir créer un cluster uniquement HBase, vous devez d'abord vérifier que votre système remplit
toutes les conditions préalables.
Conditions préalables
n
Vérifiez que vous avez démarré Serengeti vApp.
n
Vérifiez que vous avez plusieurs distributions si vous voulez en utiliser une différente de celle par
défaut.
n
Vérifiez que vous avez un cluster HDFS existant à utiliser en tant que cluster HDFS externe.
Pour éviter les conflits entre le cluster uniquement HBase et le cluster HDFS externe, les clusters
doivent utiliser la même distribution Hadoop et la même version.
n
n
Si le cluster HDFS n'a pas été créé à l'aide de Big Data Extensions, vérifiez que le répertoire
HDFS /hadoop/hbase, le groupe hadoop et les utilisateurs suivants existent dans le cluster HDFS
externe :
n
hdfs
n
hbase
n
serengeti
Si vous utilisez EMC Isilon OneFS en tant que cluster HDFS externe, vérifiez que votre environnement
Isilon est préparé.
Pour plus d'informations sur la manière de préparer votre environnement, consultez « Préparer EMC
Isilon OneFS en tant que cluster HDFS externe », page 43.
Préparer EMC Isilon OneFS en tant que cluster HDFS externe
Si vous utilisez EMC Isilon OneFS pour prendre en charge un cluster HDFS externe afin de l'utiliser avec un
cluster uniquement HBase, vous devez créer et configurer des utilisateurs et des groupes d'utilisateurs, et
préparer votre environnement Isilon OneFS.
Procédure
1
Connectez-vous à l'un des nœuds HDFS Isilon en tant que user root
2
Créez les utilisateurs.
n
hdfs
n
hbase
n
serengeti
n
mapred
Les utilisateurs yarn et mapred doivent disposer d'autorisations d'écriture; de lecture et d'exécution pour
tout le répertoire HDFS exporté.
3
Créez le groupe d'utilisateurs hadoop.
4
Créez le répertoire tmp sous le répertoire HDFS racine.
5
Définissez le propriétaire en tant que hdfs:hadoop et les autorisations de lecture et d'écriture 777.
6
Créez le répertoire hadoop sous le répertoire HDFS racine.
7
Définissez le propriétaire en tant que hdfs:hadoop et les autorisations de lecture et d'écriture 775.
8
Créez le répertoire hbase sous le répertoire hadoop.
VMware, Inc.
43
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
9
Définissez le propriétaire en tant que hbase:hadoop et les autorisations de lecture et d'écriture 775.
10
Définissez le propriétaire du répertoire HDFS en tant que hdfs:hadoop.
Exemple : Configuration de l'environnement EMC Isilon OneFS
isi auth users create --name="hdfs"
isi auth users create --name="hbase"
isi auth users create --name="serengeti"
isi auth groups create --name="hadoop"
pw useradd mapred -G wheel
pw useradd yarn -G wheel
chown hdfs:hadoop /ifs
mkdir /ifs/tmp
chmod 777 /ifs/tmp
chown hdfs:hadoop /ifs/tmp
mkdir -p /ifs/hadoop/hbase
chmod -R 775 /ifs/hadoop
chown hdfs:hadoop /ifs/hadoop
chown hbase:hadoop /ifs/hadoop/hbase
Suivant
Vous êtes maintenant prêt à créer le cluster uniquement HBase avec EMC Isilon OneFS en tant que cluster
externe.
Créer un cluster uniquement HBase avec l'interface de ligne de commande
Serengeti
Vous pouvez utiliser l'interface de ligne de commande Serengeti pour créer un cluster uniquement HBase.
Vous devez utiliser le gestionnaire d'applications par défaut, car les autres gestionnaires d'applications ne
prennent pas en charge les clusters uniquement HBase.
Procédure
1
Pour définir les caractéristiques du nouveau cluster, effectuez une copie du fichier de spécification de
cluster suivant :/opt/serengeti/samples/hbase_only_cluster.json
2
Remplacez hdfs://hostname-of-namenode:8020 dans le fichier de spécification par l'URI du nom de
nœud du cluster HDFS externe.
3
Accédez à l'interface de ligne de commande Serengeti.
4
Exécutez la commande cluster create.
cluster create --name clustername --distro distroname
--specfile specfile_location
Le fichier /opt/serengeti/samples/hbase_only_cluster.json est un exemple de fichier de spécification
pour les clusters uniquement HBase. Il contient les rôles zookeeper, hbase_master et
hbase_regionserver, mais pas le rôle hadoop_namenode/hadoop_datanode.
5
Pour vérifier que le cluster a été créé, exécutez la commande cluster list .
cluster list --name name
Lorsque le cluster est créé, le système retourne Cluster clustername créé.
44
VMware, Inc.
Chapitre 5 Création de clusters Hadoop et HBase
Créer un cluster HBase avec protection HA vSphere à l'aide de l'interface de
ligne de commande Serengeti
Vous pouvez créer des clusters HBase avec des rôles maîtres Hadoop NameNode et HBase distincts. Vous
pouvez configurer la protection HA vSphere HA pour les rôles maîtres.
Prérequis
n
Déployez le vApp Serengeti.
n
Assurez-vous d'avoir les ressources adéquates allouées exécuter le cluster Hadoop.
n
Pour utiliser une distribution Hadoop autre que la distribution par défaut, ajoutez une ou plusieurs
distributions Hadoop. Consultez le Guide de l'utilisateur et de l'administrateur VMware vSphere Big Data
Extensions.
Procédure
1
Créez un fichier de spécification de cluster pour définir les caractéristiques du cluster, y compris les
rôles des groupes de nœuds et la protection vSphere HA.
Dans cet exemple, le cluster possède les nœuds JobTracker et TaskTracker, qui vous permettent
d'exécuter les tâches HBase MapReduce. Les rôles maîtres Hadoop NameNode et HBase sont distincts,
et les deux sont protégés par vSphere HA.
{
"nodeGroups" : [
{
"name" : "zookeeper",
"roles" : [
"zookeeper"
],
"instanceNum" : 3,
"instanceType" : "SMALL",
"storage" : {
"type" : "shared",
"sizeGB" : 20
},
"cpuNum" : 1,
"memCapacityMB" : 3748,
"haFlag" : "on",
"configuration" : {
}
},
{
"name" : "hadoopmaster",
"roles" : [
"hadoop_namenode",
"hadoop_jobtracker"
],
"instanceNum" : 1,
"instanceType" : "MEDIUM",
"storage" : {
"type" : "shared",
"sizeGB" : 50
},
"cpuNum" : 2,
"memCapacityMB" : 7500,
VMware, Inc.
45
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
"haFlag" : "on",
"configuration" : {
}
},
{
"name" : "hbasemaster",
"roles" : [
"hbase_master"
],
"instanceNum" : 1,
"instanceType" : "MEDIUM",
"storage" : {
"type" : "shared",
"sizeGB" : 50
},
"cpuNum" : 2,
"memCapacityMB" : 7500,
"haFlag" : "on",
"configuration" : {
}
},
{
"name" : "worker",
"roles" : [
"hadoop_datanode",
"hadoop_tasktracker",
"hbase_regionserver"
],
"instanceNum" : 3,
"instanceType" : "SMALL",
"storage" : {
"type" : "local",
"sizeGB" : 50
},
"cpuNum" : 1,
"memCapacityMB" : 3748,
"haFlag" : "off",
"configuration" : {
}
},
{
"name" : "client",
"roles" : [
"hadoop_client",
"hbase_client"
],
"instanceNum" : 1,
"instanceType" : "SMALL",
"storage" : {
"type" : "shared",
"sizeGB" : 50
},
"cpuNum" : 1,
"memCapacityMB" : 3748,
46
VMware, Inc.
Chapitre 5 Création de clusters Hadoop et HBase
"haFlag" : "off",
"configuration" : {
}
}
],
// we suggest running convert-hadoop-conf.rb to generate "configuration" section and paste
the output here
"configuration" : {
"hadoop": {
"core-site.xml": {
// check for all settings at http://hadoop.apache.org/common/docs/stable/coredefault.html
// note: any value (int, float, boolean, string) must be enclosed in double quotes
and here is a sample:
// "io.file.buffer.size": "4096"
},
"hdfs-site.xml": {
// check for all settings at http://hadoop.apache.org/common/docs/stable/hdfsdefault.html
},
"mapred-site.xml": {
// check for all settings at http://hadoop.apache.org/common/docs/stable/mapreddefault.html
},
"hadoop-env.sh": {
// "HADOOP_HEAPSIZE": "",
// "HADOOP_NAMENODE_OPTS": "",
// "HADOOP_DATANODE_OPTS": "",
// "HADOOP_SECONDARYNAMENODE_OPTS": "",
// "HADOOP_JOBTRACKER_OPTS": "",
// "HADOOP_TASKTRACKER_OPTS": "",
// "HADOOP_CLASSPATH": "",
// "JAVA_HOME": "",
// "PATH": ""
},
"log4j.properties": {
// "hadoop.root.logger": "DEBUG,DRFA",
// "hadoop.security.logger": "DEBUG,DRFA"
},
"fair-scheduler.xml": {
// check for all settings at
http://hadoop.apache.org/docs/stable/fair_scheduler.html
// "text": "the full content of fair-scheduler.xml in one line"
},
"capacity-scheduler.xml": {
// check for all settings at
http://hadoop.apache.org/docs/stable/capacity_scheduler.html
},
"mapred-queue-acls.xml": {
// check for all settings at
http://hadoop.apache.org/docs/stable/cluster_setup.html#Configuring+the+Hadoop+Daemons
// "mapred.queue.queue-name.acl-submit-job": "",
// "mapred.queue.queue-name.acl-administer-jobs", ""
}
},
VMware, Inc.
47
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
"hbase": {
"hbase-site.xml": {
// check for all settings at http://hbase.apache.org/configuration.html#hbase.site
},
"hbase-env.sh": {
// "JAVA_HOME": "",
// "PATH": "",
// "HBASE_CLASSPATH": "",
// "HBASE_HEAPSIZE": "",
// "HBASE_OPTS": "",
// "HBASE_USE_GC_LOGFILE": "",
// "HBASE_JMX_BASE": "",
// "HBASE_MASTER_OPTS": "",
// "HBASE_REGIONSERVER_OPTS": "",
// "HBASE_THRIFT_OPTS": "",
// "HBASE_ZOOKEEPER_OPTS": "",
// "HBASE_REGIONSERVERS": "",
// "HBASE_SSH_OPTS": "",
// "HBASE_NICENESS": "",
// "HBASE_SLAVE_SLEEP": ""
},
"log4j.properties": {
// "hbase.root.logger": "DEBUG,DRFA"
}
},
"zookeeper": {
"java.env": {
// "JVMFLAGS": "-Xmx2g"
},
"log4j.properties": {
// "zookeeper.root.logger": "DEBUG,DRFA"
}
}
}
}
2
Accédez à l'interface de ligne de commande Serengeti.
3
Exécutez la commande cluster create et spécifiez le fichier de spécification de cluster.
cluster create --name cluster_name --specFile full_path/spec_filename
Créer un cluster du travailleur uniquement HBase avec un cluster HA HDFS
namenode externe
Vous pouvez créer un cluster du travailleur uniquement HBase avec deux namenodes dans une
configuration HA active-passive. Le namenode HA fournit un namenode de serveur de secours qui, en cas
de défaillance, peut exécuter le rôle du namenode actif sans interruption.
n
Les clusters du travailleur uniquement ne sont pas pris en charge sur les gestionnaires d'applications
Ambari et Cloudera Manager.
n
Les clusters du travailleur uniquement MapReduce v1 et les clusters uniquement HBase créés à l'aide
de la distribution MapR ne sont pas pris en charge.
Prérequis
n
48
Déployez le vApp Serengeti.
VMware, Inc.
Chapitre 5 Création de clusters Hadoop et HBase
n
Assurez-vous d'avoir les ressources adéquates allouées exécuter le cluster Hadoop.
n
Pour utiliser une distribution Hadoop autre que la distribution par défaut, ajoutez une ou plusieurs
distributions Hadoop. Consultez le Guide de l'utilisateur et de l'administrateur VMware vSphere Big Data
Extensions.
Procédure
1
Pour définir les caractéristiques du nouveau cluster, effectuez une copie du fichier de spécification de
cluster suivant :/opt/serengeti/samples/hbase_only_cluster.json
2
Remplacez hdfs://hostname-of-namenode:8020 dans le fichier de spécification par l'URI du namenode du
cluster HA HDFS namenode externe. L'URI du namenode est la valeur du paramètre fs.defaultFS du
core-site.xml du cluster externe.
3
Modifiez la section de configuration du fichier de spécification de cluster uniquement HBase comme
illustré dans l'exemple suivant. Toutes les valeurs sont disponibles dans le hdfs-site.xml du cluster
externe.
"configuration" : {
"hadoop": {
"hdfs-site.xml": {
"dfs.nameservices": "dataMaster",
"dfs.ha.namenodes.dataMaster": "namenode0,namenode1",
"dfs.client.failover.proxy.provider.dataMaster":
"org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider",
"dfs.namenode.rpc-address.dataMaster.namenode0": "10.555.xx.xxx:xxx1",
"dfs.namenode.http-address.dataMaster.namenode0": "10.555.xx.xxx:xxx2",
"dfs.namenode.rpc-address.dataMaster.namenode1": "10.555.xx.xxx:xxx3",
"dfs.namenode.http-address.dataMaster.namenode1": "10.555.xx.xxx:xxx4"
}
}
}
À propos des clusters MapReduce
MapReduce est une infrastructure qui permet de traiter les problèmes en parallèle à travers des jeux de
données volumineux. L'infrastructure MapReduce distribue à chaque nœud du réseau un certain nombre
d'opérations sur le jeu de données.
Créer un cluster MapReduce v2 (YARN) avec l'interface de ligne de commande
Serengeti
Vous pouvez créer des clusters MapReduce v2 (YARN) si vous voulez créer un cluster qui sépare les
composants de traitement et de gestion des ressources.
Pour créer un cluster MapReduce v2 (YARN), créez un fichier de spécification de cluster inspiré du
fichier /opt/serengeti/samples/default_hadoop_yarn_cluster.json, puis spécifiez le paramètre --specFile
et votre fichier de spécification de cluster dans la commande cluster create ....
Prérequis
n
Déployez le vApp Serengeti.
n
Assurez-vous d'avoir les ressources adéquates allouées exécuter le cluster Hadoop.
n
Pour utiliser une distribution Hadoop autre que la distribution par défaut, ajoutez une ou plusieurs
distributions Hadoop. Consultez le Guide de l'utilisateur et de l'administrateur VMware vSphere Big Data
Extensions.
VMware, Inc.
49
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
Procédure
1
Accédez à l'interface de ligne de commande Serengeti.
2
Exécutez la commande cluster create ....
Cet exemple crée un cluster MapReduce v2 personnalisé à l'aide de la distribution CDH4 selon
l'exemple de fichier de spécification de cluster default_hadoop_yarn_cluster.json.
cluster create --name cluster_name --distro cdh4 --specFile
/opt/serengeti/samples/default_hadoop_yarn_cluster.json
Créer un cluster du travailleur uniquement MapReduce v1 avec un cluster HA
HDFS namenode externe
Vous pouvez créer un cluster du travailleur uniquement MapReduce v1 avec deux namenodes dans une
configuration HA active-passive. Le namenode HA fournit un namenode de serveur de secours qui, en cas
de défaillance, peut exécuter le rôle du namenode actif sans interruption.
Les restrictions suivantes s'appliquent à cette tâche :
n
Les clusters du travailleur uniquement ne sont pas pris en charge sur les gestionnaires d'applications
Ambari et Cloudera Manager.
n
Vous ne pouvez pas utiliser la distribution MapR pour créer des clusters du travailleur uniquement
MapReduce v1 et des clusters uniquement HBase.
Prérequis
n
Démarrez le vApp Big Data Extensions.
n
Assurez-vous d'avoir les ressources adéquates allouées exécuter le cluster Hadoop.
n
Assurez-vous que vous avez un cluster HA HDFS namenode externe.
n
Pour utiliser une distribution Hadoop autre que la distribution par défaut, ajoutez une ou plusieurs
distributions Hadoop. Consultez le Guide de l'utilisateur et de l'administrateur VMware vSphere Big Data
Extensions.
Procédure
1
Pour définir les caractéristiques du nouveau cluster, ouvrez le fichier de spécification de cluster suivant
à modifier : /opt/serengeti/samples/compute_workers_only_mr1.json
2
Remplacez hdfs://hostname-of-namenode:8020 dans le fichier de spécification par l'URI du namenode du
cluster HA HDFS namenode externe. L'URI du namenode est la valeur du paramètre fs.defaultFS du
core-site.xml du cluster externe.
3
Remplacez le hostname-of-jobtracker du fichier de spécification par le FQDN ou l'adresse IP du
JobTracker du cluster externe.
4
Modifiez la section de configuration du fichier de spécification de cluster du travailleur MapReduce
comme illustré dans l'exemple suivant. Toutes les valeurs sont disponibles dans le hdfs-site.xml du
cluster externe.
{
"externalHDFS": "hdfs://dataMaster",
"externalMapReduce": "xx.xxx.xxx.xxx:8021",
"nodeGroups":[
{
"name": "worker",
"roles": [
"hadoop_tasktracker"
],
50
VMware, Inc.
Chapitre 5 Création de clusters Hadoop et HBase
"instanceNum": 3,
"cpuNum": 2,
"memCapacityMB": 7500,
"storage": {
"type": "LOCAL",
"sizeGB": 20
}
}
],
"configuration" : {
"hadoop": {
"hdfs-site.xml": {
"dfs.nameservices": "dataMaster",
"dfs.ha.namenodes.dataMaster": "namenode0,namenode1",
"dfs.client.failover.proxy.provider.dataMaster":
"org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider",
"dfs.namenode.rpc-address.dataMaster.namenode0": "10.111.xx.xxx:xxx2",
"dfs.namenode.http-address.dataMaster.namenode0": "10.111.xx.xxx:xxx3",
"dfs.namenode.rpc-address.dataMaster.namenode1": "10.111.xx.xxx:xxx4",
"dfs.namenode.http-address.dataMaster.namenode1": "10.111.xx.xxx:xxx5"
}
}
}
}
Créer un cluster du travailleur uniquement MapReduce v2 avec un cluster HA
HDFS namenode externe
Vous pouvez créer un cluster du travailleur uniquement MapReduce v2 (Yarn) avec deux namenodes dans
une configuration HA active-passive. Le namenode HA fournit un namenode de serveur de secours qui, en
cas de défaillance, peut exécuter le rôle du namenode actif sans interruption.
Les restrictions suivantes s'appliquent à cette tâche :
n
Les clusters du travailleur uniquement ne sont pas pris en charge sur les gestionnaires d'applications
Ambari et Cloudera Manager.
n
Vous ne pouvez pas utiliser une distribution MapR pour déployer des clusters du travailleur
uniquement MapReduce v1 et des clusters uniquement HBase.
Prérequis
n
Démarrez le vApp Big Data Extensions.
n
Assurez-vous que vous avez un cluster HA HDFS namenode externe.
n
Assurez-vous d'avoir les ressources adéquates allouées exécuter le cluster Hadoop.
n
Pour utiliser une distribution Hadoop autre que la distribution par défaut, ajoutez une ou plusieurs
distributions Hadoop. Consultez le Guide de l'utilisateur et de l'administrateur VMware vSphere Big Data
Extensions.
Procédure
1
Pour définir les caractéristiques du nouveau cluster, ouvrez le fichier de spécification de cluster suivant
à modifier : /opt/serengeti/samples/compute_workers_only_yarn.json
2
Remplacez hdfs://hostname-of-namenode:8020 dans le fichier de spécification par l'URI du namenode du
cluster HA HDFS namenode externe. L'URI du namenode est la valeur du paramètre fs.defaultFS du
core-site.xml du cluster externe.
VMware, Inc.
51
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
3
Remplacez le hostname-of-resourcemanager du fichier de spécification par le FQDN ou l'adresse IP du
ResourceManager du cluster externe.
4
Modifiez la section de configuration du fichier de spécification de cluster du travailleur uniquement
Yarn comme illustré dans l'exemple suivant. Toutes les valeurs sont disponibles dans le hdfs-site.xml
du cluster externe.
{
"externalHDFS": "hdfs://dataMaster",
"externalMapReduce": "xx.xxx.xxx.xxx:8021",
"nodeGroups":[
{
"name": "worker",
"roles": [
"hadoop_nodemanager"
],
"instanceNum": 3,
"cpuNum": 2,
"memCapacityMB": 7500,
"storage": {
"type": "LOCAL",
"sizeGB": 20
}
}
],
"configuration" : {
"hadoop": {
"hdfs-site.xml": {
"dfs.nameservices": "dataMaster",
"dfs.ha.namenodes.dataMaster": "namenode0,namenode1",
"dfs.client.failover.proxy.provider.dataMaster":
"org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider",
"dfs.namenode.rpc-address.dataMaster.namenode0": "10.555.xx.xxx:xxx1",
"dfs.namenode.http-address.dataMaster.namenode0": "10.555.xx.xxx:xxx2",
"dfs.namenode.rpc-address.dataMaster.namenode1": "10.555.xx.xxx:xxx3",
"dfs.namenode.http-address.dataMaster.namenode1": "10.555.xx.xxx:xxx4"
}
}
}
}
À propos des clusters de calcul de données
Vous pouvez séparer les nœuds de données et de calcul d'un cluster Hadoop. Vous pouvez aussi contrôler
la façon dont les nœuds sont placés sur les hôtes vSphere ESXi de votre environnement.
Vous pouvez créer un cluster de calcul uniquement pour exécuter les tâches MapReduce. Les clusters de
calcul uniquement n'exécutent que les services MapReduce qui lisent les données à partir de clusters HDFS
externes et qui n'ont pas besoin de stocker les données.
Les gestionnaires d'applications Ambari et Cloudera Manager ne prennent en charge ni la séparation
calcul/données, ni les clusters de calcul uniquement.
52
VMware, Inc.
Chapitre 5 Création de clusters Hadoop et HBase
Créer un cluster distinct données-calcul avec prise en charge de la topologie et
contraintes de placement
Vous pouvez créer un cluster avec des nœuds de données et de calcul distincts, et définir les contraintes de
topologie et de stratégie de placement afin de répartir les nœuds entre les racks physiques et les machines
virtuelles.
AVERTISSEMENT Lorsque vous créez un cluster avec Big Data Extensions, Big Data Extensions désactive la
migration automatique des machines virtuelles du cluster. Cela empêche la migration des machines
virtuelles par vSphere, mais ne vous empêche pas de déplacer accidentellement les nœuds du cluster vers
d'autres hôtes avec l'interface utilisateur de vCenter Server. N'utilisez pas l'interface utilisateur de vCenter
Server pour migrer des clusters. L'utilisation de ces fonctions de gestion en dehors de l'environnement Big
Data Extensions peut enfreindre la stratégie de placement du cluster, notamment le nombre d'instances par
hôte et les associations de groupe. Même si vous ne spécifiez aucune stratégie de placement, l'utilisation de
vCenter Server pour migrer des clusters peut transgresser les contraintes de la stratégie de placement
ROUNDROBIN par défaut.
Prérequis
n
Démarrez le vApp Serengeti.
n
Assurez-vous d'avoir les ressources adéquates allouées exécuter le cluster Hadoop.
n
Pour utiliser une distribution Hadoop autre que la distribution par défaut, ajoutez une ou plusieurs
distributions Hadoop. Consultez le Guide de l'utilisateur et de l'administrateur VMware vSphere Big Data
Extensions.
n
Créez un fichier d'informations de mappage rack/hôte.
n
Téléchargez le fichier rack/hôte sur le serveur Serengeti avec la commande topology upload.
Procédure
1
Créez un fichier de spécification de cluster pour définir les caractéristiques du cluster, y compris les
groupes de nœuds, la topologie et les contraintes de stratégie de placement.
REMARQUE Pour créer un cluster Apache Bigtop, Cloudera CDH4 et CDH5, Hortonworks HDP 2.x ou
Pivotal PHD 1.1 ou version ultérieure, vous devez configurer un DNS et un FQDN valides pour le trafic
réseau HDFS et MapReduce du cluster. Si le serveur DNS ne peut pas assurer la résolution FQDN/IP
dans un sens et dans l'autre, le processus de création du cluster risque d'échouer ou le cluster est créé
mais il ne fonctionne pas.
Dans cet exemple, le cluster a des contraintes groupAssociations et instancePerHost pour le groupe de
nœuds de calcul et une contrainte groupRacks pour le groupe de nœuds de données.
Quatre nœuds de données et huit nœuds de calcul sont placés sur les quatre mêmes hôtes ESXi, qui
sont équitablement sélectionnés depuis rack1, rack2 et rack3. Chaque hôte ESXi possède un nœud de
données et deux nœuds de calcul. Comme défini pour le groupe de nœuds de calcul, les nœuds de
calcul sont placés uniquement sur les hôtes ESXi ayant des nœuds de données.
Cette définition de cluster nécessite que vous configuriez les banques de données et les pools de
ressources pour au moins quatre hôtes, et qu'il existe un espace disque suffisant pour que Serengeti
exécute les placements nécessaires pendant le déploiement.
{
"nodeGroups":[
{
"name": "master",
"roles": [
VMware, Inc.
53
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
"hadoop_namenode",
"hadoop_jobtracker"
],
"instanceNum": 1,
"cpuNum": 2,
"memCapacityMB": 7500,
},
{
"name": "data",
"roles": [
"hadoop_datanode"
],
"instanceNum": 4,
"cpuNum": 1,
"memCapacityMB": 3748,
"storage": {
"type": "LOCAL",
"sizeGB": 50
},
"placementPolicies": {
"instancePerHost": 1,
"groupRacks": {
"type": "ROUNDROBIN",
"racks": ["rack1", "rack2", "rack3"]
},
}
},
{
"name": "compute",
"roles": [
"hadoop_tasktracker"
],
"instanceNum": 8,
"cpuNum": 2,
"memCapacityMB": 7500,
"storage": {
"type": "LOCAL",
"sizeGB": 20
},
"placementPolicies": {
"instancePerHost": 2,
"groupAssociations": [
{
"reference": "data",
"type": "STRICT"
}
}
},
{
"name": "client",
"roles": [
"hadoop_client",
"hive",
"pig"
],
54
VMware, Inc.
Chapitre 5 Création de clusters Hadoop et HBase
"instanceNum": 1,
"cpuNum": 1,
"storage": {
"type": "LOCAL",
"sizeGB": 50
}
}
],
"configuration": {
}
}
2
Accédez à l'interface de ligne de commande Serengeti.
3
Exécutez la commande cluster create et spécifiez le fichier de spécification de cluster.
cluster create --name cluster_name --specFile full_path/spec_filename
Créer un cluster distinct données-calcul sans contraintes de stratégie de
placement
Vous pouvez créer un cluster avec des nœuds données et calcul distincts sans contraintes de placement de
nœud.
Prérequis
n
Déployez le vApp Serengeti.
n
Assurez-vous d'avoir les ressources adéquates allouées exécuter le cluster Hadoop.
n
Pour utiliser une distribution Hadoop autre que la distribution par défaut, ajoutez une ou plusieurs
distributions Hadoop. Consultez le Guide de l'utilisateur et de l'administrateur VMware vSphere Big Data
Extensions.
Procédure
1
Créez un fichier de spécification de cluster pour définir les caractéristiques du cluster.
REMARQUE Pour créer un cluster Apache Bigtop, Cloudera CDH4 et CDH5, Hortonworks HDP 2.x ou
Pivotal PHD 1.1 ou version ultérieure, vous devez configurer un DNS et un FQDN valides pour le trafic
réseau HDFS et MapReduce du cluster. Si le serveur DNS ne peut pas assurer la résolution FQDN/IP
dans un sens et dans l'autre, le processus de création du cluster risque d'échouer ou le cluster est créé
mais il ne fonctionne pas.
Dans cet exemple, le cluster possède des nœuds données et calcul distincts, sans contraintes de stratégie
de placement. Quatre nœuds de données et huit nœuds de calcul sont créés et placés sur des machines
virtuelles individuelles. Le nombre de nœuds est configuré par l'attribut instanceNum.
{
"nodeGroups":[
{
"name": "master",
"roles": [
"hadoop_namenode",
"hadoop_jobtracker"
],
"instanceNum": 1,
"cpuNum": 2,
"memCapacityMB": 7500,
},
VMware, Inc.
55
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
{
"name": "data",
"roles": [
"hadoop_datanode"
],
"instanceNum": 4,
"cpuNum": 1,
"memCapacityMB": 3748,
"storage": {
"type": "LOCAL",
"sizeGB": 50
}
},
{
"name": "compute",
"roles": [
"hadoop_tasktracker"
],
"instanceNum": 8,
"cpuNum": 2,
"memCapacityMB": 7500,
"storage": {
"type": "LOCAL",
"sizeGB": 20
}
},
{
"name": "client",
"roles": [
"hadoop_client",
"hive",
"pig"
],
"instanceNum": 1,
"cpuNum": 1,
"storage": {
"type": "LOCAL",
"sizeGB": 50
}
}
],
"configuration": {
}
}
2
Accédez à l'interface de ligne de commande Serengeti.
3
Exécutez la commande cluster create et spécifiez le fichier de spécification de cluster.
cluster create --name cluster_name --specFile full_path/spec_filename
56
VMware, Inc.
Chapitre 5 Création de clusters Hadoop et HBase
Créer un cluster distinct données-calcul avec contraintes de stratégie de
placement
Vous pouvez créer un cluster avec des nœuds de données et de calcul distincts, et définir les contraintes de
stratégie de placement afin de répartir les nœuds entre les machines virtuelles à votre guise.
AVERTISSEMENT Lorsque vous créez un cluster avec Big Data Extensions, Big Data Extensions désactive la
migration automatique des machines virtuelles du cluster. Cela empêche la migration des machines
virtuelles par vSphere, mais ne vous empêche pas de déplacer accidentellement les nœuds du cluster vers
d'autres hôtes avec l'interface utilisateur de vCenter Server. N'utilisez pas l'interface utilisateur de vCenter
Server pour migrer des clusters. L'utilisation de ces fonctions de gestion en dehors de l'environnement Big
Data Extensions peut enfreindre la stratégie de placement du cluster, notamment le nombre d'instances par
hôte et les associations de groupe. Même si vous ne spécifiez aucune stratégie de placement, l'utilisation de
vCenter Server pour migrer des clusters peut transgresser les contraintes de la stratégie de placement
ROUNDROBIN par défaut.
Prérequis
n
Déployez le vApp Serengeti.
n
Assurez-vous d'avoir les ressources adéquates allouées exécuter le cluster Hadoop.
n
Pour utiliser une distribution Hadoop autre que la distribution par défaut, ajoutez une ou plusieurs
distributions Hadoop. Consultez le Guide de l'utilisateur et de l'administrateur VMware vSphere Big Data
Extensions.
Procédure
1
Créez un fichier de spécification de cluster pour définir les caractéristiques du cluster, y compris les
groupes de nœuds et les contraintes de stratégie de placement.
REMARQUE Pour créer un cluster Apache Bigtop, Cloudera CDH4 et CDH5, Hortonworks HDP 2.x ou
Pivotal PHD 1.1 ou version ultérieure, vous devez configurer un DNS et un FQDN valides pour le trafic
réseau HDFS et MapReduce du cluster. Si le serveur DNS ne peut pas assurer la résolution FQDN/IP
dans un sens et dans l'autre, le processus de création du cluster risque d'échouer ou le cluster est créé
mais il ne fonctionne pas.
Dans cet exemple, le cluster possède des nœuds données et calcul distincts, et chaque groupe de nœuds
a une contrainte placementPolicy. Après un provisionnement réussi, quatre nœuds de données et huit
nœuds de calcul sont créés et placés sur des machines virtuelles individuelles. Avec la contrainte
instancePerHost=1, les quatre nœuds de données sont placés sur quatre hôtes ESXi. Les huit nœuds de
calcul sont placé sur quatre hôtes ESXi : deux nœuds sur chaque hôte ESXi.
Cette spécification de cluster nécessite que vous configuriez les banques de données et les pools de
ressources pour au moins quatre hôtes, et qu'il existe un espace disque suffisant pour que Serengeti
exécute les placements nécessaires pendant le déploiement.
{
"nodeGroups":[
{
"name": "master",
"roles": [
"hadoop_namenode",
"hadoop_jobtracker"
],
"instanceNum": 1,
"cpuNum": 2,
"memCapacityMB": 7500,
VMware, Inc.
57
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
},
{
"name": "data",
"roles": [
"hadoop_datanode"
],
"instanceNum": 4,
"cpuNum": 1,
"memCapacityMB": 3748,
"storage": {
"type": "LOCAL",
"sizeGB": 50
},
"placementPolicies": {
"instancePerHost": 1
}
},
{
"name": "compute",
"roles": [
"hadoop_tasktracker"
],
"instanceNum": 8,
"cpuNum": 2,
"memCapacityMB": 7500,
"storage": {
"type": "LOCAL",
"sizeGB": 20
},
"placementPolicies": {
"instancePerHost": 2
}
},
{
"name": "client",
"roles": [
"hadoop_client",
"hive",
"pig"
],
"instanceNum": 1,
"cpuNum": 1,
"storage": {
"type": "LOCAL",
"sizeGB": 50
}
}
],
"configuration": {
}
}
2
Accédez à l'interface de ligne de commande Serengeti.
3
Exécutez la commande cluster create et spécifiez le fichier de spécification de cluster.
cluster create --name cluster_name --specFile full_path/spec_filename
58
VMware, Inc.
Chapitre 5 Création de clusters Hadoop et HBase
Créer un cluster de calcul uniquement avec le gestionnaire d'applications par
défaut
Vous pouvez créer des clusters de calcul uniquement exécuter les tâches MapReduce sur les clusters HDFS
existants, y compris les solutions de stockage faisant office de HDFS externe.
REMARQUE Pour créer un cluster Apache Bigtop, Cloudera CDH4 et CDH5, Hortonworks HDP 2.x ou
Pivotal PHD 1.1 ou version ultérieure, vous devez configurer un DNS et un FQDN valides pour le trafic
réseau HDFS et MapReduce du cluster. Si le serveur DNS ne peut pas assurer la résolution FQDN/IP dans
un sens et dans l'autre, le processus de création du cluster risque d'échouer ou le cluster est créé mais il ne
fonctionne pas.
Prérequis
n
Déployez le vApp Serengeti.
n
Assurez-vous d'avoir les ressources adéquates allouées exécuter le cluster Hadoop.
n
Pour utiliser une distribution Hadoop autre que la distribution par défaut, ajoutez une ou plusieurs
distributions Hadoop. Consultez le Guide de l'utilisateur et de l'administrateur VMware vSphere Big Data
Extensions.
Procédure
1
Créez un fichier de spécification de cluster inspiré de l'exemple de fichier de spécification de cluster
Serengeti compute_only_cluster.json disponible dans le répertoire Serengeti cli/samples.
2
Ajoutez le contenu suivant à un nouveau fichier de spécification de cluster.
Dans cet exemple, le fichier externalHDFS pointe vers un HDFS. Attribuez le rôle hadoop_jobtracker au
groupe de nœuds master et le rôle hadoop_tasktracker au groupe de nœuds worker.
Le champ externalHDFS est en conflit avec les groupes de nœuds ayant les rôles hadoop_namenode et
hadoop_datanode. Ce conflit peut entraîner l'échec de la création du cluster ou, si la création réussit, il se
peut que le cluster ne fonctionne pas correctement. Pour éviter ce problème, définissez uniquement un
seul HDFS.
{
"externalHDFS": "hdfs://hostname-of-namenode:8020",
"nodeGroups": [
{
"name": "master",
"roles": [
"hadoop_jobtracker"
],
"instanceNum": 1,
"cpuNum": 2,
"memCapacityMB": 7500,
},
{
"name": "worker",
"roles": [
"hadoop_tasktracker",
],
"instanceNum": 4,
"cpuNum": 2,
"memCapacityMB": 7500,
"storage": {
VMware, Inc.
59
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
"type": "LOCAL",
"sizeGB": 20
},
},
{
"name": "client",
"roles": [
"hadoop_client",
"hive",
"pig"
],
"instanceNum": 1,
"cpuNum": 1,
"storage": {
"type": "LOCAL",
"sizeGB": 50
},
}
],
“configuration” : {
}
}
3
Accédez à l'interface de ligne de commande Serengeti.
4
Exécutez la commande cluster create et incluez le paramètre du fichier de spécification de cluster et le
nom de fichier associé.
cluster create --name cluster_name --distro distro_name --specFile path/spec_file_name
Créer un cluster de calcul uniquement avec le gestionnaire d'applications
Cloudera Manager
Vous pouvez créer des clusters de calcul uniquement exécuter les tâches MapReduce sur les clusters HDFS
existants, y compris les solutions de stockage faisant office de HDFS externe.
Vous pouvez utiliser un gestionnaire d'applications Cloudera Manager avec un système HDFS externe.
Si vous utilisez EMC Isilon OneFS pour prendre en charge un cluster HDFS externe afin de l'utiliser avec un
cluster uniquement HBase, vous devez créer et configurer des utilisateurs et des groupes d'utilisateurs, et
préparer votre environnement Isilon OneFS. Reportez-vous à « Préparer EMC Isilon OneFS en tant que
cluster HDFS externe », page 43
Prérequis
n
Déployez le vApp Serengeti.
n
Assurez-vous d'avoir les ressources adéquates allouées exécuter le cluster Hadoop.
n
Pour utiliser une distribution Hadoop autre que la distribution par défaut, ajoutez une ou plusieurs
distributions Hadoop. Consultez le Guide de l'utilisateur et de l'administrateur VMware vSphere Big Data
Extensions.
Procédure
1
60
Créez un fichier de spécification de cluster inspiré de l'exemple de fichier de spécification de cluster
yarn_compute_only_cluster.json disponible dans le répertoire /opt/serengeti/samples/clouderamanager/ du serveur Serengeti.
VMware, Inc.
Chapitre 5 Création de clusters Hadoop et HBase
2
Ajoutez le code suivant à votre nouveau fichier de spécification de cluster.
Dans ce fichier de spécification de cluster, le champ default_fs_name pointe vers un URI HDFS
Namenode et le champ webhdfs_url pointe vers une URL Web HDFS.
{
"nodeGroups": [
{
"name": "master",
"roles": [
"YARN_RESOURCE_MANAGER",
"YARN_JOB_HISTORY"
],
"instanceNum": 1,
"cpuNum": 2,
"memCapacityMB": 7500,
"storage": {
"type": "SHARED",
"sizeGB": 50
},
"haFlag": "on",
"configuration": {
}
},
{
"name": "worker",
"roles": [
"YARN_NODE_MANAGER",
"GATEWAY"
],
"instanceNum": 3,
"cpuNum": 2,
"memCapacityMB": 7500,
"storage": {
"type": "LOCAL",
"sizeGB": 50
},
"haFlag": "off",
"configuration": {
}
}
],
"configuration": {
"ISILON": {
// service level configurations
// check for all settings by running "appmanager list --name <name> --configurations"
"default_fs_name": "hdfs://FQDN:8020",
"webhdfs_url": "hdfs://FQDN:8020/webhdfs/v1"
},
"YARN": {
// service level configurations
},
"YARN_RESOURCE_MANAGER": {
},
"YARN_NODE_MANAGER": {
VMware, Inc.
61
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
"yarn_nodemanager_local_dirs": "/yarn/nm"
}
}
}
3
Accédez à l'Serengeti CLI.
4
Exécutez la commande cluster create et incluez le paramètre du fichier de spécification de cluster et le
nom de fichier associé.
cluster create --name computeOnlyCluster_name -- appManager appManager_name
--distro distro_name --specFile path/spec_file_name
Créer un cluster de calcul uniquement avec Ambari Application Manager et
Isilon
Vous pouvez créer un cluster de calcul uniquement avec le gestionnaire d'applications Ambari à l'aide de
Isilon OneFS. Pour créer un cluster de calcul uniquement à l'aide de Isilon OneFS, vous devez activer
Isilon SmartConnect (équilibrage de la charge réseau).
Pour utiliser EMC Isilon OneFS comme cluster HDFS externe du cluster HBase uniquement, vous devez
créer et configurer des utilisateurs et des groupes d'utilisateurs et préparer votre environnement
Isilon OneFS. Reportez-vous à « Préparer EMC Isilon OneFS en tant que cluster HDFS externe », page 43
Prérequis
n
Déployez le vApp Serengeti.
n
Assurez-vous d'avoir les ressources adéquates allouées exécuter le cluster Hadoop.
n
Pour utiliser une distribution Hadoop autre que la distribution Apache Bigtop par défaut, ajoutez une
ou plusieurs distributions de fournisseurs à votre environnementBig Data Extensions. Consultez le
Guide de l'utilisateur et de l'administrateur VMware vSphere Big Data Extensions.
n
Vérifiez que la distribution Hadoop que vous souhaitez utiliser est compatible avec Isilon OneFS.
Rendez-vous sur le site Internet EMC et consultez la section Distributions Hadoop prises en charge
dans OneFS.
Procédure
1
Créez un fichier de spécification de cluster modélisé sur l'un des fichiers exemples de spécification de
cluster suivants : hdp_v2_1_yarn_compute_only_cluster.json ou
hdp_v2_2_yarn_compute_only_cluster.json. Vous trouverez ces fichiers exemples dans le
répertoire /opt/serengeti/samples/ambari/ du serveur Serengeti.
2
Activez Isilon SmartConnect.
isi networks modify subnet --sc-service-addr=SmartConnect_IP --name=subnet_name
isi networks modify pool --name=subnet_name:pool_name --sc-subnet=subnet_name -zone=zone_name
3
Spécifiez le serveur Ambari et nommez le nœud FQDN dans votre environnement Islion.
isi zone zones modify System --hdfs-ambari-namenode=smart_connect_FQDN
isi zone zones modify System --hdfs-ambari-server=ambari_server_FQDN
62
4
Modifiez le fichier de spécification du
cluster, /opt/serengeti/samples/ambari/hdp_v2_*_yarn_compute_only_cluster.json et définissez
externalNamenode sur Isilon SmartConnect FQDN. Si l'attribut externalSecondaryNamenode du fichier de
spécification du cluster est défini sur la même valeur que externalNamenode, supprimez l'entrée pour
externalSecondaryNamenode.
5
Accédez à l'Serengeti CLI.
VMware, Inc.
Chapitre 5 Création de clusters Hadoop et HBase
6
Exécutez la commande cluster create et incluez le paramètre du fichier de spécification de cluster et le
nom de fichier associé.
cluster create --name computeOnlyCluster_name -- appManager appManager_name
--distro distro_name --specFile path/spec_file_name
Suivant
Vérifiez que votre cluster géré de calcul uniquement Ambari est créé correctement, avec la configuration
nécessaire pour votre environnement et votre utilisation.
Créer un cluster de calcul du travailleur uniquement avec un cluster HDFS HA
sans Namenode
Si vous avez déjà un cluster Hadoop physique et que vous voulez effectuer des opérations nécessitant plus
de CPU ou de mémoire, vous pouvez augmenter la capacité de calcul en provisionnant un cluster du
travailleur uniquement. Le cluster du travailleur uniquement fait partie du cluster Hadoop physique et peut
être augmenté de façon élastique.
Avec les clusters de calcul du travailleur uniquement, vous pouvez « passer d'un seul coup en mode
virtuel ». Il s'agit d'une opération temporaire qui implique l'emprunt de ressources lorsque vous en avez
besoin, et leur restitution lorsque vous n'en avez plus besoin. Avec « passer d'un seul coup en mode
virtuel », vous faites tourner les nœuds de calcul du travailleur uniquement et vous les ajoutez à un cluster
physique existant ou à un cluster Hadoop virtuel.
Restrictions.
n
Les clusters du travailleur uniquement ne sont pas pris en charge sur les
gestionnaires d'applications Ambari et Cloudera Manager.
n
Ces options ne sont pas prises en charge sur les clusters de calcul du
travailleur uniquement.
n
--appmanager appmanager_name
n
--type cluster_type
n
--hdfsNetworkName hdfs_network_name
n
--mapredNetworkName mapred_network_name
Prérequis
n
Démarrez le vApp Big Data Extensions.
n
Vérifiez que vous avez un cluster Hadoop existant.
n
Vérifiez que vous avez les adresses IP des nœuds NameNode et ResourceManager.
n
Assurez-vous d'avoir les ressources adéquates allouées exécuter le cluster Hadoop.
n
Pour utiliser une distribution Hadoop autre que la distribution par défaut, ajoutez une ou plusieurs
distributions Hadoop. Consultez le Guide de l'utilisateur et de l'administrateur VMware vSphere Big Data
Extensions.
Procédure
1
Pour définir les caractéristiques du nouveau cluster, effectuez une copie du fichier de spécification de
cluster suivant :/opt/serengeti/samples/compute_workers_only_mr1.json
2
Remplacez hdfs://hostname-of-namenode:8020 dans le fichier de spécification par l'URI du nom de nœud
du cluster HDFS externe.
3
Remplacez le hostname-of-jobtracker du fichier de spécification par le FQDN ou l'adresse IP du
JobTracker du cluster externe.
VMware, Inc.
63
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
4
Modifiez la section de configuration du fichier de spécification du cluster MapReduce du travailleur
uniquement. Toutes les valeurs sont disponibles dans le hdfs-site.xml du cluster externe.
À propos des clusters personnalisés
Vous pouvez utiliser un fichier de spécification de cluster existant pour créer des clusters à l'aide de la
même configuration que celle des clusters précédemment créés. Vous pouvez aussi modifier le fichier de
spécification de cluster pour personnaliser la configuration du cluster.
Créer un cluster Hadoop Serengeti par défaut avec l'interface de ligne de
commande Serengeti
Vous pouvez créer autant de clusters que vous le voulez dans votre environnement Serengeti, mais votre
environnement doit satisfaire toutes les conditions préalables.
Prérequis
n
Déployez le vApp Serengeti.
n
Assurez-vous d'avoir les ressources adéquates allouées exécuter le cluster Hadoop.
n
Pour utiliser une distribution Hadoop autre que la distribution par défaut, ajoutez une ou plusieurs
distributions Hadoop. Consultez le Guide de l'utilisateur et de l'administrateur VMware vSphere Big Data
Extensions.
Procédure
1
Accédez à l'Serengeti CLI.
2
Déployez un cluster Hadoop Serengeti par défaut sur vSphere.
n
Déployez le vApp Serengeti.
n
Assurez-vous d'avoir les ressources adéquates allouées exécuter le cluster Hadoop.
n
Pour utiliser une distribution Hadoop autre que la distribution Apache Bigtop fournie, ajoutez une
ou plusieurs distributions Hadoop. Consultez le Guide de l'utilisateur et de l'administrateur VMware
vSphere Big Data Extensions.
cluster create --name cluster_name
Les seuls caractères valides dans les noms de clusters sont les caractères alphanumériques et les traits
de soulignement. Quand vous choisissez le nom de cluster, tenez également compte du nom de vApp
applicable. Ensemble, les noms de vApp et du cluster doivent comprendre moins de 80 caractères.
Pendant le processus de déploiement, les mises à jour en progression en temps réel apparaissent sur la ligne
de commande.
Suivant
Lorsque le déploiement est terminé, vous pouvez exécuter les commandes Hadoop et afficher les adresses IP
des machines virtuelles des nœuds Hadoop à partir de l'Serengeti CLI.
64
VMware, Inc.
Chapitre 5 Création de clusters Hadoop et HBase
Créer un cluster de base avec l'interface de ligne de commande Serengeti
Vous pouvez créer un cluster de base dans votre environnement Serengeti. Un cluster de base est un groupe
de machines virtuelles provisionnées et gérées par Serengeti. Serengeti vous permet de planifier et de
provisionner les machines virtuelles selon vos spécifications et d'utiliser les machines virtuelles pour
installer les applications Big Data.
Le cluster de base n'installe pas les packages d'application Big Data utilisés lors de la création d'un cluster.
Vous pouvez à la place installer et gérer des applications Big Data avec des outils de gestion d'application
tiers, tels qu'Ambari ou Cloudera Manager, au sein de votre environnement Big Data Extensions, et
l'intégrer à votre logiciel Hadoop. Le cluster de base ne déploie pas de cluster. Vous devez déployer les
logiciels sur les machines virtuelles à l'aide d'un outil de gestion d'application tiers externe.
Le package Serengeti inclut un exemple annoté de fichier de spécification de cluster que vous pouvez
utiliser comme exemple lorsque vous créez votre fichier de spécification de cluster de base. Dans le serveur
de gestion Serengeti, l'exemple de fichier de spécification se trouve
sur /opt/serengeti/samples/basic_cluster.json. Vous pouvez modifier les valeurs de configuration de
l'exemple de fichier de spécification de cluster pour répondre à vos impératifs. La seule valeur que vous ne
pouvez pas modifier est celle attribuée au rôle de chaque groupe de nœuds, qui doit toujours être basic.
Vous pouvez déployer un cluster de base avec le plug-in Big Data Extension à l'aide d'un fichier de
spécification de cluster personnalisé.
Pour déployer les logiciels au sein des machines virtuelles du cluster de base, utilisez la commande cluster
list --detail ou exécutez serengeti-ssh.sh cluster_name pour obtenir l'adresse IP de la machine
virtuelle. Vous pouvez alors utiliser l'adresse IP avec des applications de gestion telles qu'Ambari ou
Cloudera Manager pour provisionner la machine virtuelle avec les logiciels de votre choix. Vous pouvez
configurer l'application de gestion pour qu'elle utilise le nom d'utilisateur Serengeti et le mot de passe que
vous avez spécifiés lors de la création du cluster de base au sein de Big Data Extensions lorsque l'outil de
gestion a besoin d'un nom d'utilisateur et d'un mot de passe pour se connecter aux machines virtuelles.
Prérequis
n
Déployez le vApp Serengeti.
n
Assurez-vous d'avoir les ressources adéquates allouées pour exécuter le cluster, ainsi que le logiciel Big
Data que vous prévoyez de déployer.
Procédure
1
Créez un fichier de spécification pour définir les caractéristiques du cluster de base.
Vous devez utiliser le rôle basic pour chaque groupe de nœuds que vous définissez pour le cluster de
base.
{
"nodeGroups":[
{
"name": "master",
"roles": [
"basic"
],
"instanceNum": 1,
"cpuNum": 2,
"memCapacityMB": 3768,
"storage": {
"type": "LOCAL",
"sizeGB": 250
},
VMware, Inc.
65
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
"haFlag": "on"
},
{
"name": "worker",
"roles": [
"basic"
],
"instanceNum": 1,
"cpuNum": 2,
"memCapacityMB": 3768,
"storage": {
"type": "LOCAL",
"sizeGB": 250
},
"haFlag": "off"
}
]
}
2
Accédez à l'interface de ligne de commande Serengeti.
3
Exécutez la commande cluster create et spécifiez le fichier de spécification du cluster de base.
cluster create --name cluster_name --specFile /opt/serengeti/samples/basic_cluster.json -password
REMARQUE Lors de la création d'un cluster de base, vous n'avez pas besoin de spécifier un type de
distribution Hadoop à l'aide de l'option --distro. La raison en est qu'il n'y a aucune distribution
Hadoop en cours d'installation au sein du cluster de base à gérer par Serengeti.
Créer un cluster avec un gestionnaire d'applications à l'aide de l'interface de
ligne de commande Serengeti
Vous pouvez utiliser l'Serengeti CLI pour ajouter un cluster avec un gestionnaire d'applications autre que le
gestionnaire d'applications par défaut. Vous pouvez ensuite gérer votre cluster avec le nouveau gestionnaire
d'applications.
REMARQUE Si vous souhaitez créer un référentiel Yum local, vous devez créer le référentiel avant de créer le
cluster.
Prérequis
n
Connectez-vous à un gestionnaire d'applications.
n
Assurez-vous d'avoir les ressources adéquates allouées pour exécuter le cluster. Pour plus
d'informations sur les ressources requises, consultez la documentation de votre gestionnaire
d'applications.
n
Vérifiez que vous avez plusieurs distributions si vous voulez utiliser une distribution autre que la
distribution par défaut. Consultez le Guide de l'utilisateur et de l'administrateur VMware vSphere Big Data
Extensions.
Procédure
1
66
Accédez à l'Serengeti CLI.
VMware, Inc.
Chapitre 5 Création de clusters Hadoop et HBase
2
Exécutez la commande cluster.
cluster create --name cluster_name --appManager appmanager_name
--[localrepoURL local_repository_url]
Si vous n'utilisez pas le paramètre appManager, c'est le gestionnaire d'applications par défaut qui est
utilisé.
Créer un cluster de calcul du travailleur uniquement à l'aide de vSphere Web
Client
Si vous disposez déjà d'un cluster Hadoop physique et que vous voulez effectuer des opérations nécessitant
plus de CPU ou de mémoire, vous pouvez augmenter la capacité de calcul en provisionnant un cluster de
travailleurs uniquement. Le cluster de travailleurs uniquement fait partie du cluster Hadoop physique et
peut être augmenté de façon élastique.
Avec les clusters de calcul du travailleur uniquement, vous pouvez « passer d'un seul coup en mode
virtuel ». Il s'agit d'une opération temporaire qui implique l'emprunt de ressources lorsque vous en avez
besoin, et leur restitution lorsque vous n'en avez plus besoin. Avec « passer d'un seul coup en mode
virtuel », vous faites tourner les nœuds de calcul du travailleur uniquement et vous les ajoutez à un cluster
physique existant ou à un cluster Hadoop virtuel.
Les clusters du travailleur uniquement ne sont pas pris en charge sur les gestionnaires d'applications
Ambari et Cloudera Manager.
Prérequis
n
Vérifiez que vous avez un cluster Hadoop existant.
n
Vérifiez que vous avez les adresses IP des nœuds NameNode et ResourceManager.
Procédure
1
Cliquez sur Créer un cluster Big Data dans le volet Objets.
2
Dans l'assistant de création du cluster Big Data, choisissez la même distribution que le cluster Hadoop.
3
Définissez l'URL DataMaster : HDFS:namenode ip ou fqdn:8020.
4
Définissez l'URL ComputeMaster nodeManager ip ou fqdn.
5
Suivez la procédure indiquée dans l'assistant et ajoutez les autres ressources.
Il y aura trois gestionnaires de nœuds dans le cluster. Les trois nouveaux gestionnaires de nœuds sont
enregistrés auprès du gestionnaire de ressources.
Créer un cluster avec un mot de passe administrateur à l'aide de l'interface de
ligne de commande Serengeti
Lorsque vous créez un cluster, vous pouvez attribuer un mot de passe administrateur personnalisé à tous les
nœuds du cluster. Les mots de passe d'administrateur personnalisés vous permettent de vous connecter
directement aux nœuds au lieu d'avoir à vous connecter d'abord au serveur de gestion Serengeti.
Prérequis
n
Déployez le vApp Serengeti.
n
Assurez-vous d'avoir les ressources adéquates allouées exécuter le cluster Hadoop.
n
Pour utiliser une distribution Hadoop autre que la distribution par défaut, ajoutez une ou plusieurs
distributions Hadoop. Consultez le Guide de l'utilisateur et de l'administrateur VMware vSphere Big Data
Extensions.
VMware, Inc.
67
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
Procédure
1
Accédez à l'interface de ligne de commande Serengeti.
2
Exécutez la commande cluster create et incluez le paramètre --password.
cluster create --name cluster_name --password
3
Entrez votre mot de passe personnalisé, puis entrez-le à nouveau.
Les mots de passe doivent contenir 8 à 20 caractères, utiliser uniquement des caractères ASCII inférieurs
visibles (pas d'espaces) et comporter au moins une lettre majuscule (A - Z), une lettre minuscule (a - z),
un chiffre (0 - 9) et l'un des caractères spéciaux suivants : _, @, #, $, %, ^, &, *
Votre mot de passe personnalisé est attribué à tous les nœuds du cluster.
Créer un cluster avec une distribution disponible à l'aide de l'interface de ligne
de commande Serengeti
Vous pouvez sélectionner la distribution Hadoop à utiliser lorsque vous déployez un cluster. Si vous ne
spécifiez pas de distribution Hadoop, le cluster obtenu est créé à l'aide de la distribution par défaut, Apache
Bigtop.
Prérequis
n
Déployez le vApp Serengeti.
n
Assurez-vous d'avoir les ressources adéquates allouées exécuter le cluster Hadoop.
n
Pour utiliser une distribution Hadoop autre que la distribution par défaut, ajoutez une ou plusieurs
distributions Hadoop. Consultez le Guide de l'utilisateur et de l'administrateur VMware vSphere Big Data
Extensions.
Procédure
1
Accédez à l'Serengeti CLI.
2
Exécutez la commande cluster create et incluez le paramètre --distro.
La valeur du paramètre --distro doit correspondre à un nom de distribution affiché par la commande
distro list.
REMARQUE Pour créer un cluster Apache Bigtop, Cloudera CDH4 et CDH5, Hortonworks HDP 2.x ou
Pivotal PHD 1.1 ou version ultérieure, vous devez configurer un DNS et un FQDN valides pour le trafic
réseau HDFS et MapReduce du cluster. Si le serveur DNS ne peut pas assurer la résolution FQDN/IP
dans un sens et dans l'autre, le processus de création du cluster risque d'échouer ou le cluster est créé
mais il ne fonctionne pas.
L'exemple déploie un cluster avec la distribution Cloudera CDH :
cluster create --name clusterName --distro cdh
L'exemple crée un cluster personnalisé nommé mycdh qui utilise la distribution Hadoop CDH5 et qui est
configuré selon l'exemple de fichier de spécification de
cluster /opt/serengeti/samples/default_cdh4_ha_and_federation_hadoop_cluster.json. Dans cet
exemple de fichier, nameservice0 et nameservice1 sont fédérés. Autrement dit, nameservice0 et
nameservice1 sont indépendants et ne nécessitent pas d'être coordonnés entre eux. Les nœuds
NameNode du groupe de nœuds nameservice0 prennent en charge HDFS2 HA. Dans Serengeti, les
noms de groupes de nœuds de noms sont utilisés comme noms de service pour HDFS2.
cluster create --name mycdh --distro cdh5 --specFile
/opt/serengeti/samples/default_cdh5_ha_hadoop_cluster.json
68
VMware, Inc.
Chapitre 5 Création de clusters Hadoop et HBase
Créer un cluster à plusieurs réseaux à l'aide de l'interface de ligne de
commande Serengeti
Lorsque vous créez un cluster, vous pouvez distribuer la gestion, le système de fichiers HDFS et le trafic
MapReduce pour séparer les réseaux. Vous pouvez souhaiter utiliser des réseaux distincts pour améliorer
les performances ou isoler le trafic à des fins de sécurité.
Pour optimiser les performances, utilisez le même réseau pour le trafic HDFS et MapReduce dans les
clusters Hadoop et Hadoop+HBase. Les clusters HBase utilisent le réseau HDFS pour le trafic lié aux
services HBase Master et HBase RegionServer.
IMPORTANT Vous ne pouvez pas configurer plusieurs réseaux pour les clusters qui utilisent la distribution
Hadoop MapR.
Prérequis
n
Déployez le vApp Serengeti.
n
Assurez-vous d'avoir les ressources adéquates allouées exécuter le cluster Hadoop.
n
Pour utiliser une distribution Hadoop autre que la distribution par défaut, ajoutez une ou plusieurs
distributions Hadoop. Consultez le Guide de l'utilisateur et de l'administrateur VMware vSphere Big Data
Extensions.
Procédure
1
Accédez à l'Serengeti CLI.
2
Exécutez la commande cluster create et incluez les paramètres --networkName, --hdfsNetworkName et
--mapredNetworkName.
cluster create --name cluster_name --networkName management_network
[--hdfsNetworkName hdfs_network] [--mapredNetworkName mapred_network]
Si vous omettez l'un des paramètres réseau facultatifs, le trafic associé à ce paramètre réseau est
acheminé sur le réseau de gestion spécifié par le paramètre --networkName.
REMARQUE Pour créer un cluster Apache Bigtop, Cloudera CDH4 et CDH5, Hortonworks HDP 2.x ou
Pivotal PHD 1.1 ou version ultérieure, vous devez configurer un DNS et un FQDN valides pour le trafic
réseau HDFS et MapReduce du cluster. Si le serveur DNS ne peut pas assurer la résolution FQDN/IP
dans un sens et dans l'autre, le processus de création du cluster risque d'échouer ou le cluster est créé
mais il ne fonctionne pas.
La gestion du cluster, le système de fichiers HDFS et le trafic MapReduce sont répartis entre les réseaux
spécifiés.
Créer un cluster avec ressources assignées à l'aide de l'interface de ligne de
commande Serengeti
Par défaut, lorsque vous utilisez Serengeti pour déployer un cluster Hadoop, le cluster peut contenir tout ou
partie des ressources disponibles : le pool de ressources vCenter Server pour le CPU et la mémoire des
machines virtuelles, les banques de données pour le stockage de la machine virtuelle et un réseau. Vous
pouvez affecter les ressources que le cluster utilise en spécifiant des pools de ressources spécifiques, des
banques de données et/ou un réseau lorsque vous créez le cluster Hadoop.
Prérequis
n
Déployez le vApp Serengeti.
n
Assurez-vous d'avoir les ressources adéquates allouées exécuter le cluster Hadoop.
VMware, Inc.
69
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
n
Pour utiliser une distribution Hadoop autre que la distribution par défaut, ajoutez une ou plusieurs
distributions Hadoop. Consultez le Guide de l'utilisateur et de l'administrateur VMware vSphere Big Data
Extensions.
Procédure
1
Accédez à l'Serengeti CLI.
2
Exécutez la commande cluster create et spécifiez tout ou partie des paramètres de ressource de la
commande.
Cet exemple déploie un cluster nommé myHadoop sur la banque de données myDS, sous le pool de
ressources myRP, et utilise le réseau myNW pour les communications des machines virtuelles.
cluster create --name myHadoop --rpNames myRP --dsNames myDS --networkName myNW
Créer un cluster avec un nombre quelconque de nœuds master, worker et
client
Vous pouvez créer un cluster Hadoop avec un nombre quelconque de nœuds master, worker et client.
Prérequis
n
Déployez le vApp Serengeti.
n
Assurez-vous d'avoir les ressources adéquates allouées exécuter le cluster Hadoop.
n
Pour utiliser une distribution Hadoop autre que la distribution par défaut, ajoutez une ou plusieurs
distributions Hadoop. Consultez le Guide de l'utilisateur et de l'administrateur VMware vSphere Big Data
Extensions.
Procédure
1
Créez un fichier de spécification de cluster pour définir les caractéristiques du cluster, telles que les
groupes de nœuds.
REMARQUE Pour créer un cluster Apache Bigtop, Cloudera CDH4 et CDH5, Hortonworks HDP 2.x ou
Pivotal PHD 1.1 ou version ultérieure, vous devez configurer un DNS et un FQDN valides pour le trafic
réseau HDFS et MapReduce du cluster. Si le serveur DNS ne peut pas assurer la résolution FQDN/IP
dans un sens et dans l'autre, le processus de création du cluster risque d'échouer ou le cluster est créé
mais il ne fonctionne pas.
Dans cet exemple, le cluster a une machine virtuelle maître de taille MOYENNE, cinq machines
virtuelles du travailleur de taille PETITE et une machine virtuelle cliente de taille PETITE. L'attribut
instanceNum configure le nombre de machines virtuelles d'un nœud.
{
"nodeGroups" : [
{
"name": "master",
"roles": [
"hadoop_namenode",
"hadoop_jobtracker"
],
"instanceNum": 1,
"instanceType": "MEDIUM"
},
{
"name": "worker",
"roles": [
70
VMware, Inc.
Chapitre 5 Création de clusters Hadoop et HBase
"hadoop_datanode",
"hadoop_tasktracker"
],
"instanceNum": 5,
"instanceType": "SMALL"
},
{
"name": "client",
"roles": [
"hadoop_client",
"hive",
"hive_server",
"pig"
],
"instanceNum": 1,
"instanceType": "SMALL"
}
]
}
2
Accédez à l'Serengeti CLI.
3
Exécutez la commande cluster create et spécifiez le fichier de spécification de cluster.
cluster create --name cluster_name --specFile directory_path/spec_filename
Créer un cluster Hadoop ou HBase personnalisé avec l'interface de ligne de
commande Serengeti
Vous pouvez créer des clusters personnalisés en fonction de vos exigences, y compris le nombre de nœuds,
la taille du disque et de la RAM de la machine virtuelle, le nombre de CPU, etc.
Le package Serengeti inclut plusieurs exemples annotés de fichier de spécification de cluster que vous
pouvez utiliser comme modèles lorsque vous créez vos fichiers de spécification personnalisés.
n
Dans le serveur de gestion Serengeti, les exemples de fichiers de spécification de cluster se trouvent
dans /opt/serengeti/samples.
n
Si vous utilisez le client d'interface de ligne de commande distant Serengeti, les exemples de fichiers de
spécification sont dans le répertoire client.
La modification d'un rôle de groupe de nœuds peut entraîner l'échec du processus de création de cluster.
Par exemple, comme les clusters faisant l'objet de travaux requièrent un NameNode, s'il n'existe aucun
nœud NameNode après que vous avez modifié les rôles des groupes de nœuds, vous ne pouvez pas créer
de cluster.
Prérequis
n
Déployez le vApp Serengeti.
n
Assurez-vous d'avoir les ressources adéquates allouées exécuter le cluster Hadoop.
n
Pour utiliser une distribution Hadoop autre que la distribution par défaut, ajoutez une ou plusieurs
distributions Hadoop. Consultez le Guide de l'utilisateur et de l'administrateur VMware vSphere Big Data
Extensions.
Procédure
1
Créez un fichier de spécification de cluster pour définir les caractéristiques du cluster, telles que les
groupes de nœuds.
2
Accédez à l'interface de ligne de commande Serengeti.
VMware, Inc.
71
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
3
Exécutez la commande cluster create et spécifiez le fichier de spécification de cluster.
Utilisez le chemin d'accès complet pour spécifier le fichier.
cluster create --name cluster_name --specFile full_path/spec_filename
REMARQUE Pour créer un cluster Apache Bigtop, Cloudera CDH4 et CDH5, Hortonworks HDP 2.x ou
Pivotal PHD 1.1 ou version ultérieure, vous devez configurer un DNS et un FQDN valides pour le trafic
réseau HDFS et MapReduce du cluster. Si le serveur DNS ne peut pas assurer la résolution FQDN/IP
dans un sens et dans l'autre, le processus de création du cluster risque d'échouer ou le cluster est créé
mais il ne fonctionne pas.
72
VMware, Inc.
Gestion des clusters Hadoop et
HBase
6
Vous pouvez utiliser vSphere Web Client pour démarrer et arrêter votre cluster Big Data, et pour modifier la
configuration du cluster. Vous pouvez également gérer un cluster à l'aide de l'interface de ligne de
commande Serengeti.
AVERTISSEMENT N'utilisez pas les fonctions de gestion de vSphere telles que la migration de nœuds de
cluster vers d'autres hôtes pour les clusters créés avec Big Data Extensions. L'utilisation de ces fonctions de
gestion en dehors de l'environnement Big Data Extensions peut vous empêcher d'effectuer certaines
opérations de Big Data Extensions telles que la récupération de défaillances de disque.
Ce chapitre aborde les rubriques suivantes :
n
« Démarrer et arrêter un cluster avec l'interface de ligne de commande Serengeti », page 74
n
« Agrandir un cluster avec l'interface de ligne de commande Serengeti », page 74
n
« Mettre à l'échelle le CPU et la RAM avec l'interface de ligne de commande Serengeti », page 75
n
« Reconfigurer un cluster avec l'interface de ligne de commande Serengeti », page 75
n
« Supprimer un cluster avec l'interface de ligne de commande Serengeti », page 78
n
« À propos de vSphere High Availability et de vSphere Fault Tolerance », page 78
n
« Reconfigurer un groupe de nœuds avec l'interface de ligne de commande Serengeti », page 78
n
« Développer un cluster à l'aide de l'interface de ligne de commande », page 78
n
« Récupérer d'une défaillance disque avec le client d'interface de ligne de commande Serengeti »,
page 80
n
« Effectuer la récupération d'une machine virtuelle de nœud de cluster », page 80
n
« Passer en mode maintenance pour effectuer la sauvegarde et la restauration à l'aide du client
d'interface de ligne de commande Serengeti », page 81
VMware, Inc.
73
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
Démarrer et arrêter un cluster avec l'interface de ligne de commande
Serengeti
Vous pouvez arrêter un cluster en cours d'exécution et démarrer un cluster arrêté à partir de l'interface de
ligne de commande Serengeti. Lorsque vous démarrez ou arrêtez un cluster via Cloudera Manager ou
Ambari, seuls les services sont démarrés ou arrêtés. Cependant, lorsque vous démarrez ou arrêtez un cluster
via Big Data Extensions, non seulement les services, mais également les machines virtuelles sont démarrés
ou arrêtés.
Prérequis
n
Vérifiez que le cluster est provisionné.
n
Vérifiez que suffisamment de ressources, notamment en termes de CPU et de mémoire, sont
disponibles pour démarrer les machines virtuelles du cluster Hadoop.
Procédure
1
Accédez à l'interface de ligne de commande Serengeti.
2
Exécutez la commande cluster stop.
cluster stop –-name name_of_cluster_to_stop
3
Exécutez la commande cluster start.
cluster start –-name name_of_cluster_to_start
Agrandir un cluster avec l'interface de ligne de commande Serengeti
Vous spécifiez le nombre de nœuds du cluster lorsque vous créez des clusters Hadoop et HBase. Par la suite,
vous pouvez agrandir le cluster en augmentant le nombre de nœuds worker et le nombre de nœuds client.
IMPORTANT Même si vous avez modifié le mot de passe utilisateur sur les nœuds d'un cluster, le mot de
passe modifié n'est pas utilisé pour les nouveaux nœuds créés par l'opération d'agrandissement du cluster.
Si vous avez défini le mot de passe initial de l'administrateur pour le cluster lorsque vous avez créé le
cluster, ce mot de passe est utilisé pour les nouveaux nœuds. Si vous n'avez pas défini le mot de passe initial
de l'administrateur pour le cluster lorsque vous avez créé le cluster, les nouveaux mots de passe aléatoires
sont utilisés pour les nouveaux nœuds.
Prérequis
Vérifiez que le cluster a démarré.
Procédure
1
Accédez à l'interface de ligne de commandeSerengeti.
2
Exécutez la commande cluster resize.
Pour node_type, spécifiez worker ou client. Pour la valeur num_nodes du paramètreinstanceNum, utilisez
tout nombre supérieur au nombre actuel d'instances node_type.
cluster resize --name name_of_cluster_to_resize --nodeGroup node_type --instanceNum num_nodes
74
VMware, Inc.
Chapitre 6 Gestion des clusters Hadoop et HBase
Mettre à l'échelle le CPU et la RAM avec l'interface de ligne de
commande Serengeti
Vous pouvez augmenter ou réduire la capacité de calcul et la RAM d'un cluster afin d'empêcher la
contention des ressources mémoire des tâches en cours d'exécution.
Serengeti vous permet d'ajuster les ressources de calcul et de la mémoire, sans augmenter la charge de
travail sur le nœud master. Si l'augmentation ou la diminution du CPU d'un cluster n'aboutit pas pour un
nœud, ce qui est généralement dû à l'insuffisance des ressources disponibles, le nœud est rétabli à sa valeur
de CPU originale. Si l'augmentation ou la diminution de la RAM d'un cluster n'aboutit pas pour un nœud,
ce qui est généralement dû à l'insuffisance des ressources, le disque d'échange conserve sa nouvelle valeur.
Le disque n'est pas rétabli à la valeur d'origine de la mémoire.
Même si tous les types de nœuds prennent en charge la mise à l'échelle du CPU et de la RAM, ne mettez pas
à l'échelle le nœud master d'un cluster, carSerengeti arrête la machine virtuelle lors du processus de mise à
l'échelle.
Les valeurs maximales pour le CPU et la RAM dépendent de la version de la machine virtuelle.
Tableau 6‑1. Valeurs maximales pour le CPU et la RAM
Version de machine virtuelle
Nombre maximal de CPU
RAM maximale, en Go
7
8
255
8
32
1 011
9
64
1 011
10
64
1 011
Prérequis
Démarrez le cluster s'il n'est pas en cours d'exécution.
Procédure
1
Accédez à l'interface de ligne de commande Serengeti.
2
Exécutez la commande cluster resize pour modifier le nombre de CPU ou la quantité de RAM d'un
cluster.
n
n
Les types de nœud sont travailleur ou client.
Spécifiez l'un et/ou l'autre des paramètres de mise à l'échelle : --cpuNumPerNode ou--
memCapacityMbPerNode.
cluster resize --name cluster_name --nodeGroup node_type [--cpuNumPerNode vCPUs_per_node]
[--memCapacityMbPerNode memory_per_node]
Reconfigurer un cluster avec l'interface de ligne de commande
Serengeti
Vous pouvez reconfigurer tout cluster big data que vous créez avec Big Data Extensions.
La configuration des clusters est spécifiée par des attributs dans des fichiers de configuration XML de
distribution Hadoop tels que : core-site.xml, hdfs-site.xml, mapred-site.xml, hadoop-env.sh, yarn-env.sh,
yarn-site.sh et hadoop-metrics.properties.
Pour en savoir plus sur le fichier de configuration de format JSON Serengeti et les attributs associés dans les
fichiers de distribution Hadoop, reportez-vous au Guide de l'interface de ligne de commande de VMware vSphere
Big Data Extensions.
VMware, Inc.
75
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
Pour en savoir plus sur le fichier de configuration de format JSON Serengeti et les attributs associés dans les
fichiers de distribution Hadoop, reportez-vous à Chapitre 8, « Référence de spécification de cluster »,
page 87.
REMARQUE Utilisez toujours la commande cluster config pour modifier les paramètres spécifiés par les
fichiers de configuration. Si vous modifiez ces fichiers manuellement, vos modifications seront effacées si la
machine virtuelle redémarre ou si vous utilisez les commandes cluster config, cluster start, cluster
stop ou cluster resize.
Procédure
1
Utilisez la commande cluster export pour exporter le fichier de spécification pour le cluster que vous
souhaitez reconfigurer.
cluster export --name
2
cluster_name --specFile file_path/cluster_spec_file_name
Option
Description
cluster_name
Nom du cluster que vous souhaitez reconfigurer.
file_path
Le chemin du système de fichiers vers lequel vous voulez exporter le
fichier de spécification.
cluster_spec_file_name
Le nom de l'étiquette à attribuer au fichier de spécification du cluster
exporté.
Modifiez les informations de configuration situées près de la fin du fichier de spécification du cluster
exporté.
Si vous modélisez votre fichier de configuration sur des fichiers de configuration XML Hadoop
existants, utilisez l'outil de conversion convert-hadoop-conf.rb pour convertir ces fichiers au format
JSON requis.
…
"configuration": {
"hadoop": {
"core-site.xml": {
// check for all settings at http://hadoop.apache.org/common/docs/stable/coredefault.html
// note: any value (int, float, boolean, string) must be enclosed in double quotes
and here is a sample:
// "io.file.buffer.size": "4096"
},
"hdfs-site.xml": {
// check for all settings at http://hadoop.apache.org/common/docs/stable/hdfsdefault.html
},
"mapred-site.xml": {
// check for all settings at http://hadoop.apache.org/common/docs/stable/mapreddefault.html
},
"hadoop-env.sh": {
// "HADOOP_HEAPSIZE": "",
// "HADOOP_NAMENODE_OPTS": "",
// "HADOOP_DATANODE_OPTS": "",
// "HADOOP_SECONDARYNAMENODE_OPTS": "",
// "HADOOP_JOBTRACKER_OPTS": "",
// "HADOOP_TASKTRACKER_OPTS": "",
// "HADOOP_CLASSPATH": "",
// "JAVA_HOME": "",
76
VMware, Inc.
Chapitre 6 Gestion des clusters Hadoop et HBase
// "PATH": "",
},
"log4j.properties": {
// "hadoop.root.logger": "DEBUG, DRFA ",
// "hadoop.security.logger": "DEBUG, DRFA ",
},
"fair-scheduler.xml": {
// check for all settings at
http://hadoop.apache.org/docs/stable/fair_scheduler.html
// "text": "the full content of fair-scheduler.xml in one line"
},
"capacity-scheduler.xml": {
// check for all settings at
http://hadoop.apache.org/docs/stable/capacity_scheduler.html
}
}
}
…
3
(Facultatif) Si les fichiers JAR de votre distribution Hadoop ne se trouvent pas dans le répertoire
$HADOOP_HOME/lib, ajoutez le chemin complet du fichier JAR dans $HADOOP_CLASSPATH au fichier de
spécification de cluster.
Cette opération permet aux démons Hadoop de localiser les fichiers JAR de distribution.
Par exemple, les fichiers JAR Cloudera CDH3 Hadoop Fair Scheduler se trouvent
sous /usr/lib/hadoop/contrib/fairscheduler/. Ajoutez ce qui suit au fichier de spécification du cluster
pour permettre à Hadoop d'utiliser les fichiers JAR.
…
"configuration": {
"hadoop": {
"hadoop-env.sh": {
"HADOOP_CLASSPATH": "/usr/lib/hadoop/contrib/fairscheduler/*:$HADOOP_CLASSPATH"
},
"mapred-site.xml": {
"mapred.jobtracker.taskScheduler": "org.apache.hadoop.mapred.FairScheduler"
…
},
"fair-scheduler.xml": {
…
}
}
}
…
4
Accédez à l'Serengeti CLI.
5
Exécutez la commande cluster config pour appliquer la nouvelle configuration Hadoop.
cluster config --name cluster_name --specFile file_path/cluster_spec_file_name
6
VMware, Inc.
(Facultatif) Réinitialisez un attribut de configuration existant à sa valeur par défaut.
a
Supprimez l'attribut de la section de configuration du fichier de configuration ou commentez
l'attribut en utilisant deux barres obliques inversées (//).
b
Exécutez à nouveau la commande cluster config.
77
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
Supprimer un cluster avec l'interface de ligne de commande Serengeti
Vous pouvez supprimer un cluster dont vous n'avez plus besoin, qu'il soit en cours d'exécution ou pas.
Quand un cluster est supprimé, l'ensemble de ses machines virtuelles et pools de ressources l'est également.
Procédure
1
Accédez à l'interface de ligne de commandeSerengeti.
2
Exécutez la commande cluster delete.
cluster delete --name cluster_name
À propos de vSphere High Availability et de vSphere Fault Tolerance
Le serveur de gestion Serengeti tire parti de la haute disponibilité vSphere pour protéger la machine
virtuelle du nœud Hadoop master, qui peut être surveillée par vSphere.
Lorsque un service Hadoop NameNode ou JobTracker s'arrête de manière inattendue, vSphere redémarre la
machine virtuelle Hadoop dans un autre hôte afin de réduire la période d'interruption non planifiée. Si
vSphere Fault Tolerance est configuré et que la machine virtuelle du nœud master s'arrête de manière
inattendue en raison du basculement ou de la perte de connectivité réseau d'un hôte, le nœud secondaire est
utilisé, sans provoquer d'interruption de service.
Reconfigurer un groupe de nœuds avec l'interface de ligne de
commande Serengeti
Vous pouvez reconfigurer les groupes de nœuds en modifiant les données de configuration des groupes de
nœuds du fichier de spécification de cluster associé. Lorsque vous configurez un groupe de nœuds, sa
configuration remplace toute configuration de niveau cluster du même nom.
Procédure
1
Accédez à l'interface de ligne de commandeSerengeti.
2
Exécutez la commandecluster export pour exporter le fichier de spécification de cluster du cluster.
cluster export --name cluster_name --specFile path_name/spec_file_name
3
Dans le fichier de spécification, modifiez la section de configuration du groupe de nœuds avec le même
contenu que la configuration de niveau cluster.
4
Ajoutez la configuration Hadoop personnalisée au groupe de nœuds que vous voulez reconfigurer.
5
Exécutez la commande cluster config pour appliquer la nouvelle configuration Hadoop.
cluster config --name cluster_name --specFile path_name/spec_file_name
Développer un cluster à l'aide de l'interface de ligne de commande
Vous pouvez développer un cluster Big Data existant en ajoutant des groupes de nœuds supplémentaires.
Procédure
1
78
Accédez à l'Serengeti CLI.
VMware, Inc.
Chapitre 6 Gestion des clusters Hadoop et HBase
2
Modifiez le fichier de spécification du cluster afin qu'il inclue les nouveaux groupes de nœuds que vous
souhaitez ajouter au cluster.
Lors de la modification du fichier de spécification du cluster pour développer le cluster, gardez les
éléments suivants en tête.
n
Les nouveaux groupes de nœuds développés ne doivent pas avoir les mêmes noms que les groupes
de nœuds existants dans le cluster.
n
Veillez à utiliser une syntaxe correcte lors de la modification du fichier de spécification du cluster.
Chaque élément et sa valeur de configuration doivent être corrects, sans quoi l'opération de
développement échouera.
Cet exemple illustre une configuration nodeGroups mise à jour à partir du fichier de spécification de
cluster plus large.
{
"nodeGroups":[
{
"name": "master1",
"roles": [
"basic"
],
"instanceNum": 1,
"cpuNum": 2,
"memCapacityMB": 3768,
"storage": {
"type": "SHARED",
"sizeGB": 10
},
"haFlag": "on"
},
{
"name": "worker1",
"roles": [
"basic"
],
"instanceNum": 1,
"cpuNum": 2,
"memCapacityMB": 3768,
"storage": {
"type": "LOCAL",
"sizeGB": 10
},
"haFlag": "off"
}
]
}
3
Exécutez la commande cluster expand pour appliquer la nouvelle configuration de cluster avec les
groupes de nœuds développés.
cluster expand --name cluster_name --specFile path_name/spec_file_name
Si l'opération cluster expand échoue, l'état du cluster change et devient PROVISION_ERROR. Pour
effectuer une récupération à partir de cette condition, vérifiez que la syntaxe utilisée dans le fichier de
spécification du cluster est correcte, puis exécutez de nouveau la commande cluster expand pour
résoudre cette défaillance.
VMware, Inc.
79
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
Suivant
Vous pouvez vérifier que les groupes de nœuds ont bien été ajoutés au cluster à l'aide de la commande
cluster list. Reportez-vous à « Afficher les clusters provisionnés avec l'interface de ligne de commande
Serengeti », page 85.
Récupérer d'une défaillance disque avec le client d'interface de ligne
de commande Serengeti
Dans le cas d'une défaillance de disque dans un cluster, si le disque ne joue aucun rôle de gestion tel que
NameNode, JobTracker, ResourceManager, HMaster ou ZooKeeper, vous pouvez récupérer à l'aide la
commande Serengeti cluster fix.
Big Data Extensions utilise un grand nombre de lecteurs de disque pour le stockage des données (configurés
en tant que JBOD). En cas de défaillance de plusieurs disques, le nœud de données Hadoop peut s'éteindre.
Big Data Extensions vous permet de récupérer des défaillances de disque.
Serengeti prend en charge la récupération après un échange ou une défaillance de disque sur toutes les
distributions Hadoop prises en charge. Les disques sont récupérés et démarrés l'un après l'autre pour éviter
la perte temporaire de plusieurs nœuds à la fois. Les nouveaux disques correspondent au type de stockage
et aux stratégies de placement des disques défaillants qu'ils remplacent.
La distribution MapR ne prend pas en charge la récupération d'une défaillance de disque à l'aide de la
commande cluster fix.
IMPORTANT Même si vous avez modifié le mot de passe utilisateur sur les nœuds du cluster, le mot de passe
modifié n'est pas utilisé pour les nouveaux nœuds créés par l'opération de récupération de disque. Si vous
avez défini le mot de passe initial de l'administrateur pour le cluster lorsque vous avez créé le cluster, ce
mot de passe est utilisé pour les nouveaux nœuds. Si vous n'avez pas défini le mot de passe initial de
l'administrateur pour le cluster lorsque vous avez créé le cluster, de nouveaux mots de passe aléatoires sont
utilisés pour les nouveaux nœuds.
Procédure
1
Accédez à l'interface de ligne de commandeSerengeti.
2
Exécutez la commande cluster fix.
Le paramètre nodeGroup est facultatif.
cluster fix --name cluster_name --disk [--nodeGroup nodegroup_name]
Effectuer la récupération d'une machine virtuelle de nœud de cluster
Vous pouvez récupérer des machines virtuelles de nœud de cluster qui ont été dissociées de leur identifiant
d'objet géré (MOID) ou de leur pool de ressources et de leur nom de machine virtuelle.
Dans de rares situations, l'identifiant d'objet géré (MOID) d'une machine virtuelle de nœud de cluster peut
changer. Cela peut se produire lorsqu'un hôte plante et se réenregistre sur vCenter Server. Lorsque BDE ne
parvient pas à localiser une machine virtuelle de nœud dans vCenter Server par son MOID, l'application
essaie d'abord de localiser le nœud par son pool de ressources et son nom de machine virtuelle. Si cela
s'avère impossible, vous pouvez récupérer la machine virtuelle de nœud de cluster à l'aide de la commande
cluster recover.
Procédure
1
80
Accédez à l'Serengeti CLI.
VMware, Inc.
Chapitre 6 Gestion des clusters Hadoop et HBase
2
Exécutez la commande cluster recover pour mettre à jour le cluster et récupérer la machine virtuelle
de nœud de cluster.
cluster recover
Suivant
Vous pouvez vérifier que la machine virtuelle de nœud de cluster a été récupérée avec succès.
Passer en mode maintenance pour effectuer la sauvegarde et la
restauration à l'aide du client d'interface de ligne de commande
Serengeti
Avant d'effectuer les opérations de sauvegarde et de restauration, ou d'autres tâches de maintenance, vous
devez placer Big Data Extensions en mode maintenance.
Prérequis
n
Déployez le vApp Serengeti.
n
Assurez-vous d'avoir les ressources adéquates allouées exécuter le cluster Hadoop.
n
Pour utiliser une distribution Hadoop autre que la distribution par défaut, ajoutez une ou plusieurs
distributions Hadoop. Consultez le Guide de l'utilisateur et de l'administrateur VMware vSphere Big Data
Extensions.
Procédure
1
Connectez-vous à Serengeti Management Server.
2
Exécutez le script /opt/serengeti/sbin/serengeti-maintenance.sh pour placer Big Data Extensions en
mode maintenance ou vérifier l'état de maintenance.
serengeti-maintenance.sh on | off | status
Option
Description
activé
Active le mode maintenance. Lorsque vous entrez en mode maintenance,
Big Data Extensions continue à exécuter les tâches déjà commencées, mais
ne répond pas aux nouvelles requêtes.
désactivé
Désactive le mode maintenance et remet Big Data Extensions dans son état
de fonctionnement normal.
Statut
Affiche l'état de maintenance de Big Data Extensions.
n
L'état sécurisé indique que les opérations de sauvegarde et les autres
tâches de maintenance peuvent être effectuées en toute sécurité dans
votre déploiement Big Data Extensions.
n
L'état désactivé indique que le mode maintenance a été désactivé et
que les tâches de maintenance telles que la sauvegarde et la
restauration ne peuvent pas être effectuées en toute sécurité.
n
L'état activé signifie que Big Data Extensions est entré en mode
maintenance, mais que les opérations de sauvegarde et de restauration
ne peuvent pas encore être effectuées en toute sécurité. Vous devez
attendre que le système renvoie le message d'état sécurisé.
Pour placer votre déploiement Big Data Extensions en mode maintenance, exécutez le script serengetimaintenance.sh avec l'option on.
serengeti-maintenance.sh on
VMware, Inc.
81
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
3
Vérifiez que Big Data Extensions est en mode maintenance.
Lorsque Big Data Extensions a terminé toutes les tâches qui ont été envoyées, l'état de maintenance
entre en mode sécurisé. Exécutez le script serengeti-maintenance.sh avec le paramètre status de
manière répétée jusqu'à obtenir le message d'état du système sécurisé.
serengeti-maintenance.sh status
safe
4
Effectuez les tâches de maintenance système souhaitées.
5
Une fois que vous avez terminé, faites repasser Big Data Extensions à son état de fonctionnement
normal en quittant manuellement le mode maintenance.
serengeti-maintenance.sh off
82
VMware, Inc.
Surveillance de l'environnement Big
Data Extensions
7
Vous pouvez surveiller l'état des clusters déployés sur Serengeti, y compris leurs banques de données, leurs
réseaux et leurs pools de ressources à l'aide de l'interface de ligne de commande Serengeti. Vous pouvez
également afficher la liste des distributions Hadoop disponibles. Des fonctions de surveillance sont
également disponibles dans vSphere Web Client.
Ce chapitre aborde les rubriques suivantes :
n
« Afficher la liste des gestionnaires d'applications à l'aide de l'interface de ligne de commande
Serengeti », page 83
n
« Afficher les distributions Hadoop disponibles avec l'interface de ligne de commande Serengeti »,
page 84
n
« Afficher les distributions prises en charge pour tous les gestionnaires d'applications à l'aide de
l'interface de ligne de commande Serengeti », page 84
n
« Afficher les configurations ou les rôles pour le gestionnaire d'applications et la distribution à l'aide
de l'interface de ligne de commande Serengeti », page 84
n
« Afficher les clusters provisionnés avec l'interface de ligne de commande Serengeti », page 85
n
« Afficher les banques de données avec l'interface de ligne de commande Serengeti », page 85
n
« Afficher les réseaux avec l'interface de ligne de commande Serengeti », page 86
n
« Afficher les pools de ressources avec l'interface de ligne de commandeSerengeti », page 86
Afficher la liste des gestionnaires d'applications à l'aide de l'interface
de ligne de commande Serengeti
Vous pouvez utiliser la commande appManager list pour afficher les gestionnaires d'applications qui sont
installés sur l'environnement Big Data Extensions.
Prérequis
Vérifiez que vous êtes connecté à un gestionnaire d'applications.
Procédure
1
Accédez à l'interface de ligne de commande Serengeti.
2
Exécutez la commande appmanager list.
appmanager list
La commande retourne la liste de tous les gestionnaires d'applications installés sur l'environnement
Big Data Extensions.
VMware, Inc.
83
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
Afficher les distributions Hadoop disponibles avec l'interface de ligne
de commande Serengeti
Les distributions prises en charge sont celles qui le sont par Big Data Extensions. Les distributions
disponibles sont celles qui ont été ajoutées à votre environnement Big Data Extensions. Vous utilisez la
commande distro list pour afficher la liste des distributions Hadoop disponibles dans votre déploiement
Serengeti. Lorsque vous créez des clusters, vous pouvez utiliser toute distribution Hadoop disponible.
Procédure
1
Accédez à l'interface de ligne de commande Serengeti.
2
Exécutez la commande distro list.
Les distributions Hadoop disponibles sont affichées, ainsi que leurs packages.
Suivant
Avant d'utiliser une distribution, vérifiez qu'elle inclut les services que vous voulez déployer. S'il manque
des services, ajoutez les packages appropriés à la distribution.
Afficher les distributions prises en charge pour tous les gestionnaires
d'applications à l'aide de l'interface de ligne de commande Serengeti
Les distributions prises en charge sont celles qui le sont par Big Data Extensions. Les distributions
disponibles sont celles qui ont été ajoutées à votre environnement Big Data Extensions. Vous pouvez
afficher la liste des distributions Hadoop qui sont prises en charge dans l'environnement
Big Data Extensions pour déterminer si une distribution particulière est disponible pour un gestionnaire
d'applications particulier.
Prérequis
Vérifiez que vous êtes connecté à un gestionnaire d'applications.
Procédure
1
Accédez à l'interface de ligne de commande Serengeti.
2
Exécutez la commande appmanager list.
appmanager list --name application_manager_name [--distros]
Si vous n'incluez pas le paramètre --name, la commande retourne la liste de toutes les distributions
Hadoop qui sont prises en charge sur chacun des gestionnaires d'applications de l'environnement
Big Data Extensions.
La commande retourne la liste de toutes les distributions qui sont prises en charge pour le gestionnaire
d'applications du nom que vous spécifiez.
Afficher les configurations ou les rôles pour le gestionnaire
d'applications et la distribution à l'aide de l'interface de ligne de
commande Serengeti
Vous pouvez utiliser la commande appManager list pour afficher les rôles ou les configurations Hadoop
d'une distribution et d'un gestionnaire d'applications spécifiques.
La liste des configurations inclut ces configurations que vous pouvez utiliser pour configurer le cluster dans
les spécifications de cluster.
84
VMware, Inc.
Chapitre 7 Surveillance de l'environnement Big Data Extensions
La liste des rôles contient les rôles que vous pouvez utiliser pour créer un cluster. Vous ne devez pas utiliser
de rôles non pris en charge pour créer des clusters dans le gestionnaire d'applications.
Prérequis
Vérifiez que vous êtes connecté à un gestionnaire d'applications.
Procédure
1
Accédez à l'interface de ligne de commande Serengeti.
2
Exécutez la commande appmanager list.
appmanager list --name application_manager_name [--distro distro_name
(--configurations | --roles) ]
La commande retourne une liste des rôles ou configurations Hadoop d'une distribution et d'un gestionnaire
d'applications spécifique.
Afficher les clusters provisionnés avec l'interface de ligne de
commande Serengeti
À partir de l'Serengeti CLI, vous pouvez afficher les clusters provisionnés qui sont dans le déploiement
Serengeti.
Procédure
1
Accédez à l'Serengeti CLI.
2
Exécutez la commande cluster list.
cluster list
Cet exemple affiche un cluster spécifique en incluant le paramètre --name.
cluster list --name cluster_name
Cet exemple affiche des informations détaillées sur un cluster spécifique en incluant les paramètres -name et --detail.
cluster list --name cluster_name –-detail
Afficher les banques de données avec l'interface de ligne de
commande Serengeti
À partir de l'interface de ligne de commande Serengeti, vous pouvez afficher les banques de données qui
sont dans le déploiement Serengeti.
Procédure
1
Accédez à l'interface de ligne de commandeSerengeti.
2
Exécutez la commande datastore list.
Cet exemple affiche les informations détaillées en incluant le paramètre --detail.
datastore list --detail
Cet exemple affiche des informations détaillées sur une banque de données spécifique en incluant les
paramètres --name et --detail.
datastore list --name datastore_name --detail
VMware, Inc.
85
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
Afficher les réseaux avec l'interface de ligne de commande Serengeti
À partir de l'interface de ligne de commande Serengeti, vous pouvez afficher les réseaux qui sont dans le
déploiement Serengeti.
Procédure
1
Accédez à l'interface de ligne de commandeSerengeti.
2
Exécutez la commande network list.
Cet exemple affiche les informations détaillées en incluant le paramètre --detail.
network list --detail
Cet exemple affiche des informations détaillées sur un réseau spécifique en incluant les paramètres -name et --detail.
network list --name network_name --detail
Afficher les pools de ressources avec l'interface de ligne de
commande Serengeti
À partir de l'interface de ligne de commande Serengeti, vous pouvez afficher les pools de ressources qui
sont dans le déploiement Serengeti.
Procédure
1
Accédez à l'interface de ligne de commandeSerengeti.
2
Exécutez la commande resourcepool list.
Cet exemple affiche les informations détaillées en incluant le paramètre --detail.
resourcepool list --detail
Cet exemple affiche des informations détaillées sur une banque de données spécifique en incluant les
paramètres --name et --detail.
resourcepool list --name resourcepool_name –-detail
86
VMware, Inc.
Référence de spécification de cluster
8
Pour personnaliser vos clusters, vous devez savoir utiliser les fichiers de spécification de cluster Serengeti et
définir les prérequis de cluster avec les différents attributs et objets. Après avoir créé vos fichiers de
configuration, vous pouvez les convertir au format de fichier JSON.
Ce chapitre aborde les rubriques suivantes :
n
« Conditions requises de fichier de spécification de cluster », page 87
n
« Conditions requises de la définition de cluster », page 88
n
« Fichier de spécification de cluster annoté », page 88
n
« Définitions des attributs de spécification de cluster », page 91
n
« Attributs Hadoop de la liste blanche et de la liste noire », page 94
n
« Convertir les fichiers XML Hadoop en Serengetifichiers JSON », page 96
Conditions requises de fichier de spécification de cluster
Un fichier de spécification de cluster est un fichier texte avec les attributs de configuration fournis dans une
structure au format JSON. Les fichiers de spécification de cluster doivent respecter les prérequis relatifs à la
syntaxe, à l'utilisation des guillemets et aux commentaires.
n
Pour analyser les fichiers de spécification de cluster, Serengeti utilise le processeur JSON Jackson. Pour
les obligations syntaxiques, telles que la stratégie de troncation des types « float », consultez la page
wiki « Jackson JSON Processor ».
n
Encadrez toujours les valeurs numériques par des guillemets. Par exemple :
"mapred.tasktracker.reduce.tasks.maximum" : "2"
Les guillemets garantissent que les entiers sont correctement interprétés au lieu d'être convertis en
nombres à virgule flottante double précision, ce qui peut entraîner des conséquences inattendues.
n
VMware, Inc.
Vous ne pouvez inclure que des commentaires d'une seule ligne en utilisant le symbole dièse (#) pour
identifier le commentaire.
87
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
Conditions requises de la définition de cluster
Les fichiers de spécification de cluster contiennent les définitions de configuration des clusters, telles que
leurs rôles et groupes de nœuds. Les définitions de cluster doivent adhérer aux conditions requises relatives
aux rôles de groupe de nœuds, aux rôles de cluster et aux nombres d'instance.
Une définition de cluster obéit aux conditions requises suivantes :
n
Les rôles de groupe de nœuds ne peuvent pas être vides. Vous pouvez déterminer les noms de rôle
valides pour votre distribution Hadoop à l'aide de la commande distro list.
n
Les rôles hadoop_namenode et hadoop_jobtracker doivent être configurés dans un seul groupe de
nœuds.
Dans les clusters Hadoop 2.0, tels que CDH4 ou Pivotal HD, le nombre d'instances peut être
n
supérieur à 1 pour créer un cluster HDFS HA ou Federation.
n
n
Sinon, le nombre total d'instances doit être égal à 1.
Les nombres d'instances de groupe de nœuds doivent être des nombres positifs.
Fichier de spécification de cluster annoté
Le fichier de spécification de cluster Serengeti définit les différents nœuds Hadoop et HBase ainsi que leurs
ressources à utiliser par le cluster Big Data. Vous pouvez utiliser ce fichier de spécification de cluster annoté
ainsi que les fichiers exemples du dossier /opt/serengeti/samples comme modèles à émuler lorsque vous
créez vos clusters Big Data.
Le code suivant est celui d'un fichier de spécification de cluster classique. Pour les annotations du code,
consultez Tableau 8-1.
1 {
2
"nodeGroups" : [
3
{
4
"name": "master",
5
"roles": [
6
"hadoop_namenode",
7
"hadoop_resourcemanager"
8
],
9
"instanceNum": 1,
10
"instanceType": "LARGE",
11
"cpuNum": 2,
12
"memCapacityMB":4096,
13
"storage": {
14
"type": "SHARED",
15
"sizeGB": 20
16
17
18
19
20
21
22
23
24
25
26
27
28
88
},
"haFlag":"on",
"rpNames": [
"rp1"
]
},
{
"name": "data",
"roles": [
"hadoop_datanode"
],
"instanceNum": 3,
"instanceType": "MEDIUM",
VMware, Inc.
Chapitre 8 Référence de spécification de cluster
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
VMware, Inc.
"cpuNum": 2,
"memCapacityMB":2048,
"storage": {
"type": "LOCAL",
"sizeGB": 50,
"dsNames4Data": ["DSLOCALSSD"],
"dsNames4System": ["DSNDFS"]
}
"placementPolicies": {
"instancePerHost": 1,
"groupRacks": {
"type": "ROUNDROBIN",
"racks": ["rack1", "rack2", "rack3"]
}
}
},
{
"name": "compute",
"roles": [
"hadoop_nodemanger"
],
"instanceNum": 6,
"instanceType": "SMALL",
"cpuNum": 2,
"memCapacityMB":2048,
"storage": {
"type": "LOCAL",
"sizeGB": 10
}
"placementPolicies": {
"instancePerHost": 2,
"groupAssociations": [{
"reference": "data",
"type": "STRICT"
}]
}
},
{
"name": "client",
"roles": [
"hadoop_client",
"hive",
"hive_server",
"pig"
],
"instanceNum": 1,
"instanceType": "SMALL",
"memCapacityMB": 2048,
"storage": {
"type": "LOCAL",
"sizeGB": 10,
"dsNames": [“ds1”, “ds2”]
}
}
89
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
83 ],
84 "configuration": {
85 }
86 }
Les éléments de définition de cluster sont spécifiés dans la table.
Tableau 8‑1. Exemple d'annotation de spécification de cluster
90
Ligne(s)
Attribut
Valeur d'exemple
Description
4
nom
maître
Nom du groupe de nœuds.
5-8
rôle
hadoop_namenode,
hadoop_jobtracker
Rôle du groupe de nœuds.
hadoop_namenode et hadoop_jobtracker sont
déployés sur la machine virtuelle du groupe de
nœuds.
9
instanceNum
1
Nombre d'instances du groupe de nœuds.
Une seule machine virtuelle est créée pour le
groupe.
n Il est possible d'avoir plusieurs instances de
hadoop_tasktracker, hadoop_datanode,
hadoop_client, pig et hive.
n Pour les clusters HDFS1, vous ne pouvez
avoir qu'une seule instance de
hadoop_namenode et hadoop_jobtracker.
n Pour les clusters HDFS2, vous pouvez avoir
deux instances hadoop_namenode.
n Avec une distribution MapR, vous pouvez
configurer plusieurs instances de
hadoop_jobtracker.
10
instanceType
GRANDE
Type d'instance de groupe de nœuds.
Les types d'instance sont des spécifications de
machine virtuelle prédéfinies : elles
correspondent à une combinaison du nombre de
CPU, de la taille de la RAM et de la taille du
stockage. Les valeurs prédéfinies peuvent être
remplacées par le cpuNum, la memCapacityMB et
les attributs de stockage du fichier de
spécification du serveur Serengeti.
11
cpuNum
2
Nombre de CPU par machine virtuelle.
Cet attribut remplace le nombre de CPU virtuels
de la spécification de machine virtuelle
prédéfinie.
12
memCapacityMB
4096
Taille de la RAM, en Mo, par machine virtuelle.
Cet attribut remplace la taille de la RAM de la
spécification de machine virtuelle prédéfinie.
13-16
stockage
Voir les lignes 14-15 des
attributs de stockage
d'un groupe
Configuration requise pour le stockage d'un
nœud de groupes.
14
type
PARTAGÉ
Type de stockage.
Le groupe de nœuds est déployé à l'aide d'un
stockage partagé uniquement.
15
sizeGB
20
Taille du stockage.
Chaque nœud du groupe de nœuds est déployé
avec 20 Go d'espace disque disponible.
17
haFlag
activé
Protection HA du groupe de nœuds.
Le groupe de nœuds est déployé avec la
protection HA vSphere.
VMware, Inc.
Chapitre 8 Référence de spécification de cluster
Tableau 8‑1. Exemple d'annotation de spécification de cluster (suite)
Ligne(s)
Attribut
Valeur d'exemple
Description
18-20
rpNames
rp1
Pools de ressources sous lesquels les machines
virtuelles du groupe de nœuds sont déployées.
Ces pools peuvent être un tableau de valeurs.
22-36
Définition du
groupe de nœuds
pour le nœud de
données
37-44
placementPolicies
45-57
Définition du
groupe de nœuds
pour le nœud de
calcul
58-65
placementPolicies
66-82
Définition du
groupe de nœuds
pour le nœud client
83-86
configuration
Voir les lignes 3-21, qui définissent les mêmes
attributs pour le nœud master.
Sur les lignes 34-35, les disques de données sont
placés sur les banques de données
dsNames4Data et les disques système sur les
banques de données dsNames4System.
Voir l'exemple de code
Contraintes de la stratégie d'emplacement du
groupe de nœuds de données.
Vous avez besoin d'au moins trois hôtes ESXi,
car il y a trois instances et chaque instance doit
impérativement se trouver sur son propre hôte.
Le groupe est provisionné sur les hôtes sur les
racks 1, 2 et 3 à l'aide d'un algorithme
ROUNDROBIN.
Voir les lignes 4-16, qui définissent les mêmes
attributs pour le nœud master.
Voir l'exemple de code
Contraintes de la stratégie d'emplacement du
groupe de nœuds de calcul.
Vous avez besoin d'au moins trois hôtes ESXi
pour satisfaire aux exigences de l'instance. Le
groupe de nœuds de calcul fait référence à un
groupe de nœuds de données via un type
STRICT. Les deux instances de calcul utilisent
une instance de données sur l'hôte ESXi.
L'association STRICT offre les meilleures
performances.
Voir les définitions de groupe de nœuds
précédentes.
Vide dans l'exemple de
code
Personnalisation de la configuration Hadoop.
Définitions des attributs de spécification de cluster
Les définitions des clusters incluent les attributs pour le cluster lui-même et pour chacun des groupes de
nœuds.
Attributs extérieurs de spécification de cluster
Les attributs extérieurs de spécification de cluster s'appliquent au cluster comme un tout.
Tableau 8‑2. Attributs extérieurs de spécification de cluster
Attribut
Type
Obligatoire/facultatif
Description
nodeGroups
objet
Obligatoire
Une ou plusieurs spécifications de groupe. Voir Tableau 8-3.
configuration
objet
Facultatif
Paires clé/valeur de la configuration Hadoop personnalisable.
externalHDFS
string
Facultatif
Valide seulement pour les clusters de calcul uniquement. URI de HDFS
externe.
VMware, Inc.
91
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
Attributs et objets de groupes de nœuds de spécification de cluster.
Les attributs et objets de groupes de nœuds s'appliquent à un seul groupe de nœuds d'un cluster.
Tableau 8‑3. Attributs et objets de groupes de nœuds de spécification de cluster
Attribut
Type
Obligatoire/facultatif
Description
nom
string
Obligatoire
Nom du groupe de nœuds défini par
l'utilisateur.
rôles
liste de chaînes
Obligatoire
Liste des services ou packages logiciels à
installer sur la machine virtuelle. Les
valeurs doivent correspondre aux rôles
affichés par la commande distro list.
instanceNum
integer
Obligatoire
Nombre de machines virtuelles du
groupe de nœuds :
n Entier positif.
n Généralement, vous pouvez avoir
plusieurs instances pour
hadoop_tasktracker,
hadoop_datanode, hadoop_client,
pig, et hive.
n Pour les clusters HDFS1, vous ne
pouvez avoir qu'une seule instance
de hadoop_namenode et
hadoop_jobtracker.
n
n
instanceType
string
Facultatif
Pour les clusters HDFS2, vous
pouvez avoir deux instances
hadoop_namenode.
Avec une distribution MapR, vous
pouvez configurer plusieurs
instances de hadoop_jobtracker.
Taille des machines virtuelles du groupe
de nœuds, exprimée sous le nom d'un
modèle de machine virtuelle prédéfini.
Reportez-vous à la section Tableau 8-4.
n PETITE
n MOYENNNE
n GRANDE
n EXTRA_LARGE
Si vous spécifiez les attributs cpuNum,
memCapacityMB ou sizeGB, ils
remplacent la valeur correspondante de
votre modèle de machine virtuelle
sélectionnée pour le groupe de nœuds
applicable.
92
cpuNum
integer
Facultatif
Nombre de CPU par machine virtuelle. Si
la valeur de haFlag est FT, la valeur de
cpuNum doit être égale à 1.
memCapacityMB
integer
Facultatif
Taille de la RAM, en Mo, par machine
virtuelle.
REMARQUE Lors de l'utilisation de
MapR 3.1, vous devez spécifier un
minimum de 5 120 Mo de capacité
mémoire pour les nœuds zookeeper,
worker et client.
VMware, Inc.
Chapitre 8 Référence de spécification de cluster
Tableau 8‑3. Attributs et objets de groupes de nœuds de spécification de cluster (suite)
Attribut
Type
Obligatoire/facultatif
Description
swapRatio
flottant
Facultatif
Définit le rapport entre la taille du disque
de permutation du système
d'exploitation et la taille de la mémoire.
Par exemple, pour une mémoire de 4 Go
(4 096 Mo) et une valeur swapRatio de 1;
la taille du disque de permutation sera
de 4 Go. En spécifiant une valeur
swapRatio de 2, la taille du disque de
permutation sera de 8 Go.
Vous pouvez également spécifier une
valeur flottante pour l'attribut
swapRatio. En spécifiant une valeur de
0,5 avec une mémoire de 4 Go, la taille du
disque de permutation sera de 2 Go.
latencySensitivity
string
Facultatif
Vous pouvez spécifier une valeur
FAIBLE, NORMAL, MOYEN ou ÉLEVÉ
pour le paramètre de sensibilité de
latence de la machine virtuelle dans
vCenter Server afin d'optimiser les
performances du cluster.
Lorsque vous déployez un cluster HBase,
vous pouvez optimiser les performances
HBase en définissant le paramètre
latencySensitivity sur ÉLEVÉ. Vous
devez alors définir le paramètre
reservedMemRatio (voir ci-dessous)
sur 1.
reservedMemRatio
integer
Facultatif
Vous pouvez spécifier 0 ou 1 pour définir
la proportion de mémoire réservée.
Lorsque vous déployez un cluster HBase,
vous pouvez optimiser les performances
HBase en définissant le paramètre sur 1.
Vous devez alors définir le paramètre
latencySensitivity (voir ci-dessus)
sur ÉLEVÉ.
reservedCpuRatio
integer
Facultatif
Vous pouvez spécifier 0 ou 1 pour définir
la proportion de CPU réservé.
Stockage
objet
Facultatif
Paramètres de stockage.
type
string
Facultatif
Type de stockage :
n LOCAL. Pour le stockage local
n PARTAGÉ. Pour le stockage partagé.
sizeGB
integer
Facultatif
Taille du stockage des données. Doit être
un nombre entier positif
diskNum
integer
Facultatif
Spécifie le nombre de disques à utiliser
pour chaque groupe de nœuds.
dsNames
liste de chaînes
Facultatif
Tableau de banques de données que le
groupe de nœuds peut utiliser.
dnNames4Data
liste de chaînes
Facultatif
Tableau de banques de données que le
groupe de nœuds de données peut
utiliser.
dsNames4System
liste de chaînes
Facultatif
Tableau de banques de données que le
système peut utiliser.
rpNames
liste de chaînes
Facultatif
Tableau de pools de ressources que le
groupe de nœuds peut utiliser.
VMware, Inc.
93
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
Tableau 8‑3. Attributs et objets de groupes de nœuds de spécification de cluster (suite)
Attribut
Type
Obligatoire/facultatif
Description
haFlag
string
Facultatif
Par défaut, les nœuds NameNode et
JobTracker sont protégés par vSphere
HA.
n activé. Protégez le nœud avec
vSphere HA.
n pieds. Protégez le nœud avec
vSphere FT.
n désactivée. N'utilisez pas vSphere
HA ou vSphere FT.
placementPolicies
objet
Facultatif
Jusqu'à trois contraintes facultatives :
instancePerHost
n groupRacks
n groupAssociations
n
Tailles des machines virtuelles prédéfinies Serengeti
Serengeti fournit des tailles de machines virtuelles prédéfinies à utiliser pour définir la taille de machines
virtuelles dans un groupe de nœuds de cluster.
Tableau 8‑4. Tailles des machines virtuelles prédéfinies Serengeti
PETITE
MOYENNNE
GRANDE
EXTRA_LARGE
Nombre de CPU par
machine virtuelle
1
2
4
8
RAM, en Go
3,75
7,5
15
30
Taille du disque de
données master
Hadoop, en Go
25
50
100
200
Taille du disque de
données worker
Hadoop, en Go
50
100
200
400
Taille du disque de
données client
Hadoop, en Go
50
100
200
400
Taille du disque de
données zookeeper, en
Go
20
40
80
120
Attributs Hadoop de la liste blanche et de la liste noire
Les attributs de la liste blanche sont les attributs Apache Hadoop que vous pouvez configurer
depuisSerengeti avec la commande cluster config. La majorité des attributs Apache Hadoop sont sur la
liste blanche. Cependant, il existe quelques attributs Apache Hadoop de la liste noire, que vous ne pouvez
pas configurer depuis Serengeti.
Si vous utilisez un attribut du fichier de spécification de cluster qui n'est ni un attribut sur liste blanche ni un
attribut sur liste noire, et que vous exécutez la commande cluster config, un avertissement s'affiche et
vous devez répondre oui pour continuer ou non pour annuler.
Si votre cluster inclut un NameNode or JobTracker, Serengeti configure les attributs fs.default.name et
dfs.http.address. Vous pouvez remplacer ces attributs en les définissant dans votre spécification de cluster.
94
VMware, Inc.
Chapitre 8 Référence de spécification de cluster
Tableau 8‑5. Liste blanche des attributs de configuration
Fichier
Attributs
core-site.xml
Tous les attributs de configuration core-default listés sur la page Web de la documentation
Apache Hadoop 2.x. Par exemple, http://hadoop.apache.org/docs/branch_name/coredefault.html.
Excluez les attributs définis dans la liste noire.
hdfs-site.xml
Tous les attributs de configuration hdfs-default listés sur la page Web de la documentation
Apache Hadoop 2.x. Par exemple, http://hadoop.apache.org/docs/branch_name/hdfsdefault.html.
Excluez les attributs définis dans la liste noire.
mapred-site.xml
Tous les attributs de configuration mapred-default listés sur la page Web de la documentation
Apache Hadoop 2.x. Par exemple, http://hadoop.apache.org/docs/branch_name/mapreddefault.html.
Excluez les attributs définis dans la liste noire.
hadoop-env.sh
JAVA_HOME
PATH
HADOOP_CLASSPATH
HADOOP_HEAPSIZE
HADOOP_NAMENODE_OPTS
HADOOP_DATANODE_OPTS
HADOOP_SECONDARYNAMENODE_OPTS
HADOOP_JOBTRACKER_OPTS
HADOOP_TASKTRACKER_OPTS
HADOOP_LOG_DIR
log4j.properties
hadoop.root.logger
hadoop.security.logger
log4j.appender.DRFA.MaxBackupIndex
log4j.appender.RFA.MaxBackupIndex
log4j.appender.RFA.MaxFileSize
fairscheduler.xml
texte
Tous les attributs de configuration fair_scheduler listés sur la page Web de la documentation
Apache Hadoop 2.x qui peuvent être utilisés à l'intérieur du champ de texte. Par exemple,
http://hadoop.apache.org/docs/branch_name/fair_scheduler.html.
Excluez les attributs définis dans la liste noire.
capacityscheduler.xml
Tous les attributs de configuration capacity_scheduler listés sur la page Web de la
documentation Apache Hadoop 2.x. Par exemple,
http://hadoop.apache.org/docs/branch_name/capacity_scheduler.html.
Excluez les attributs définis dans la liste noire.
mapred-queueacls.xml
Tous les attributs de configuration mapred-queue-acls listés sur la page Web Apache
Hadoop 2.x. Par exemple,
http://hadoop.apache.org/docs/branch_name/cluster_setup.html#Configuring+the
+Hadoop+Daemons.
Excluez les attributs définis dans la liste noire.
VMware, Inc.
95
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
Tableau 8‑6. Liste noire des attributs de configuration
Fichier
Attributs
core-site.xml
net.topology.impl
net.topology.nodegroup.aware
dfs.block.replicator.classname
topology.script.file.name
hdfs-site.xml
dfs.http.address
dfs.name.dir
dfs.data.dir
mapred-site.xml
mapred.job.tracker
mapred.local.dir
mapred.task.cache.levels
mapred.jobtracker.jobSchedulable
mapred.jobtracker.nodegroup.aware
hadoop-env.sh
HADOOP_HOME
HADOOP_COMMON_HOME
HADOOP_MAPRED_HOME
HADOOP_HDFS_HOME
HADOOP_CONF_DIR
HADOOP_PID_DIR
log4j.properties
Aucune
fair-scheduler.xml
Aucune
capacity-scheduler.xml
Aucune
mapred-queue-acls.xml
Aucune
Convertir les fichiers XML Hadoop en Serengeti fichiers JSON
Si vous avez défini un grand nombre d'attributs dans vos fichiers de configuration Hadoop, vous pouvez
convertir ces informations de configuration au format JSON que Serengeti peut utiliser.
Procédure
1
Copiez le répertoire $HADOOP_HOME/conf/ de votre cluster Hadoop vers le serveur de gestion Serengeti.
2
Ouvrez un shell de commande, tel que Bash ou PuTTY, connectez-vous au serveur de gestion Serengeti
et exécutez le script de conversion Ruby convert-hadoop-conf.rb.
convert-hadoop-conf.rb path_to_hadoop_conf
Les attributs de configuration Hadoop convertis, au format JSON, s'affichent.
3
Ouvrez le fichier de spécification de cluster pour le modifier.
4
Remplacez la configuration de niveau cluster ou les éléments de configuration de niveau groupe par la
sortie générée par le script de conversion Ruby convert-hadoop-conf.rb.
Suivant
Accédez à l'interface de ligne de commande Serengeti et utilisez le nouveau fichier de spécification.
96
n
Pour appliquer la nouvelle configuration à un cluster, exécutez la commande cluster config. Incluez le
paramètre --specFile et sa valeur : le nouveau fichier de spécification.
n
Pour créer un cluster avec la nouvelle configuration, exécutez la commande cluster create. Incluez le
paramètre --specFile et sa valeur : le nouveau fichier de spécification.
VMware, Inc.
Référence des commandes de
l'interface de ligne de commande
Serengeti
9
Cette section fournit la description et la syntaxe requise de chaque commande de l'interface de ligne de
commande Serengeti.
Ce chapitre aborde les rubriques suivantes :
n
« Commandes appmanager », page 97
n
« Commandes cluster », page 99
n
« Commande connect », page 106
n
« Commandes datastore », page 107
n
« Commande disconnect », page 107
n
« Commande distro list », page 108
n
« Commandes mgmtvmcfg », page 108
n
« Commandes network », page 109
n
« Commandes resourcepool », page 110
n
« Commandes template », page 111
n
« Commandes topology », page 111
n
« Commandes usermgmt », page 112
Commandes appmanager
Les commandes appmanager {*} vous permettent d'ajouter des gestionnaires d'applications, de les
supprimer et de les gérer.
Commande appmanager add
La commande appmanager add vous permet d'ajouter un gestionnaire d'applications autre que celui par
défaut à votre environnement. Vous pouvez spécifier un gestionnaire d'applications Cloudera Manager ou
Ambari. La commande appmanager add lit le nom d'utilisateur et le mot de passe en mode interactif. Si vous
spécifiez https, la commande vous invite à saisir le chemin d'accès du certificat.
Paramètre
Obligatoire/facultatif
Description
--name
application_manager_name
Obligatoire
Nom du gestionnaire d'applications
--description description
Facultatif
VMware, Inc.
97
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
Paramètre
Obligatoire/facultatif
Description
--type
[ClouderaManager/Ambari]
Obligatoire
Nom du type de gestionnaire d'applications à utiliser, Cloudera
Manager ou Ambari
--url <http[s]://server:port>
Obligatoire
URL du service du gestionnaire d'applications, sous la forme
http[s]://application_manager_server_ip_or_hostname:port ;
invite à la saisie d'une connexion, d'un nom d'utilisateur et d'un
mot de passe.
Commande appmanager delete
Vous pouvez utiliser l'Serengeti CLI pour supprimer un gestionnaire d'applications lorsque vous n'en avez
plus besoin.
Le gestionnaire d'applications à supprimer ne doit pas contenir de clusters, sans quoi le processus échoue.
appmanager delete --name application_manager_name
Paramètre
Obligatoire ou facultatif
Description
--name application_manager_name
Obligatoire
Nom du gestionnaire d'applications
Commande appmanager modify
Avec la commandeappmanager modify, vous pouvez modifier les informations d'un gestionnaire
d'applications : par exemple, vous pouvez modifier l'adresse IP du serveur du gestionnaire s'il ne s'agit pas
d'une adresse IP statique ou vous pouvez mettre à niveau le compte de l'administrateur.
IMPORTANT Commettre une erreur lorsque vous modifiez un gestionnaire d'applications peut avoir de
graves conséquences. Par exemple, vous modifiez l'URL de Cloudera Manager en l'URL d'un nouveau
gestionnaire d'applications. Si vous créez des clusters Big Data Extensionsavec l'instance de l'ancien
Cloudera Manager, il devient impossible de gérer le cluster Cloudera Manager précédent. De plus, le cluster
Cloudera Manager n'est pas accessible à l'instance du nouveau gestionnaire d'applications.
appmanager modify --name application_manager_name
Obligatoire
ou facultatif
Description
--name
application_manager_name
Obligatoire
Nom du gestionnaire d'applications
--url http[s]://server:port
Facultatif
URL du service du gestionnaire d'applications, sous la forme
http[s]://application_manager_server_ip_or_hostname:port ; invite à la
saisie d'une connexion, d'un nom d'utilisateur et d'un mot de passe. Vous
pouvez utiliser http ou https.
--changeAccount
Facultatif
Modifie le compte de connexion et le mot de passe du gestionnaire
d'applications.
--changeCertificate
Facultatif
Modifie le certificat SSL du gestionnaire d'applications. Ce paramètre ne
s'applique qu'aux gestionnaires d'applications dont l'URL commence par
https.
Paramètre
98
VMware, Inc.
Chapitre 9 Référence des commandes de l'interface de ligne de commande Serengeti
Commande appmanager list
La commande appmanager list retourne une liste de tous les gestionnaires d'applications disponibles, y
compris le gestionnaire d'applications par défaut.
Paramètre
Obligatoire/facultatif
Description
--name application_manager_name
Facultatif
Nom du gestionnaire d'applications.
--distro distribution_name
Facultatif
Nom d'une distribution spécifique. Si vous n'incluez pas la
variable distribution_name, la commande retourne toutes les
distributions Hadoop prises en charge par le gestionnaire
d'applications.
--configurations | --roles
Facultatif
Rôles ou configurations Hadoop d'un gestionnaire
d'applications et d'une distribution spécifiques. N'utilisez
pas de rôles non pris en charge pour créer un cluster.
Commandes cluster
Les commandes cluster {*} vous permettent de vous connecter aux clusters, de créer et de supprimer des
clusters, d'arrêter et de démarrer des clusters, et d'exécuter des opérations de gestion des clusters.
Commande cluster config
La commande cluster config vous permet de modifier la configuration d'un cluster Hadoop ou HBase
existant, que le cluster soit configuré selon les valeurs Serengeti par défaut ou que vous ayez personnalisé le
cluster.
REMARQUE La commande cluster config ne peut être utilisée qu'avec les clusters créés à l'aide du
gestionnaire d'applications par défaut. Pour ces clusters créés avec Ambari ou Cloudera Manager, toute
modification de la configuration d'un cluster doit s'effectuer à partir du gestionnaire d'applications. De
même, les nouveaux services et les nouvelles configurations modifiés dans le gestionnaire d'applications
externe ne peuvent pas être synchronisés à partir de Big Data Extensions.
Vous pouvez utiliser la commande cluster config avec la commande cluster export pour rétablir en
mode normal les services de cluster et la configuration Hadoop originale dans les cas suivants :
n
Un service tel que NameNode, JobTracker, DataNode ou TaskTracker s'arrête.
n
Vous avez modifié manuellement la configuration Hadoop d'un ou de plusieurs nœuds d'un cluster.
Exécutez la commande cluster export, puis la commande cluster config. Incluez le nouveau fichier de
spécification de cluster que vous venez d'exporter.
Si le cluster HDFS externe a été créé par Big Data Extensions, l'utilisateur doit se servir de la commande
clusterconfig pour ajouter la topologie du cluster HBase au cluster HDFS.
L'exemple suivant décrit le fichier de spécification à ajouter à la topologie :
"configuration" : { "hadoop" : {
"topology.data": { "text": "10.1.1.1 /rack4,10.2.2.2 /rack4" } } }
Paramètre
Obligatoire/facultatif
Description
--name cluster_name_in_Serengeti
Obligatoire
Nom du cluster Hadoop à configurer.
--specFile spec_file_path
Facultatif
Nom de fichier de la spécification du cluster Hadoop
VMware, Inc.
99
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
Paramètre
Obligatoire/facultatif
Description
--yes
Facultatif
Répondez O à la confirmation O/N. En cas de nonspécification, entrez manuellement o ou n.
--skipConfigValidation
Facultatif
Ignorez la validation de la configuration du cluster.
Commande cluster create
Vous utilisez la commande cluster create pour créer un cluster Hadoop ou HBase.
Si la spécification du cluster n'inclut pas les nœuds requis, par exemple un nœud master, le
Serengeti Management Server crée le cluster conformément à la configuration de cluster par défaut que
déploie le Serengeti Management Server.
Paramètre
Obligatoire ou
facultatif
Description
--name cluster_name_in_Serengeti
Obligatoire.
Nom de cluster.
--networkName management_network_name
Obligatoire.
Réseau à utiliser pour la gestion du trafic dans les
clusters Hadoop.
Si vous omettez l'un des paramètres réseau facultatifs,
le trafic associé à ce paramètre est acheminé sur le
réseau de gestion spécifié à l'aide du paramètre-networkName.
--adminGroupName admin_group_name
Facultatif
Groupe administratif à utiliser pour ce cluster comme
défini dans Active Directory ou LDAP.
--userGroupNameuser_group_name
Facultatif
Groupe d'utilisateurs à utiliser pour ce cluster comme
défini dans Active Directory ou LDAP.
--appmanagerappmanager_name
Facultatif.
Nom d'un gestionnaire d'applications autre que le
gestionnaire par défaut pour gérer vos clusters.
--type cluster_type
Facultatif.
Type de cluster :
n Hadoop (par défaut)
n HBase
--password
Facultatif.
Ne pas utiliser
si vous utilisez
le paramètre -resume.
Mot de passe personnalisé pour tous les nœuds du
cluster.
Les mots de passe doivent contenir 8 à 20 caractères,
utiliser uniquement des caractères ASCII inférieurs
visibles (pas d'espaces) et comporter au moins une
lettre majuscule (A - Z), une lettre minuscule (a - z),
un chiffre (0 - 9) et l'un des caractères spéciaux
suivants : _, @, #, $, %, ^, &, *
--specFile spec_file_path
Facultatif.
Nom de fichier de la spécification du cluster. Pour les
clusters de calcul uniquement, vous devez réviser le
fichier de spécification pour qu'il pointe sur un HDFS
externe.
--distro Hadoop_distro_name
Facultatif.
Distribution Hadoop pour le cluster.
--dsNames datastore_names
Facultatif.
Banque de données à utiliser pour déployer le cluster
Hadoop dans Serengeti. Plusieurs banques de
données peuvent être utilisées, séparées par une
virgule.
Par défaut, toutes les banques de données disponibles
sont utilisées.
Lorsque vous spécifiez le paramètre --dsNames, le
cluster peut uniquement utiliser les banques de
données que vous fournissez dans cette commande.
100
VMware, Inc.
Chapitre 9 Référence des commandes de l'interface de ligne de commande Serengeti
Paramètre
Obligatoire ou
facultatif
--hdfsNetworkName hdfs_network_name
Facultatif.
Réseau à utiliser pour le trafic HDFS dans les clusters
Hadoop.
--mapredNetworkName mapred_network_name
Facultatif.
Réseau à utiliser pour le trafic MapReduce dans les
clusters Hadoop.
--rpNames resource_pool_name
Facultatif.
Pool de ressources à utiliser pour les clusters Hadoop.
Plusieurs pools de ressources peuvent être utilisés,
séparés par une virgule.
--resume
Facultatif.
Ne pas utiliser
si vous utilisez
le paramètre -password.
Effectuez une récupération à partir d'un processus de
déploiement ayant échoué.
--topology topology_type
Facultatif.
Type de topologie pour la prise en charge des racks :
HVE, RACK_AS_RACK ou HOST_AS_RACK.
--yes
Facultatif.
Confirmation de poursuivre ou pas après un message
d'erreur. Si les réponses ne sont pas spécifiées, vous
pouvez taper o ou n.
Description
Si vous spécifiez o, la création du cluster se poursuit.
Si vous ne spécifiez pas o, l'interface de ligne de
commande présente l'invite suivante après avoir
affiché ce message d'avertissement :
Voulez-vous vraiment continuer (O/N) ?
--skipConfigValidation
Facultatif.
Validation selon que la configuration du cluster est
ignorée ou pas.
--skipVcRefresh true
Facultatif
Lorsque vous effectuez des opérations de cluster dans
un grand environnement vCenter Server,
l'actualisation de l'arborescence peut prendre
beaucoup de temps. Vous pouvez optimiser les
performances de création ou de reprise de cluster à
l'aide de ce paramètre.
REMARQUE Si Serengeti Management Server partage
l'environnement vCenter Server avec d'autres charges
de travail, n'utilisez pas ce paramètre.
Serengeti Management Server ne peut pas assurer de
suivi de l'utilisation des ressources des charges de
travail des autres produits, et doit dans ces
circonstances actualiser l'arborescence.
--localRepoURL
Facultatif.
Option pour créer un référentiel Yum local.
--externalMapReduce
FQDN_of_Jobtracker/ResourceManager:port
Facultatif.
Le numéro de port est facultatif.
Commande cluster delete
La commande cluster delete vous permet de supprimer un cluster dans Serengeti. Quand un cluster est
supprimé, l'ensemble de ses machines virtuelles et pools de ressources l'est également.
Paramètre
Obligatoire/facultatif
Description
--name cluster_name
Obligatoire
Nom du cluster à supprimer
--templatetemplate_name
Facultatif
Modèle à utiliser pour les clusters. S'il existe plus d'une machine
virtuelle de modèle, vous devez spécifier ce paramètre.
VMware, Inc.
101
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
Commande cluster expand
La commande cluster expand vous permet de développer et de mettre à jour les nœuds du cluster Big Data.
Vous pouvez développer un cluster Big Data existant à l'aide de la commande cluster expand. Modifiez le
fichier de spécification du cluster pour inclure les nœuds supplémentaires et les autres ressources
disponibles, puis utilisez la commande cluster expand pour appliquer la configuration au cluster existant.
Paramètre
Obligatoire/facultatif
Description
--name cluster_name
Obligatoire
Nom du cluster à développer.
--specFile spec_file_path
Obligatoire
Nom de fichier de la spécification du cluster.
Commande cluster export
La commande cluster export vous permet d'exporter les données de cluster. Selon les options et les
paramètres que vous spécifiez, vous pouvez exporter les données de cluster vers un emplacement
spécifique, mettre en forme le séparateur du fichier d'exportation, spécifier le type de données à exporter ou
indiquer la valeur de la topologie.
Vous pouvez utiliser l'une des commandes suivantes pour exporter le fichier de spécification de cluster.
n
cluster export --name cluster_name --specFile path_to_file
L'utilisation du paramètre specfile avec la commande cluster export est obsolète dans
Big Data Extensions 2.1.
n
cluster export --name cluster_name --type SPEC --output path_to_file
Vous pouvez utiliser la commande cluster export pour afficher l'adresse IP sur la table de mappage
RACK. Le format de la commande est ip rack. Le cluster HDFS externe peut utiliser la commande cluster
export pour implémenter l'emplacement des données de cluster HBase et MapReduce.
Vous pouvez utiliser la commande cluster export pour afficher l'adresse IP du réseau de gestion de tous
les nœuds d'un cluster.
Vous pouvez utiliser la commande cluster export pour afficher la table de mappage IP vers FQDN pour tous
les nœuds d'un cluster. Vous pouvez choisir d'afficher la table de mappage sur le terminal ou de l'exporter
dans un fichier.
cluster export --name cluster_name --type IP2FQDN
cluster export --name cluster_name --type IP2FQDN --output path_to_file
102
VMware, Inc.
Chapitre 9 Référence des commandes de l'interface de ligne de commande Serengeti
Paramètre
Obligatoire
ou facultatif
Description
--name cluster_name
Obligatoire
Nom du cluster à exporter
--type SPEC|RACK|IP|FQDN|IP2FQDN
Facultatif
Type des données à exporter. La valeur peut être
l'un des éléments suivants :
n
SPEC, valeur par défaut, pour exporter un
fichier de spécification.
n
RACK pour exporter la topologie rack de tous
les nœuds
n
IP pour exporter l'adresse IP de tous les
nœuds
n
FQDN pour exporter un mappage des adresses
IP du nom de domaine complet du cluster de
tous les nœuds
n
IP2FQDN pour exporter la table de mappage IP
vers FQDN pour tous les nœuds d'un cluster
--output path_to_output_file
Facultatif
Fichier de sortie dans lequel enregistrer les
données exportées
--specfile path_to_spec_file
Facultatif
Fichier de sortie dans lequel enregistrer la
spécification de cluster.
--topology
[HOST_AS_RACK|RACK_AS_RACK|HVE|NONE]
Facultatif
Valeur de la topologie. La valeur par défaut est la
topologie que vous avez spécifiée lorsque vous
avez créé le cluster.
--delimiter
Facultatif
Symbole ou chaîne pour séparer chaque ligne du
résultat. La valeur par défaut est \n, ligne après
ligne.
Commande cluster fix
La commande cluster fix permet d'effectuer une récupération à partir d'un disque défectueux.
IMPORTANT Même si vous avez modifié le mot de passe utilisateur sur les nœuds, le mot de passe modifié
n'est pas utilisé pour les nouveaux nœuds créés par l'opération de récupération de disque. Si vous avez
défini le mot de passe initial de l'administrateur lorsque vous avez créé le cluster, ce mot de passe est utilisé
pour les nouveaux nœuds. Si vous n'avez pas défini le mot de passe initial de l'administrateur lorsque vous
avez créé le cluster, les nouveaux mots de passe aléatoires sont utilisés pour les nouveaux nœuds.
Tableau 9‑1.
Paramètre
Obligatoire/facultatif
Description
--name cluster_name
Obligatoire
Nom du cluster ayant un disque défectueux.
--disk
Requis
Récupérer les disques des nœuds.
--nodeGroup nodegroup_name
Facultatif
Exécutez l'analyse et la récupération uniquement sur le groupe
de nœuds spécifié, et non sur tous les nœuds de gestion du
cluster.
VMware, Inc.
103
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
Commande cluster list
La commande cluster list vous permet d'afficher une liste des clusters provisionnés dans Serengeti. Vous
pouvez voir les informations suivantes : nom, distribution, état et informations sur chaque groupe de
nœuds. Les informations sur le groupe de nœuds se composent du nombre d'instances, du CPU, de la
mémoire, du type et de la taille.
Les gestionnaires d'applications surveillent les services et les fonctions de votre environnement
Big Data Extensions. Big Data Extensions synchronise l'état des gestionnaires d'applications régulièrement.
Vous pouvez utiliser la commande cluster list pour obtenir le dernier état de votre environnement. Si
des avertissements sont affichés, vous pouvez contrôler les détails à partir de la console du gestionnaire
d'applications.
Tableau 9‑2.
Paramètre
Obligatoire/facultatif
Description
--name cluster_name_in_Serengeti
Facultatif
Nom du cluster à lister.
--detail
Facultatif
Listez les détails du cluster, y compris le nom dans Serengeti,
la distribution, l'état du déploiement, les informations de
chaque nœud des différents rôles.
Si vous spécifiez cette option, Serengeti interroge le vCenter
Server pour obtenir le dernier état du nœud.
Commande cluster resetParam
La commande cluster resetParam vous permet de réinitialiser le niveau ioShares d'un cluster en restaurant
ses valeurs par défaut.
Tableau 9‑3.
Paramètre
Obligatoire/facultatif
Description
--name cluster_name
Obligatoire
Nom du cluster pour lequel réinitialiser les paramètres de mise à l'échelle.
--ioShares
Facultatif
Réinitialisez sur NORMAL.
Commande cluster resize
La commande cluster resize vous permet de modifier le nombre de nœuds d'un groupe de nœuds ou de
mettre à l'échelle la taille du CPU ou de la RAM de la machine virtuelle de montée en puissance ou de
réduction de puissance d'un groupe de nœuds. Lors de la création de nouveaux nœuds, ceux-ci ont les
mêmes services et configurations que les nœuds originaux. Lors de la suppression des nœuds,
Serengeti Management Server autorise uniquement la suppression des rôles tasktracker et nodemanager.
Vous devez spécifier au moins un paramètre facultatif.
Si vous spécifiez le paramètre --instanceNum, vous ne pourrez spécifier ni le paramètre --cpuNumPerNode ni
le paramètre --memCapacityMbPerNode.
Vous pouvez spécifier en même temps les paramètres--cpuNumPerNode et --memCapacityMbPerNode pour
mettre à l'échelle le CPU et la RAM à l'aide d'une seule commande.
IMPORTANT Même si vous avez modifié le mot de passe utilisateur sur les nœuds, le mot de passe modifié
n'est pas utilisé pour les nouveaux nœuds créés par l'opération de redimensionnement du cluster. Si vous
avez défini le mot de passe initial de l'administrateur lorsque vous avez créé le cluster, ce mot de passe est
utilisé pour les nouveaux nœuds. Si vous n'avez pas défini le mot de passe initial de l'administrateur lorsque
vous avez créé le cluster, les nouveaux mots de passe aléatoires sont utilisés pour les nouveaux nœuds.
104
VMware, Inc.
Chapitre 9 Référence des commandes de l'interface de ligne de commande Serengeti
Paramètre
Obligatoire/facultatif
Description
--name cluster_name
Obligatoire
Cible le cluster Hadoop déployé par
Serengeti Management Server.
--nodeGroup
name_of_the_node_group
Obligatoire
Cible le groupe de nœuds pour réduire/agrandir le cluster
déployé par Serengeti Management Server.
--instanceNum
instance_number
Facultatif
Nouveau nombre d'instances vers lequel mettre à l'échelle. S'il
est supérieur au nombre original, Serengeti Management Server
crée des nœuds dans le groupe de nœuds cible. S'il est inférieur
au nombre original, Serengeti Management Server supprime des
nœuds dans le groupe de nœuds cible. Si l'opération de
redimensionnement du cluster échoue, vous pouvez utiliser à
nouveau le nombre d'instances cibles pour réessayer l'opération
de redimensionnement du cluster.
--cpuNumPerNode
num_of_vCPUs
Facultatif
Nombre de CPU virtuels d'une machine virtuelle d'un groupe
de nœuds cible.
--force
Facultatif
Lorsque vous réduisez/agrandissez un cluster, vous pouvez
régler les défaillances matérielles ou logicielles à l'aide du
paramètre --force. L'application de ce paramètre permet la
poursuite de l'opération de redimensionnement du cluster sans
blocage dû à des défaillances limitées de la machine virtuelle.
--memCapacityMbPerNode
size_in_MB
Facultatif
Taille mémoire, en Mo, de chaque machine virtuelle d'un
groupe de nœuds cible.
--skipVcRefresh true
Facultatif
Lorsque vous effectuez des opérations de cluster dans un grand
environnement vCenter Server, l'actualisation de l'arborescence
peut prendre beaucoup de temps. Vous pouvez optimiser les
performances de redimensionnement de cluster à l'aide de ce
paramètre.
REMARQUE Si Serengeti Management Server partage
l'environnement vCenter Server avec d'autres charges de travail,
n'utilisez pas ce paramètre. Serengeti Management Server ne
peut pas assurer de suivi de l'utilisation des ressources des
charges de travail des autres produits, et doit dans ces
circonstances actualiser l'arborescence.
Commande cluster setParam
La commande cluster setParam command vous permet de définir la priorité ioShares d'un cluster Hadoop
dans Serengeti. Vous devez spécifier au moins un paramètre facultatif.
Paramètre
Obligatoire/facultatif
Description
--name cluster_name
Obligatoire
Nom du cluster pour lequel définir les paramètres d'élasticité.
--ioShares level
Facultatif
Niveau d'accès prioritaire : FAIBLE, NORMAL ou ÉLEVÉ.
Commande cluster start
La commande cluster start vous permet de démarrer un cluster dans Serengeti.
Tableau 9‑4.
Paramètre
Obligatoire/facultatif
Description
--name cluster_name
Obligatoire
Nom du cluster à démarrer.
--force
Facultatif
Lorsque vous démarrez un cluster, vous pouvez régler les défaillances
matérielles ou logicielles à l'aide du paramètre --force. L'application de
ce paramètre permet la poursuite de l'opération de démarrage du cluster
sans blocage dû à des défaillances limitées de la machine virtuelle.
VMware, Inc.
105
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
Commande cluster stop
La commande cluster stop vous permet d'arrêter un cluster dans Serengeti.
Tableau 9‑5.
Paramètre
Obligatoire/facultatif
Description
--name cluster_name
Obligatoire
Nom du cluster à arrêter.
Commande cluster update
La commande cluster update vous permet de développer et de mettre à jour les pools de ressources et les
banques de données disponibles pour votre environnement Big Data Extensions.
Tableau 9‑6.
Paramètre
Obligatoire/facultatif
Description
--name cluster_name
Obligatoire
Nom du cluster à mettre à jour.
--rpNamesresource_pool_nameOptional
Facultatif
Pools de ressources à utiliser avec les clusters Hadoop.
Vous pouvez spécifier plusieurs pools de ressources en
séparant le nom de chacun par une virgule.
Les pools de ressources que vous spécifiez peuvent
inclure des pools de ressources déjà utilisés par le
cluster.
--dsName datastore_names
Facultatif
Banques de données à utiliser avec les clusters Hadoop.
Vous pouvez spécifier plusieurs banques de données en
séparant le nom de chacune par une virgule.
Les banques de données que vous spécifiez peuvent
inclure des banques de données déjà utilisées par le
cluster.
--append
Facultatif
Ce paramètre permet d'ajouter les nouveaux pools de
ressources et les nouvelles banques de données que
vous souhaitez ajouter à votre environnement aux
ressources déjà existantes. Cela ne remplace pas vos
ressources existantes.
--yes
Facultatif
Vous pouvez confirmer ou non la poursuite de l'action
spécifiée suite à un message d'erreur. Si les réponses ne
sont pas spécifiées, vous pouvez saisir O ou N. Si vous
spécifiez O, la création du cluster se poursuit. Si vous ne
spécifiez pas O, l'interface de ligne de commande
présente l'invite de commande suivante après avoir
affiché le message d'avertissement : Are you sure you
want to continue (Y/N)?
Commande connect
La commande connect vous permet de vous connecter à un serveur Serengeti distant.
La commande connect lit le nom d'utilisateur et le mot de passe en mode interactif. Vous devez exécuter la
commande connect chaque fois que vous commencez une session d'interface de ligne de commande
Serengeti, puis de nouveau après le délai d'expiration de 30 minutes. Si vous n'exécutez pas cette
commande, vous ne pourrez pas exécuter d'autres commandes.
106
VMware, Inc.
Chapitre 9 Référence des commandes de l'interface de ligne de commande Serengeti
Tableau 9‑7.
Paramètre
Obligatoire/facultatif
Description
--host
Obligatoire
URL du service Web Serengeti, sous la forme
serengeti_management_server_ip_or_host :port. Par défaut, le service Web Serengeti
est démarré sur le port 8443.
Commandes datastore
La commande datastore {*} vous permet d'ajouter et de supprimer des banques de données, ainsi que
d'afficher la liste des banques de données d'un déploiement Serengeti.
Commande datastore add
La commande datastore add vous permet d'ajouter une banque de données à Serengeti.
Tableau 9‑8.
Paramètre
Obligatoire/facultatif
Description
--name datastore_name_in_Serengeti
Obligatoire
Nom de la banque de données dans Serengeti.
--spec datastore_name_in_vCenter_Server
Obligatoire
Nom de la banque de données dans vSphere. Vous
pouvez utiliser un caractère générique pour spécifier
plusieurs banques vmfs. Les caractères génériques pris
en charge sont * et ?.
--type {LOCAL|PARTAGÉ}
Facultatif
(Par défaut = PARTAGÉ) Type de la banque de
données : LOCAL ou PARTAGÉ.
Commande datastore delete
La commande datastore delete vous permet de supprimer une banque de données de Serengeti.
Tableau 9‑9.
Paramètre
Obligatoire/facultatif
Description
--name datastore_name_in_Serengeti
Obligatoire
Nom de la banque de données à supprimer.
Commande datastore list
La commande datastore list vous permet d'afficher une liste des banques de données dans Serengeti. Si
vous ne spécifiez pas un nom de banque de données, toutes les banques de données sont affichées.
Tableau 9‑10.
Paramètre
Obligatoire/facultatif
Description
--name Name_of_datastore_name_in_Serengeti
Facultatif
Nom de la banque de données à afficher.
--detail
Facultatif
Affichez les détails de la banque de données, y
compris le chemin d'accès de la banque de
données dans vSphere.
Commande disconnect
La commande disconnect vous permet de vous déconnecter d'un serveur Serengeti distant. Après vous être
déconnecté du serveur, vous ne pouvez pas exécuter de commandes Serengeti tant que vous ne vous
reconnectez pas avec la commande connect.
Il n'y a aucun paramètre de commande.
VMware, Inc.
107
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
Commande distro list
La commande distro list vous permet d'afficher la liste des rôles d'une distribution Hadoop.
Tableau 9‑11.
Paramètre
Obligatoire/facultatif
Description
--name distro_name
Facultatif
Nom de la distribution à afficher.
Commandes mgmtvmcfg
Les commandes mgmtvmcfg vous permettent d'afficher vos paramètres de configuration LDAP actuels et de
modifier le mode de gestion des comptes d'utilisateur.
Commande mgmtvmcfg get
Vous pouvez afficher la configuration LDAP actuelle à l'aide de la commande mgmtvmcfg get.
La commande mgmtvmcfg get permet d'afficher les paramètres de configuration LDAP actuels utilisés dans
votre environnement Big Data Extensions.
mgmtvmcfg get
Tableau 9‑12. Informations de connexion LDAP
type
Le service d'authentification utilisateur externe à utiliser (soit AD_AS_LDAP soit LDAP).
baseUserDn
Le DN utilisateur de base.
baseGroupDn
Le DN groupe de base.
primaryUrl
L'URL du serveur principal de votre serveur Active Directory ou LDAP.
mgmtVMUserGroupDn
(Facultatif) Le DN de base pour rechercher les groupes afin d'accéder au
Serengeti Management Server.
userName
Le nom d'utilisateur du compte d'administrateur du serveur Active Directory ou LDAP.
password
Le mot de passe du compte d'administrateur du serveur Active Directory ou LDAP.
Commande mgmtvmcfg modify
La commande mgmtvmcfg modify vous permet de spécifier différents modes de gestion des comptes
d'utilisateurs. Vous pouvez choisir d'utiliser la gestion des utilisateurs locaux, LDAP ou les deux.
Vous pouvez utiliser l'un des trois modes d'authentification utilisateur suivants : LOCAL, LDAP ou MIXED.
n
Spécifiez MIXED pour utiliser une combinaison des utilisateurs locaux et de ceux stockés dans une source
d'identité externe. Si vous choisissez ce mode, vous devez configurer Big Data Extensions pour qu'il
utilise un service LDAP ou Active Directory.
mgmtvmcfg modify --usermgmtmode MIXED
n
Spécifiez LDAP pour créer et gérer les utilisateurs et les groupes stockés dans la source d'identité de votre
entreprise telle qu'Active Directory en tant que LDAP ou LDAP. Si vous choisissez LDAP, vous devez
configurer Big Data Extensions pour qu'il utilise un service LDAP ou Active Directory.
mgmtvmcfg modify --usermgmtmode LDAP
108
VMware, Inc.
Chapitre 9 Référence des commandes de l'interface de ligne de commande Serengeti
n
Spécifiez LOCAL pour créer et gérer les utilisateurs et les groupes stockés localement dans votre
environnement Big Data Extensions. LOCAL est la solution de gestion des utilisateurs par défaut
lorsqu'aucun service Active Directory ou LDAP n'est disponible.
mgmtvmcfg modify --usermgmtmode LOCAL
Paramètre
Obligatoire ou facultatif
Description
--usermgmtmode LOCAL | LDAP |
MIXED
Facultatif
Spécifiez l'un des modes de gestion
des utilisateurs : LOCAL, MIXED ou
LDAP.
Commandes network
Les commandes network {*} vous permettent de gérer vos réseaux.
Commande network add
La commande network add vous permet d'ajouter un réseau à Serengetide sorte que les adresses IP du
réseau soient accessibles aux clusters que vous créez.
REMARQUE Si votre réseau utilise des adresses IP statiques, assurez-vous que les adresses ne sont pas
occupées avant d'ajouter le réseau.
Cet exemple ajoute un réseau avec des adresses IP assignées de façon statique.
network add --name ipNetwork --ip 192.168.1.1-100,192.168.1.120-180 --portGroup pg1
--dns 202.112.0.1 --gateway 192.168.1.255 --mask 255.255.255.1
Cet exemple ajoute un réseau avec des adresses IP assignées par DHCP.
network add --name dhcpNetwork --dhcp --portGroup pg1
Cet exemple ajoute un réseau dynamique avec des adresses IP attribuées par DHCP et génère des noms
d'hôte significatifs pour les nœuds d'un cluster Hadoop.
network add --name ddnsNetwork --dhcp --portGroup pg1 --dnsType DYNAMIC
Spécifiez le paramètre --dhcp pour les adresses dynamiques ou la combinaisons des paramètres requis pour
les adresses statiques, mais pas les paramètres des adresses dynamiques et statiques.
Tableau 9‑13.
Paramètre
Obligatoire/facultatif
Description
--name network_name_in_Serengeti
Obligatoire
Nom de la ressource réseau à ajouter.
--portGroup
port_group_name_in_vSphere
Obligatoire
Nom du groupe de ports de vSphere à
ajouter.
--dhcp
Obligatoire pour les adresses
dynamiques. Ne pas utiliser pour
les adresses statiques.
Attribuez les adresses IP DHCP
dynamiques.
--ip IP_range
Obligatoire pour les adresses
statiques. Ne pas utiliser pour les
adresses dynamiques.
Attribuez les adresses IP statiques.
Exprimez IP_range dans le format
xx.xx.xx.xx-xx[,xx]*.
Exprimez les adresses IP dans le format
xx.xx.xx.xx.
Facultatif
Les valeurs possibles incluent NORMAL,
DYNAMIC et OTHERS. La valeur par
défaut est NORMAL..
--dns dns_server_ip_addr
--secondDNS dns_server_ip_addr
--gateway gateway_IP_addr
--mask network_IP_addr_mask
--dnsType
VMware, Inc.
109
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
Commande network delete
La commande network delete vous permet de supprimer un réseau de Serengeti. La suppression d'un
réseau non utilisé libère les adresses IP du réseau pour qu'elles soient utilisées par d'autres services.
Paramètre
Obligatoire/facultatif
Description
--namenetwork_name_in_Serengeti
Obligatoire
Supprimez le réseau spécifié dans Serengeti.
Commande network list
La commande network list vous permet d'afficher la liste des réseaux disponibles dans Serengeti. Les nom,
groupe de ports dans vSphere, type d'attribution d'adresse IP, adresse IP attribuée, etc., apparaissent.
Paramètre
Obligatoire/facultatif
Description
--name network_name_in_Serengeti
Facultatif
Nom du réseau à afficher.
--detail
Facultatif
Affichez les détails du réseau.
Commande network modify
La commande network modify vous permet de reconfigurer un réseau IP statique Serengeti en lui ajoutant
des segments d'adresse IP. Il se peut que vous ayez besoin d'ajouter des segments d'adresse IP de telle sorte
qu'il y ait assez de capacité pour le cluster que vous voulez créer.
REMARQUE Si votre réseau utilise des adresses IP statiques, assurez-vous que les adresses ne sont pas
occupées avant d'ajouter le réseau.
Paramètre
Obligatoire/facultatif
Description
--namenetwork_name_in_Serengeti
Obligatoire
Modifiez le réseau IP statique spécifié
dans Serengeti.
--addIP IP_range
Facultatif
Segments d'adresse IP, au format
xx.xx.xx.xx-xx[,xx]*.
--dnsType
Facultatif
Les valeurs possibles incluent Normal,
Dynamic et Other. La valeur par
défaut est Normal.
--generateHostname
Facultatif
La valeur par défaut est False.
Commandes resourcepool
Les commandes resourcepool {*} vous permettent de gérer vos pools de ressources.
Commande resourcepool add
La commande resourcepool add vous permet d'ajouter un pool de ressources vSphere à Serengeti.
Lorsque vous ajoutez un pool de ressources à Serengeti, il représente le pool de ressources vSphere réel tel
qu'il est identifié par vCenter Server. Cette représentation symbolique vous permet d'utiliser le nom du pool
de ressources Serengeti au lieu du chemin d'accès complet du pool de ressources dans vCenter Server, dans
les fichiers de spécification de cluster.
110
VMware, Inc.
Chapitre 9 Référence des commandes de l'interface de ligne de commande Serengeti
Tableau 9‑14.
Paramètre
Obligatoire/facultatif
Description
--name resource_pool_name_in_Serengeti
Obligatoire
Nom du pool de ressources à ajouter.
--vccluster vSphere_cluster_of_the_resource_pool
Facultatif
Nom du cluster vSphere qui contient le pool
de ressources.
--vcrp vSphere_resource_pool_name
Obligatoire
Pool de ressources vSphere.
Commande resourcepool delete
La commande resourcepool delete vous permet de supprimer un pool de ressources de Serengeti.
Tableau 9‑15.
Paramètre
Obligatoire/facultatif
Description
--name resource_pool_name_in_Serengeti
Obligatoire
Pool de ressources à supprimer.
Commande resourcepool list
La commande resourcepool list vous permet d'afficher une liste de pools de ressources Serengeti. Si vous
ne spécifiez pas de nom, tous les pools de ressources Serengeti sont affichés.
Tableau 9‑16.
Paramètre
Obligatoire/facultatif
Description
--name resource_pool_name_in_Serengeti
Facultatif
Nom et chemin d'accès du pool de ressources à
afficher.
--detail
Facultatif
Incluez les détails des pools de ressources.
Commandes template
Les commandes template vous permettent de gérer les modèles de nœud dans votre environnement
Serengeti.
Commande template list
La commande template list vous permet d'obtenir une liste des modèles de nœud disponibles dans votre
environnement Serengeti.
Il n'y a aucun paramètre de commande.
Commandes topology
Les commandes topology {*} vous permettent de gérer la topologie des clusters.
Commande topology list
La commande topology list vous permet d'afficher la topologie des mappages RACK/HÔTES dans
Serengeti.
Il n'y a aucun paramètre de commande.
VMware, Inc.
111
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
Commande topology upload
La commande topology upload vous permet de télécharger un fichier de la topologie des mappages
rack/hôtes dans Serengeti. Le fichier téléchargé remplace tout autre fichier antérieur.
Le format du fichier pour chaque ligne est : rackname: hostname1, hostname2…
Tableau 9‑17.
Paramètre
Obligatoire/facultatif
Description
--fileName topology_file_name
Obligatoire
Nom du fichier de topologie.
--yes
Facultatif
Répondez O à la confirmation O/N. En cas de nonspécification, entrez manuellement o ou n.
Commandes usermgmt
Les commandes usermgmtserver vous permettent de gérer des utilisateurs et des groupes sur un serveur
Active Directory ou LDAP à des fins d'authentification utilisateur. Vous pouvez ainsi gérer les utilisateurs à
partir d'un point central.
Commande usermgmtserver add
La commande usermgmtserver add permet d'activer la gestion centralisée des comptes afin de l'utiliser avec
l'authentification utilisateur LDAP.
Pour activer la gestion centralisée des comptes afin de l'utiliser avec Big Data Extensions à l'aide de LDAP,
(soit avec Active Directory en tant que LDAP soit avec OpenLDAP), exécutez la commande usermgmtserver
add. Dans cet exemple, la gestion centralisée des comptes est activée avec les paramètres de configuration
LDAP contenus dans le fichier /opt/serengeti/sbin/LDAPConfigFile.cfg
usermgmtserver add --cfgfile /opt/serengeti/sbin/LDAPConfigFile.cfg
Paramètre
Obligatoire ou facultatif
Description
add --cfgfile config_file_path
Facultatif
Active la gestion centralisée des
comptes. Le fichier de configuration
que vous spécifiez contient les
paramètres de configuration du
serveur LDAP. Vous devez créer ce
fichier manuellement. Reportez-vous à
« Créer un fichier de configuration du
service LDAP avec l'interface de ligne
de commande Serengeti », page 29
Commande usermgmtserver modify
Vous pouvez modifier votre configuration LDAP et rendre ces modifications disponibles dans votre
environnement Big Data Extensions.
Vous pouvez appliquer à Big Data Extensions les modifications que vous apportez à vos paramètres de
configuration LDAP. Cela vous permet de mettre à jour vos informations du service LDAP.
Pour modifier les paramètres LDAP pour l'environnement Big Data Extensions, mettez à jour le fichier de
configuration LDAP selon vos besoins, puis exécutez la commande usermgmtserver modify. Dans cet
exemple, la configuration de l'environnement LDAP est mise à jour à l'aide des paramètres contenus dans le
fichier /opt/serengeti/sbin/LDAPConfigFile.cfg
usermgmtserver modify --cfgfile /opt/serengeti/sbin/LDAPConfigFile.cfg
112
VMware, Inc.
Chapitre 9 Référence des commandes de l'interface de ligne de commande Serengeti
Paramètre
Obligatoire ou facultatif
Description
modify --cfgfile config_file
Facultatif
Si vous mettez à jour le fichier de
configuration LDAP de sorte à utiliser
les nouveaux paramètres, vous devez
exécuter le paramètre modify pour
mettre à jour les paramètres dans
Big Data Extensions.
Vous devez mettre à jour
manuellement le fichier de
configuration. Reportez-vous à « Créer
un fichier de configuration du service
LDAP avec l'interface de ligne de
commande Serengeti », page 29
VMware, Inc.
113
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
114
VMware, Inc.
Index
A
accès, interface de ligne de commande 9
Active Directory
fichier de configuration 29
gérer les utilisateurs 29
activer 31
Adresses IP 25
affichage
Banques de données 85, 107
clusters 104
clusters provisionnés 85
distributions Hadoop, disponibles 84, 108
pools de ressources 86
réseaux 86
affichage des configurations ou des rôles, avec
l'interface de ligne de commande
Serengeti 16, 21, 84
affichage des distributions, avec l'interface de
ligne de commande Serengeti 15, 21,
84
affichage des distributions prises en charge,
avec l'interface de ligne de commande
Serengeti 15, 21, 84
ajout
Banques de données 24, 107
pools de ressources 23
réseaux 24
topologie 41
ajout d'un serveur de gestion de logiciels, avec
l'interface de ligne de commande
Serengeti 14, 20
ajout de clusters, avec un gestionnaire
d'applications 66
Ambari 13, 14, 19, 20
appmanager, commandes 97, 98
appmanager add, commande 9, 97, 99
appmanager list, commande 9, 97, 99
arrêt, clusters 106
arrêt des clusters 74
attributs Hadoop
sur liste blanche 94
sur liste noire 94
attributs Hadoop sur liste blanche 94
attributs Hadoop sur liste noire 94
authentification utilisateur
Active Directory 108
changer de mode 108
LDAP 108
VMware, Inc.
local 108
mixte 108
Voir aussi gestion d'utilisateurs
avec l'interface de ligne de commande 66
B
Banques de données
affichage 85, 107
ajout 24, 107
suppression 24, 107
C
capacité de calcul, mise à l'échelle 75
chargement, topologie 41
charges de travail, équilibrage 41
CLI, accès 9
Cloudera Manager 13, 14, 19, 20
cluster avec HA HDFS namenode externe 48,
50, 51
cluster de base 65
cluster de calcul du travailleur uniquement 63,
67
cluster du travailleur uniquement
MapReduce v1 50
cluster du travailleur uniquement
MapReduce v2 51
cluster du travailleur uniquement Yarn 51
cluster expand 102
cluster HA HDFS namenode externe 48, 50, 51
cluster HDFS externe, préparer 43
cluster uniquement HBase, utiliser OneFS en
tant que cluster HDFS externe 43
cluster uniquement HBase, conditions
préalables 43
cluster Yarn 51
clusters
affectation des ressources 69
affichage provisionné 85, 104
agrandissement 74
ajout avec un gestionnaire d'applications 66
arrêt 74, 106
attribution des réseaux 69
attributs dans les définitions 91
basculement 78
calcul du travailleur uniquement 63, 67
calcul uniquement 37, 59, 60, 62
115
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
conditions requises de définition dans les
fichiers de spécification de cluster 88
configuration 70, 99
configuration Hadoop par défaut 37
configuration HBase par défaut 38
création, , voir création de clusters
définition des nœuds 91
définitions, exportation 102
démarrage 74, 105
déploiement sous des pools de ressources
différents 23
gestion 73
Hadoop de base 37
Hadoop par défaut 37
HBase 37, 45
mise à l'échelle 104
mise à l'échelle élastique 104
mise à l'échelle manuelle 104
mots de passe d'administrateur de nœuds 67
mots de passe d'administrateur
personnalisés 67
nommer 64
personnalisé 37
reconfiguration 75, 78
rôles des groupes de nœuds 71
séparation données/calcul 37, 55, 57
suppression 78, 101
topologie 38, 41, 53
uniquement HBase 44
clusters de calcul de données 52
clusters de calcul uniquement 52, 59, 60, 62
clusters Hadoop
configuration par défaut 37
Voir aussi clusters
clusters Hadoop de base 37
clusters HBase
configuration 45
configuration par défaut 38
création par défaut 42
Voir aussi clusters
Clusters HBase 41
clusters MapReduce, création 49
Clusters MapReduce 49
clusters MapReduce v1 38
clusters MapReduce v2 (YARN) 38
clusters personnalisés, création 71
clusters séparés données/calcul 37, 55, 57
clusters uniquement HBase, création avec
l'interface de ligne de commande 44
commande 9, 97, 99
commande appmanager add 13, 19, 97
116
commande appmanager delete, appmanager
delete 98
commande appmanager list 15, 22, 83, 99
commande appmanager modify 98
commande cluster config 75, 78, 99
commande cluster create 64, 100
commande cluster delete 78, 101
Commande cluster expand 78, 102
commande cluster export 75, 102
commande cluster fix 80, 103
commande cluster list 85, 104
commande cluster resetParam 104
commande cluster resize 74, 75, 104
commande cluster setParam 105
commande cluster start 74, 105
commande cluster stop 74, 106
commande connect 106
commande create cluster 48, 50, 51
commande datastore add 24, 107
commande datastore delete 24, 107
commande datastore list 24, 85, 107
commande disconnect 107
commande distro list 84, 108
Commande mgmtvmcfg get 108
commande mgmtvmcfg modify 108
commande network add 24, 109
commande network delete 25, 110
commande network list 25, 86, 110
commande network modify 110
commande resourcepool add 23, 110
commande resourcepool delete 23, 111
commande resourcepool list 23, 86, 111
commande template list 111
commande topology list 39, 41, 111
commande topology upload 41, 112
Commande usermgmtserver 112
Commande usermgmtserver modify 112
commandes, appmanager 97
commandes appmanager 97
commandes cluster 99
commandes datastore 107
Commandes mgmtvmcfg 108
commandes network 109
commandes resourcepool 110
conditions préalables à la création d'un cluster
uniquement HBase 43
configuration, clusters 70, 99
configuration Hadoop, conversion XML en
JSON 96
configuration Hadoop XML, conversion en
JSON 96
configurations ou rôles, liste 16, 21, 84
VMware, Inc.
Index
connexion
aux serveurs Serengeti 106
Serengeti, services 9
contention des ressources, adressage 75
conversion de XML Hadoop en JSON
Serengeti 75
création de clusters
avec les distributions disponibles 68
avec les réseaux attribués 69
avec les ressources attribuées 69
avec prise en charge de la topologie 41, 53
avec un gestionnaire d'applications 66
calcul uniquement 59, 60, 62
contraintes de stratégie de placement 57
Hadoop par défaut 64
HBase par défaut 42
MapReduce v2 49
mot de passe d'administrateur
personnalisé 67
personnalisé 71
protection vSphere HA 45
séparation données/calcul 53, 55, 57
spécification des nœuds master, worker et
client 70
stratégies de placement 53
création de clusters HBase uniquement, avec
l'interface de ligne de commande 44
créer un cluster HA HDFS namenode
externe 48, 50, 51
D
déconnexion des serveurs Serengeti 107
défaillance disque, récupérer d'une 80
définition, attributs de nœud 91
démarrage des clusters 74, 105
développer les nœuds du cluster 102
développer un cluster 78
disque défectueux, récupérer 103
Distribution Ambari, DNS et FQDN pour le trafic
du cluster 62
distribution Cloudera
commandes administratives avec l'interface de
ligne de commande Serengeti 9
DNS et FQDN pour le trafic de cluster 41, 53,
55, 57, 60, 68–71
distribution MapR, commandes administratives
avec l'interface de ligne de commande
Serengeti 9
distribution Pivotal
commandes administratives avec l'interface de
ligne de commande Serengeti 9
DNS et FQDN pour le trafic de cluster 41, 53,
55, 57, 68–71
distributions
liste 15, 21, 84
VMware, Inc.
supported 13, 19
Voir aussi distributions Hadoop
distributions Hadoop
affichage de la liste 108
affichage disponible 84
fichiers de configuration 94
fichiers JAR 75
distributions Hadoop prenant en charge les
clusters MapReduce 38
distributions prises en charge, liste 15, 21, 84
E
équilibrage des charges de travail 41
exportation, définitions de cluster 102
Extensions de virtualisation Hadoop (HVE,
Hadoop Virtualization Extensions) 38
F
fédération 68
fichier de configuration 29
fichier log4j.properties 75
fichiers de configuration, conversion de XML
Hadoop en JSON Serengeti 75
fichiers de mappage rack/hôtes 39
fichiers de mappage rack/hôtes de la
topologie 39
fichiers de spécification de cluster
cluster de calcul uniquement 59, 60, 62
clusters séparés données/calcul 55
conditions requises de la définition de
cluster 88
conditions requises des fichiers 87
configuration 87
contraintes de topologie 53
définition des attributs 91
exemple annoté 88
fichiers JAR de distribution Hadoop 75
lien symbolique pool de ressources 23
nœuds 70
placement de nœuds 57
reconfiguration de clusters 75
stratégies de placement 39
substitutions de groupes de nœuds 78
topologie 39
G
gérer les utilisateurs et les comptes
d'utilisateurs 29
gestion, clusters 73
gestion des ressources 19
gestionnaire d'applications, modifier 15, 21
gestionnaires d'applications
ajout 97
117
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
ajout de clusters 66
gestion 13
liste 99
suppression 16, 22
surveillance 15, 22, 83
groupes de nœuds
dans les définitions de cluster 88
reconfiguration 78
rôles, modification 71
rôles, pour éviter les conflits 59, 60, 62
stockées 39
groupes de ports, , voir réseaux
H
Hadoop Virtualization Extensions (HVE) 41
HDFS, éviter les conflits de rôles de nœuds 59,
60
HÔTE_EN_RACK 38
I
N
nœuds
agrandissement d'un cluster 74
configuration des fichiers de spécification de
cluster 70
définition des attributs 91
distribution 57
nœuds clients pour Hadoop 37
nœuds Hadoop
connexion 11
mots de passe 11
nœuds master pour Hadoop 37
nœuds worker pour Hadoop 37
nom d'hôte, générer pour les nœuds de
clusters 26
noms de cluster 64
informations sur le serveur, ajout 14, 20
Interface de ligne de commande, accès 9
O
J
outil de conversion convert-hadoop-conf.rb 75,
96
Java Runtime Environment (JRE) 9
L
LDAP, gérer les utilisateurs 29
LDAP, fichier de configuration 29
liste de, gestionnaires d'applications 15, 22, 83
liste des gestionnaires d'applications 15, 22, 83
M
machine virtuelle de nœud de cluster 80
machines virtuelles, tailles prédéfinies pour
Serengeti 91
mappage des fichiers, rack/hôtes 39
mémoire, mise à l'échelle 75
mgmtvmcfg get 108
mgmtvmcfg modify 108
mise à l'échelle
clusters 74, 104
CPU 75
paramètres, configuration 105
paramètres, réinitialisation 104
RAM 75
mise à l'échelle élastique, configuration de
cluster 104
mise à l'échelle manuelle, configuration de
cluster 104
mode maintenance 81
mode maintenance, entrer 81
modes utilisateur, changer 32
modifier un gestionnaire d'applications 15, 21
118
mots de passe, nœuds Hadoop 11
mots de passe d'administrateur de nœuds 67
mots de passe pour nœuds de clusters 67
P
paramètre description 14, 20
paramètres LDAP, modifier 33, 112
paramètres LDAP, modifier 33
partages d'E/S 104, 105
passer d'un seul coup en mode virtuel 63, 67
performances de clonage 27
pools de ressources
affichage 86
ajout 23
suppression 23
préparer OneFS en tant que cluster HDFS
externe 43
présentation, gestionnaires d'applications 13, 19
R
RACK_EN_RACK 38
reconfiguration
groupes de nœuds 78
réseaux 25
récupération à partir d'un disque défectueux 80,
103
récupérer 80
redimensionner 27
redimensionner des clusters Hadoop 27
Référence des commandes de l'interface de
ligne de commande 97
VMware, Inc.
Index
réseaux
affichage du statut 86
ajout 24
ajout d'adresses IP 25
attribution aux clusters 69
suppression 25
ressources vSphere
attribution aux clusters 69
pools de ressources 23
rôles, liste 16, 21, 84
V
vSphere Fault Tolerance (FT) 78
vSphere High Availability (HA) 45, 78
S
script serengeti-maintenance.sh 81
se connecter aux nœuds Hadoop 11
segments d'adresse IP 25
serengeti-maintenance.sh 81
Serengeti, services, connexion 9
serveur de gestion de logiciels, ajout 14, 20
serveurs Serengeti
connexion à 106
déconnexion de 107
Single Sign-On (SSO) 9
stratégies de placement 39, 57
suppression
Banques de données 24, 107
clusters 78, 101
pools de ressources 23
réseaux 25
Voir aussi suppression
suppression de gestionnaires d'applications 16,
22
surveillance, environnement Big Data
Extensions 83
surveillance des gestionnaires d'applications 15,
22, 83
T
tâches MapReduce, clusters HBase 45
tailles des machines virtuelles prédéfinies 91
topologie
ajout 41
cluster 38
commandes 111
contraintes 53
stratégies de placement 39
topologies des racks 41
type de DNS 26
U
usermgmtserver 112
usermgmtserver modify 112
utilisateurs et comptes d'utilisateurs, gestion 29
VMware, Inc.
119
Guide de l'interface de ligne de commande VMware vSphere Big Data Extensions
120
VMware, Inc.
">