UPDATED VM Topology: Pure Storage VM Collector Setup - deep VMware storage analyzes and monitoring
Aktualisiert: 8. Mai 2021
Mit Veröffentlichung der neuen VM Analytics Appliance in Version 3.0 wurde der Beitrag aktualisiert und die geänderten Systemanforderungen und neuen Features zusammengefasst.
Major Feature Enhancements Version 3.0
Als wesentliche Neuerung mit VM Analytics in V3 sind die erweiterten In-Guest/VM-Metriken zu nennen. Es ist nun möglich nicht nur auf Datastore-/vDisk-Ebene Kapazitäten zu analysieren, sondern kann mit Hilfe der VMware Tools in die virtuellen Disks bis auf das Gastbetriebssystem (Partitionen) hineinzusehen. In meinen Augen eine wiederum mächtige kostenfreie Erweiterung innerhalb des Collectors und dem Pure Storage Ecosystems.
Zudem ist es jetzt auch bei der Appliance möglich, wie bei Pure gewohnt (NDU) in Zukunft den Collector in-place upzugraden ohne ein Redeployment vornehmen zu müssen.
Storage Analysen oder auch Troubleshootings sind nicht zwangsläufig komplex und zeitintensiv. Mit Pure1 und einer Appliance "VM Collector" werden Analysen über die Storageebene hinaus bis tief in die VM-/Hypervisorschicht möglich. Identifizieren sie Bottlenecks im Storage, SAN oder Hypervisor innerhalb weniger Minuten.
Mit VM Analytics werden IO-Pfade von VMs bis zum FlashArray visuell dargestellt. Heißt der gesamte Weg von: Disk (vDisk), VM, Host, Datastore, Storage Volume bis hin zum Array. Pure Storage gelingt es mit "VM Analytics" konsolidiertes Storage- und Hypervisormonitoring* (nur Diskmonitoring) ohne ein 3rd-party Monitoringtool durchzuführen. Innerhalb VM Topology kann man zum Beispiel nach Metriken wie IOPS, Bandwith und Latenzen filtern.
Systemvoraussetzungen
Um VM Analytics zu betreiben, müssen wenige Voraussetzungen erfüllt werden:
der Hypervisor für die Appliance muss von VMware und mindestens ein vCenter 6.5 U3 oder neuer sein. Es können jedoch auch Metriken ab vCenter 5.5 gesammelt werden
der VM Collector muss mit dem vCenter kommunizieren können (IP-Verbindung)
es wird ein Serviceaccount mit "read-only Rechten" (ausreichend) benötigt
VMware Tools 10.1 oder neuer, um die In-Guest VM Metriken (Kapazitäten) abzufragen (geändert mit UPDATE). - Siehe auch: FlashArray: VM Topology Requirements Checker PowerShell script
Phonehome muss aktiviert sein (Port 443/HTTPS TCP ausgehend) nach 52.40.225.224/27 und *.cloud-support.purestorage.com
Es ist möglich den VM Collector in zwei Varianten zu deployen:
Variante 1: OVA-Collector (dieser Beitrag)
Es wird eine VMware OVA in der virtuellen Umgebung deployed. Diese benötigt überschaubare Ressourcen: 4vCPUs, 8GB RAM (geändert mit UPDATE) (bei Version 2 noch 2vCPUs, 2GB RAM) und eine vDisk mit 40GB (auch thin möglich: nach der Installation werden ca. 3GB direkt genutzt). Diese Ressourcen werden automatisch beim OVA Import zugeteilt. Zudem empfiehlt es sich erfahrungsgemäß den VM Collector in eine Portgruppe zu packen, welche direkten Zugriff auf das Managementnetz der FlashArrays hat.
[ABGEKÜNDIGT] Variante 2: On-Array Collector in Purity Run
INFO: mit dem Release des VM Collector als OVA ist die alte Version unter dem Namen von "Off-Array Collector" nicht mehr länger für Neuinstallationen verfügbar.
Es gibt auch eine Migrationsmöglichkeit von Off-Array Collector nach OVA und der Mitnahme der bereits vorhandenen Konfiguration. Hierzu müssen sich die beiden Collectoren (alt-neu) über eine IP-Verbindung erreichen können.
Man hatte die Wahl den VM Collector im KVM-Stack der Controller zu betreiben. Hier bei der On-Array Variante musste Purity auf dem Softwarestand von mindestens 4.10.X, 5.1.0 sein. Die benötigten Ressourcen sind ebenfalls minimal und beeinträchtigen die Systemperformance keinesfalls. Purity Run ist seit 5.2.X bereits im Standard aktiv und verbraucht somit keine zusätzlichen Ressourcen. Jedoch gibt es Kunden, welche sich keinen zusätzlichen Load auf Storage halten wollen. Das Deployment des On-Array Collector ohne den Pure Storage Support ist nicht möglich! Hierzu müsste ein Ticket eröffnet werden und der Mitarbeiter würde dies für Ihr System einrichten.
Der Collector macht im Standard alle 10 Minuten (600 Sekunden) Systemabfragen auf das vCenter, dieser Intervall reicht für die Abfrage von ca. 8000 VMs (geändert mit UPDATE). Man schätzt den Load, welcher hierbei auf dem vCenter entsteht auf unter 5% (on top CPU). Der kleinstmögliche Wert für die Systemabfragen liegt bei 5 Minuten (300 Sekunden).
Allgemein
Der VM Collector basiert auf Docker Container-Architektur. Es ist möglich bei mehreren vCenters - innerhalb eines Netzes - einen einzigen Collector zu deployen.
Konfiguration
Den aktuellsten OVA Collector kann man über das Pure1 Portal unter Anaytics > VM Topology > "Zahnrad" > "Download OVA Collector v3.0.0" downloaden. Insofern das vCenter einen vorbereiteten Internet-Breakout hat und auf https-Seiten zugreifen kann, kann man auch nur den Download-Link kopieren und hiermit die OVF deployen - wer OVF-Vorlagen kennt, weiß es handelt sich um ein next-next-finish Setup mit vereinzelt-wenigen Eingaben:
Den Downloadlink zur OVA kann man einfach im Setup per copy-paste einfügen (siehe obige Voraussetzungen).
In den weiteren Schritten muss ein Name für die VM, ein Datastore, EULA und Netzwerkinformationen vergeben werden. Der Wizard ist selbsterklärend.
Danach kann man mit dem Klick auf "Finish" das Deployment der Appliance starten.
Nach dem erfolgreichen Deployment und booten der Appliance kann man über die VMware-Remotekonsole oder SSH letzte Konfigurationen vornehmen. Zuletzt muss noch das Standardpasswort geändert und die vCenter Instanz vorgegeben werden.
Der Standardbenutzer für die Erstanmeldung ist wie gewohnt:
Benutzer: pureuser
Passwort: pureuser
Das Passwort muss beim Initiallogin geändert werden!
Den "Authorisation Key" kann man mit "Create Collector" in Pure1 erstellen. Der Name stellt lediglich einen Alias dar, jedoch empfehle ich wie immer diesen eindeutig zu halten. Es empfiehlt sich ein Muster wie: "vCenterName-Collector-ArrayNames".
Ich habe zwischenzeitlich auf eine Putty-SSH Session gewechselt, da ich den Key hier einfach mit Copy-Paste einfügen kann.
Die Registrierung der Verbindung Appliance-Pure1 erfolgt dann mit dem Kommando:
purevmanalytics register Ihr-Authorisation-Key
HINWEIS: sollten Sie eine alte Collector aus Pure1 löschen und einen neuen Collector-Endpoint mit selbem Namen deployen, kann dies zu Problemen bei der Registrierung führen. Ich musste diese Erfahrung selbst machen und rate daher davon ab.
Nach erfolgreicher Registrierung ist es empfehlenswert die Pure1-Verbindung über:
purevmanalytics test pinghome zu testen.
Sollte es hier widererwartend zu Problemen kommen, sollte man prüfen, ob noch entsprechende Proxyeinstellungen gesetzt werden müssen. Dies kann bei Bedarf über:
purevmanalytics setattr --proxy {HTTP/HTTPS://IP-FQDN:PORT} nachgeholt werden. Die Proxyeinstellung können auch beim Deployment über das OVA-Wizard bereits konfiguriert werden.
Nun muss noch die Verbindung zum vCenter hergestellt werden (bei Neueinrichtung & keinem Konfigurationsimport). Dies erfolgt mit dem vorbereiteten Serviceaccount über:
purevmanalytics connect --hostname FQDN-/IP-Adresse-vCenter --username user@domainDie Passworteingabeaufforderung erscheint nach absetzen des Kommandos - ENTER.
Letzteres ist die einwandfreie vCenter-Anbindung über:
purevmanalytics list bzw. zu testen.
HINWEIS: sollten Sie planen von einem bestehenden Collector auf V3 upzugraden, so deployen Sie eine neue Appliance/VM mit Hilfe des OVA-Prozesses und importieren dann die vCenter-Einstellungen von dem alten Collector mit:
purevmanalytics config import --host FQDN-/IP-Adresse-alter-Collector
--user pureuserDie Registrierung der Authorisierungsschlüssels muss wie oben beschrieben erfolgen.
Nach der Einrichtung wird man feststellen: in Pure1 VM Topology sind nicht direkt Daten vorhanden. Der Collector muss nach dem Initialsetup erst mal Daten sammeln und verarbeiten. Es werden nach dem Setup zum ersten Mal Daten nach erfahrungsgemäß 3 Stunden sichtbar (ebenfalls abhängig von der Umgebungsgröße).
Man kann jedoch ebenfalls eine manuellen Phonehome über die CLI triggern:
purevmanalytics phonehome
Weitere Kommandos
Anzeigen der Collector-Version
Um herauszufinden, welche Version man derzeit installiert hat, verwenden Sie:
purevmanalytics versionPrüfung auf neue Collector-Updates
Zur Prüfung auf vorhandene Updates, verwenden Sie:
puresw listzum Installieren neuer Updates:
puresw upgrade start PackagenameSupport Bundle erstellen
Sollten Sie widererwarten in Probleme bei der Einrichtung bzw. Betrieb laufen, können Sie einfach ein Support Bundle erstellen:
puresupport bundleDas Support Bundle können Sie anschließen über den Link abrufen.
Pure1: VM Topology - erste Auswertungen
In VM Topology kann man auf verschiedenste Ebenen filtern und einzelne Komponenten herunterbrechen. Man kann die Grobfilterung wie gewohnt nach der VMware vCenterstruktur auf Datacenter oder Cluster vornehmen. Anschließend auf den jeweils einzelnen Layern: Array, Datastore, Host, ...
Es ist schwierig in einer Testumgebung sinnige Usecases zu finden. Im nachfolgenden Beispiel wollte ich sehen, was vDisk1 auf der VM "Poc-Test-Perf" für eine Latenz auf dem jeweiligen Zielsystem hat. Hier können Anfragen wie z. B.: Die Storage ist zu langsam, meine Datenbank ist träge! bearbeitet werden.
Die zu filternden Metriken beschränken sich nicht nur auf die Latenz. Es können alle traditionell-relevanten Metriken für Storage ausgewählt werden.
Weitere Infos - Links
Sämtliche offiziell veröffentlichten Einstellungsmöglichkeiten in der GUI, aber auch CLI können über die "on-board" User Guides der Pure Storage Systeme nachgelesen werden.
Im Purity Hauptmenü hierzu auf "Help" klicken.
Der User Guide ist wie das Hauptmenü gegliedert und kann von Ebene zu Ebene geöffnet werden. Eine Suchfunktion ist auch integriert - hier kann mit Schlagworten gesucht werden.
WEB: Pure Storage (Pure1) Supportportal - Ticketsystem und Unterstützung *(erfordert registrierte FlashSysteme)
TEL: Pure Storage Telefonsupport: GER - (+49) (0)800 7239467; INTERNATIONAL - (+1) 650 7294088
WEB: Pure Storage OFFICIAL Blog