BwUniCluster2.0/Jupyter (Deutsch) - Revision history

K Siegmund: K Siegmund moved page Jupyter am SCC to BwUniCluster2.0/Jupyter (Deutsch) without leaving a redirect: Zuordnung zu bwUni Zweig

2023-07-04T09:11:38Z

K Siegmund moved page Jupyter am SCC to BwUniCluster2.0/Jupyter (Deutsch) without leaving a redirect: Zuordnung zu bwUni Zweig

← Older revision	Revision as of 11:11, 4 July 2023
(No difference)

P Schuhmacher at 11:20, 29 March 2022

2022-03-29T11:20:57Z

← Older revision		Revision as of 13:20, 29 March 2022
Line 31:		Line 31:
	Die Anmeldung erfolgt unter		Die Anmeldung erfolgt unter
	* [https://uc2-jupyter.scc.kit.edu uc2-jupyter.scc.kit.edu]		* [https://uc2-jupyter.scc.kit.edu uc2-jupyter.scc.kit.edu]
			* SDIL: [https://sdil-jupyter.scc.kit.edu sdil-jupyter.scc.kit.edu]

			* HoreKa: [https://hk-jupyter.scc.kit.edu hk-jupyter.scc.kit.edu]
			* HAICORE: [https://haicore-jupyter.scc.kit.edu haicore-jupyter.scc.kit.edu]

	Für die Anmeldung wird der Benutzername, das Passwort und eine 2-Faktor Authentifizierung benötigt.		Für die Anmeldung wird der Benutzername, das Passwort und eine 2-Faktor Authentifizierung benötigt.
Line 37:		Line 39:
	Sie landen zunächst auf der Startseite, auf der Sie Informationen zu den zurzeit installieren Software versionen finden. Indem Sie auf den Login Knopf drücken werden sie auf die Jupyterhub Seite weitergeleitet. Klicken Sie auf "Enter Jupyterhub" um den Login Prozess zu starten. Wählen Sie Ihre Heimatorganisation (z.B. KIT) aus und drücken sie auf Fortfahren. Im nun eingeblendeten Abschnitt Einloggen tragen Sie Ihren Benutzernamen und das Passwort ein (nicht das Service Passwort). Nach dem Drücken des Einloggen Knopfes werden Sie auf die Abfrageseite für den zweiten Faktor geleitet. Tragen Sie hier das Einmalpasswort ein (beispielsweise von KIT Token oder Google Authenticator App) und drücken Sie auf Prüfen. Nun sind Sie angemeldet und können sich ihre benötigten Rechenressourcen auswählen		Sie landen zunächst auf der Startseite, auf der Sie Informationen zu den zurzeit installieren Software versionen finden. Indem Sie auf den Login Knopf drücken werden sie auf die Jupyterhub Seite weitergeleitet. Klicken Sie auf "Enter Jupyterhub" um den Login Prozess zu starten. Wählen Sie Ihre Heimatorganisation (z.B. KIT) aus und drücken sie auf Fortfahren. Im nun eingeblendeten Abschnitt Einloggen tragen Sie Ihren Benutzernamen und das Passwort ein (nicht das Service Passwort). Nach dem Drücken des Einloggen Knopfes werden Sie auf die Abfrageseite für den zweiten Faktor geleitet. Tragen Sie hier das Einmalpasswort ein (beispielsweise von KIT Token oder Google Authenticator App) und drücken Sie auf Prüfen. Nun sind Sie angemeldet und können sich ihre benötigten Rechenressourcen auswählen

	[[File:~~anmeldung_750~~.gif\|750px]]		[[File:Jupyter_Anmeldung.gif\|750px]]

	= Auswahl der Compute-Ressourcen =		= Auswahl der Compute-Ressourcen =
Line 51:		Line 53:
	* Menge an Hauptspeicher		* Menge an Hauptspeicher

			Wenn Auto-Reservation ausgewählt ist wird die Reservation für Jupyterhub Nutzer beim erzeugen des Notebooks verwendet.
	Wenn Auto-Reservation

	Im normalen Modus enthalten die ausgegrauten Felder eine sinnvolle Vorauswahl der Ressourcen, abhängig von der Anzahl der benötigten CPU-Kerne bzw. GPUs. Die Vorauswahl kann im erweiterten Modus umgangen werden, wo weitere Optionen zur Verfügung stehen.		Im normalen Modus enthalten die ausgegrauten Felder eine sinnvolle Vorauswahl der Ressourcen, abhängig von der Anzahl der benötigten CPU-Kerne bzw. GPUs. Die Vorauswahl kann im erweiterten Modus umgangen werden, wo weitere Optionen zur Verfügung stehen.

			Wenn der Advanced Modus ausgewählt ist sind folgende Optionen zusätzlich verfügbar:

			* Angabe einer Reservation
			* LSDF mount Option
			* BEEOND mount Option

	Nachdem die Auswahl getroffen ist, wird der interaktive Job mit dem Spawn Knopf gestartet. Wie beim Anfordern von interaktiven Compute-Ressourcen mit dem `salloc` Befehl kann es zu Wartezeiten kommen. Diese sind in der Regel um so länger, je größer die angeforderten Ressourcen sind.		Nachdem die Auswahl getroffen ist, wird der interaktive Job mit dem Spawn Knopf gestartet. Wie beim Anfordern von interaktiven Compute-Ressourcen mit dem `salloc` Befehl kann es zu Wartezeiten kommen. Diese sind in der Regel um so länger, je größer die angeforderten Ressourcen sind.
	Auch wenn die gewählten Ressourcen sofort verfügbar sind, kann der Startvorgang bis zu einer Minute dauern.		Auch wenn die gewählten Ressourcen sofort verfügbar sind, kann der Startvorgang bis zu einer Minute dauern.

	[[File:~~Ressources_750~~.gif\|500px]]		[[File:Ressources_neu.gif\|500px]]

	Sollte versehentlich eine nicht mögliche Ressourcenkombination gewählt werden, wird dies mit einer Fehlermeldung angezeigt.		Sollte versehentlich eine nicht mögliche Ressourcenkombination gewählt werden, wird dies mit einer Fehlermeldung angezeigt.

	[[File:~~falsche_ressourcen_750~~.gif\|500px]]		[[File:Jupyter_Falsche_ressourcen.gif\|500px]]

	Das Timeout für das Spawnen ist derzeit auf 10 Minuten eingestellt. Bei einer normalen Auslastung der HPC-Anlage reicht diese Zeit in der Regel aus, um interaktive Ressourcen zu erhalten.		Das Timeout für das Spawnen ist derzeit auf 10 Minuten eingestellt. Bei einer normalen Auslastung der HPC-Anlage reicht diese Zeit in der Regel aus, um interaktive Ressourcen zu erhalten.
Line 145:		Line 153:
	== Software Stacks für Jupyter ==		== Software Stacks für Jupyter ==

	Derzeit sind 2 spezielle Jupyter Software Stacks per Lmod verfügbar:		Derzeit sind 3 spezielle Jupyter Software Stacks per Lmod verfügbar:

			* jupyter/minimal
			*: Minimale Installation von JupyterLab.
	* jupyter/base		* jupyter/base
	*: Basis-Installation von JupyterLab.		*: Basis-Installation von JupyterLab.
Line 154:		Line 164:
	*: Eine vollständige Liste der vorinstallierten Pakete und deren jeweilige Version finden Sie [https://uc2-jupyter.scc.kit.edu/software-modules/#pre-installed-software-packages hier].		*: Eine vollständige Liste der vorinstallierten Pakete und deren jeweilige Version finden Sie [https://uc2-jupyter.scc.kit.edu/software-modules/#pre-installed-software-packages hier].

			Die Software Stacks können sowohl mit dem Zugriff über Jupyterhub als auch uber SSH mit module load benutzt werden.
	Die Integration weiterer Programmiersprachen und Kernel sind in Arbeit: '''Julia, R, C/C++''' (cling)
			Eine aktualisierte Liste von installierten Paketen kann auf der entsprechenden Seite des Clusters gefunden werden:

			* bwUniCluster 2.0: [https://uc2-jupyter.scc.kit.edu/software-modules uc2-jupyter.scc.kit.edu/software-modules]
			* HoreKa: [https://hk-jupyter.scc.kit.edu/software-modules hk-jupyter.scc.kit.edu/software-modules]

	= Installation eigener Software =		= Installation eigener Software =

P Schuhmacher at 11:09, 29 March 2022

2022-03-29T11:09:25Z

← Older revision		Revision as of 13:09, 29 March 2022
Line 33:		Line 33:


	Für die Anmeldung wird der ~~KIT~~ Benutzername, das ~~KIT~~ Passwort und eine 2-Faktor Authentifizierung benötigt.		Für die Anmeldung wird der Benutzername, das Passwort und eine 2-Faktor Authentifizierung benötigt.

	~~Falls~~ Sie ~~noch~~ ~~nicht~~ am ~~KIT~~ ~~eingeloggt~~ ~~sind,~~ ~~werden~~ Sie ~~zunächst~~ ~~automatisch~~ auf die ~~entsprechende~~ ~~Login-~~Seite weitergeleitet. Wählen Sie Ihre Heimatorganisation (z.B. KIT) aus und drücken sie auf Fortfahren. Im nun eingeblendeten Abschnitt Einloggen tragen Sie Ihren ~~KIT~~ Benutzernamen und das ~~KIT~~ Passwort ein (nicht das Service Passwort). Nach dem Drücken des Einloggen Knopfes werden Sie auf die Abfrageseite für den zweiten Faktor geleitet. Tragen Sie hier das Einmalpasswort ein (beispielsweise von KIT Token oder Google Authenticator App) und drücken Sie auf Prüfen.		Sie landen zunächst auf der Startseite, auf der Sie Informationen zu den zurzeit installieren Software versionen finden. Indem Sie auf den Login Knopf drücken werden sie auf die Jupyterhub Seite weitergeleitet. Klicken Sie auf "Enter Jupyterhub" um den Login Prozess zu starten. Wählen Sie Ihre Heimatorganisation (z.B. KIT) aus und drücken sie auf Fortfahren. Im nun eingeblendeten Abschnitt Einloggen tragen Sie Ihren Benutzernamen und das Passwort ein (nicht das Service Passwort). Nach dem Drücken des Einloggen Knopfes werden Sie auf die Abfrageseite für den zweiten Faktor geleitet. Tragen Sie hier das Einmalpasswort ein (beispielsweise von KIT Token oder Google Authenticator App) und drücken Sie auf Prüfen. Nun sind Sie angemeldet und können sich ihre benötigten Rechenressourcen auswählen
	Nun werden Sie auf die JupyterHub Seite weitergeleitet, nach dem Drücken des "Sign in with your KIT Account" Knopfes sind Sie angemeldet.

	[[File:anmeldung_750.gif\|750px]]		[[File:anmeldung_750.gif\|750px]]
Line 51:		Line 50:
	* Partition/Queue		* Partition/Queue
	* Menge an Hauptspeicher		* Menge an Hauptspeicher

			Wenn Auto-Reservation

	Im normalen Modus enthalten die ausgegrauten Felder eine sinnvolle Vorauswahl der Ressourcen, abhängig von der Anzahl der benötigten CPU-Kerne bzw. GPUs. Die Vorauswahl kann im erweiterten Modus umgangen werden, wo weitere Optionen zur Verfügung stehen.		Im normalen Modus enthalten die ausgegrauten Felder eine sinnvolle Vorauswahl der Ressourcen, abhängig von der Anzahl der benötigten CPU-Kerne bzw. GPUs. Die Vorauswahl kann im erweiterten Modus umgangen werden, wo weitere Optionen zur Verfügung stehen.

S Braun: /* Anmeldevorgang */

2021-12-09T09:13:37Z

Anmeldevorgang

← Older revision		Revision as of 11:13, 9 December 2021
Line 31:		Line 31:
	Die Anmeldung erfolgt unter		Die Anmeldung erfolgt unter
	* [https://uc2-jupyter.scc.kit.edu uc2-jupyter.scc.kit.edu]		* [https://uc2-jupyter.scc.kit.edu uc2-jupyter.scc.kit.edu]

	*[https://fh2-jupyter.scc.kit.edu fh2-jupyter.scc.kit.edu]

	Für die Anmeldung wird der KIT Benutzername, das KIT Passwort und eine 2-Faktor Authentifizierung benötigt.		Für die Anmeldung wird der KIT Benutzername, das KIT Passwort und eine 2-Faktor Authentifizierung benötigt.

S Braun: /* Zugangsvoraussetzungen */

2021-12-09T09:13:27Z

Zugangsvoraussetzungen

← Older revision		Revision as of 11:13, 9 December 2021
Line 21:		Line 21:
	= Zugangsvoraussetzungen =		= Zugangsvoraussetzungen =

	Zur Nutzung von Jupyter auf den HPC Ressourcen des SCC gelten die Zugriffsvoraussetzungen für den [https://wiki.bwhpc.de/e/BwUniCluster_2.0_User_Access bwUniCluster 2.0~~] bzw. [https://wiki.scc.kit.edu/hpc/index.php?title=ForHLR_-_User_Access ForHLR~~]. Die Registrierung auf [https://bwidm.scc.kit.edu/ https://bwidm.scc.kit.edu/] wird vorausgesetzt.		Zur Nutzung von Jupyter auf den HPC Ressourcen des SCC gelten die Zugriffsvoraussetzungen für den [https://wiki.bwhpc.de/e/BwUniCluster_2.0_User_Access bwUniCluster 2.0]. Die Registrierung auf [https://bwidm.scc.kit.edu/ https://bwidm.scc.kit.edu/] wird vorausgesetzt.

	Der Jupyter Dienst ist nur erreichbar von innerhalb der Netze Ihrer Heimatorganisation. Für den Zugriff von außerhalb müssen Sie zunächst eine [https://wiki.bwhpc.de/e/BwUniCluster_2.0_User_Access_New#Establishing_network_access VPN Verbindung] zu Ihrer Heimatorganisation herstellen.		Der Jupyter Dienst ist nur erreichbar von innerhalb der Netze Ihrer Heimatorganisation. Für den Zugriff von außerhalb müssen Sie zunächst eine [https://wiki.bwhpc.de/e/BwUniCluster_2.0_User_Access_New#Establishing_network_access VPN Verbindung] zu Ihrer Heimatorganisation herstellen.

S Braun: /* Verwendung eigener virtueller Umgebungen */

2021-02-19T11:38:17Z

Verwendung eigener virtueller Umgebungen

← Older revision		Revision as of 13:38, 19 February 2021
Line 174:		Line 174:
	</li>		</li>
	</ul>		</ul>

	= Verwendung eigener virtueller Umgebungen =

	<!--[[File:fail.mp4\|alignment="right"]]-->

S Braun: /* Installation eigener Software */

2021-02-19T11:38:07Z

Installation eigener Software

← Older revision		Revision as of 13:38, 19 February 2021
Line 157:		Line 157:
	= Installation eigener Software =		= Installation eigener Software =

			Die von den Lmod-Modulen jupyter/base und jupyter/tensorflow bereitgestellte Software kann leicht durch zusätzliche Pakete ergänzt werden. Hierfür gibt es 2 empfohlene Vorgehensweisen.
⚫	`pip install`
			<ul>
			<li>User-Installation von pip Paketen<br>
			<code>pip install --user <packageName></code><br>
			Die zusätzlichen Pakete werden im Verzeichnis <code>$HOME/.local/lib/python3.6/site-packages/</code> installiert, welches Teil des <code>PYTHONPATH</code> ist.
			</li>

			<li>Virtual Environments<br>
			Es können virtuelle Umgebungen angelegt und benutzt werden.<br>
			Pakete, welche von den Lmod Modulen zur Verfügung gestellt werden, bleiben sicht- und nutzbar.
			<pre>
			python -m venv <myEnv>
			source <myEnv>/bin/activate
		⚫	pip install <packageName>
			</pre>
			</li>
			</ul>

	= Verwendung eigener virtueller Umgebungen =		= Verwendung eigener virtueller Umgebungen =

S Braun: /* Software Stacks für Jupyter */

2021-02-19T11:34:14Z

Software Stacks für Jupyter

← Older revision		Revision as of 13:34, 19 February 2021
Line 145:		Line 145:

	Derzeit sind 2 spezielle Jupyter Software Stacks per Lmod verfügbar:		Derzeit sind 2 spezielle Jupyter Software Stacks per Lmod verfügbar:
	* devel/jupyter_base (default beim Login)
	*: Basis-Installation von JupyterLab und Python, eigene Python Module via `pip install <Paketname>` installierbar
	* devel/jupyter_ml
⚫	*: Vorinstallierte Softwarepakete für Machine Learning Anwendungen. Beinhaltet unter anderem TensorFlow, Keras, Torch, MXNet~~, MPI4Py~~, Pandas, Matplotlib, SKLearn

			* jupyter/base
⚫	~~Bereits bestehende Python-Varianten werden sukzessive für die Verwendung in Jupyter angepasst.~~ Die Integration weiterer Programmiersprachen und Kernel sind in Arbeit: '''Julia, R, C/C++''' (cling)
			*: Basis-Installation von JupyterLab.
			*: Eine vollständige Liste der vorinstallierten Pakete finden Sie [https://uc2-jupyter.scc.kit.edu/software-modules/#pre-installed-software-packages hier].
			* jupyter/tensorflow (Default-Einstellung)
		⚫	*: Vorinstallierte Softwarepakete für Machine Learning Anwendungen. Beinhaltet unter anderem TensorFlow, Keras, Torch, MXNet, Pandas, Matplotlib, SKLearn
			*: Eine vollständige Liste der vorinstallierten Pakete und deren jeweilige Version finden Sie [https://uc2-jupyter.scc.kit.edu/software-modules/#pre-installed-software-packages hier].

		⚫	Die Integration weiterer Programmiersprachen und Kernel sind in Arbeit: '''Julia, R, C/C++''' (cling)

	= Installation eigener Software =		= Installation eigener Software =

S Braun: /* Linke Seitenleiste */

2021-02-19T11:29:51Z

Linke Seitenleiste

← Older revision		Revision as of 13:29, 19 February 2021
Line 91:		Line 91:
	* Tab-Übersicht		* Tab-Übersicht
	* Lmod-Software Auswahl: Suche und Laden/Entladen von Lmod Software Modulen		* Lmod-Software Auswahl: Suche und Laden/Entladen von Lmod Software Modulen

	[[File:seitenleiste_small.gif\|750px]]

	== Haupt-Arbeitsbereich ==		== Haupt-Arbeitsbereich ==

S Braun: /* Menüleiste */

2021-02-19T11:29:41Z

Menüleiste

← Older revision		Revision as of 13:29, 19 February 2021
Line 81:		Line 81:
	* Settings: allgemeine Einstellungen und ein Editor für erweiterte Einstellungen		* Settings: allgemeine Einstellungen und ein Editor für erweiterte Einstellungen
	* Help: eine Liste von Hilfelinks zu JupyterLab und zum Kernel		* Help: eine Liste von Hilfelinks zu JupyterLab und zum Kernel

	[[File:menu_small.gif\|500px]]

	== Linke Seitenleiste ==		== Linke Seitenleiste ==