¶ Запуск Jupyter Notebook для вычислений
Использование: только для запуска уже подготовленных расчетов на сервере. Запрещается использовать установленный на сервере JUPYTER NOTEBOOK для учебной работы и для процесса разработки!
Для учебных целей рекомендуется использовать бесплатный web-сервис Google Colab.
¶ Процесс запуска Jupyter Notebook на сервере:
- Подключаемся по протоколу
sshк серверуgpu.hpc.susu.ruна порту2222. Это можно сделать через Putty в Windows, ssh/cyberduck в Linux/Mac.
ssh -p 2222 gpu.hpc.susu.ru
- Вы попадете на сервер и увидите приветственное сообщение с инструкцией по запуску Jupyter Notebook
Для работы с Jupyter Notebook выполните следующие команды:
- Выполните команду
module load software/anaconda/latest
Строка приглашения примет следующий вид:
(base)<ваше_имя_пользователя>@head:/home/…
- Рекомендуется создавать личные окружения для работы с библиотеками:
conda create -n <название_окружения> python=<версия_python>
- Подключаться к вашему новому окружению conda:
conda activate <имя_окружения>
- В строке приглашения изменится метка окружения:
(<название_окружения>)<ваше_имя_пользователя>@head:/home/...
- Для того, чтобы Jupyter Notebook использовал установленные библиотеки необходимо установить его в ваше conda окружение:
conda install jupyter notebook
В случае медленной загрузки пакетов через conda рекомендуется использовать другой пакетный менеджер, например Mamba.
- После этого вы можете устанавливать необходимые библиотеки в ваше окружение, например:
conda install tensorflow-gpu или conda install pythorch
- Т.к. количество графических ускорителей ограничено, необходимо указывать время жизни задачи. По умолчанию оно равно
1 часу. После этого вашJupyter Notebookзавершит свою работу, и все процессы остановятся.
Необходимо указывать время жизни задачи каждый раз! Все несохраненные данные будут утеряны!
- Запуск Jupyter Notebook с
2-мя любыми GPU,2 ядрами процессораи временем жизни задачи5 часов:
sbatch --gres=gpu:2 -c 2 --time 5:0:0 run_notebook
- Запуск Jupyter Notebook с
2-мя Tesla V100,2 ядрами процессораи временем жизни задачи5 часов:
sbatch --gres=gpu:v100:2 -c 2 --time 5:0:0 run_notebook
- Запуск Jupyter Notebook с
2-мя Tesla A30,2 ядрами процессораи временем жизни задачи5 часов:
sbatch --gres=gpu:a30:2 -c 2 --time 5:0:0 run_notebook
- Запуск Jupyter Notebook с
2-мя Tesla A100,2 ядрами процессораи временем жизни задачи2 часа:
sbatch --gres=gpu:a100:2 -c 2 --time 2:0:0 run_notebook
- Примечание: весь стандартный вывод будет находиться в файле
notebook-<номер задачи>.out(в том числе порт для «проброса» на локальную машину и токен).
¶ Примеры вывода в файле:
Activating env:jupyter_notebook_2023
Using anaconda:2023.03
PORT TO USE: 2027
TOKEN: a9b63dfd94c37f97bfbe7b94d6a8a1c17b023ded183aa0be
URL: http://localhost:2027/tree?token=a9b63dfd94c37f97bfbe7b94d6a8a1c17b023ded183aa0be
Указан порт для использования 4001
- После того, как задача начнет выполняться (она получит статус
«R»вsqueue— списке всех задач в очереди), нужно«пробросить»порт на локальную машину, чтобы получить доступ к выполняемому notebook из браузера:
Для Linux/MacOS: из терминала локального ПК выполните команду:
ssh -p 2222 ВАШ_ЛОГИН@gpu.hpc.susu.ru -L 8080:localhost:<PORT>
где 8080 — локальный порт для доступа в браузере, а <PORT> — тот, что указан в выводе notebook-<номер задачи>.out.
Вам будет необходимо ввести ваш пароль
Порт 8080 часто используется другими приложениями. Если у вас возникнут проблемы с доступом к web-интерфесу Jupyter Notebook, попробуйте сменить, например, на 8888 и далее использовать уже его вместо 8080.
Для Windows предлагается использовать наиболее популярный ssh-клиент — Putty (в примере на скриншотах использовался порт 1339):
Также на Windows доступен вариант создание проброса порта через PowerShell, для этого откройте окно соотвествующего терминала и запустите следующую команду:
ssh -L <локальный_порт>:<удаленный_хост>:<удаленный_порт> -p 2222 <пользователь>@gpu.hpc.susu.ru
<локальный_порт>— локальный порт, к которому вы хотите подключиться на своей машине.<удаленный_хост>— удаленный хост, к которому будет подключен проброшенный порт (часто этоlocalhost).<удаленный_порт>— порт на удаленном сервере, который вы хотите пробросить.
Пример как выглядит команда:
ssh -L 9002:localhost:4001 -p 2222 testuser@gpu.hpc.susu.ru
- Теперь можно зайти в браузере на локальной машине по
http://localhost:8080, ввести токен из файлаnotebook-<jobid>.outи выполнять расчеты.
Убедительная просьба, в случае если расчёт в Jupyter Notebook был завершен ранее установленного времени, нажать кнопку Quit в браузере или остановить свою задачу командой
scancel [номер задачи]! Тем самым вы освободите ограниченные ресурсы!
