Настроиться на работу: Как за 7 минут настроиться на рабочий лад

 от Ray Import Tune

класс Trainable (tune.Trainable):
    def setup (self, config):
        # config (dict): диктат гиперпараметров
        себя.х = 0
        self.a = config ["a"]
        self. b = config ["b"]

    def step (self): # Это вызывается итеративно.
        оценка = цель (self.x, self.a, self.b)
        self.x + = 1
        return {"score": score}

анализ = tune.run (
    Обучаемый,
    stop = {"training_iteration": 20},
    config = {
        «а»: 2,
        "b": 4
    })

print ('лучшая конфигурация:', analysis.get_best_config (metric = "score", mode = "max"))
 

Как подкласс tune.Trainable , Tune создаст объект Trainable в отдельном процессе (с использованием Ray Actor API).

1. настройка Функция вызывается после начала обучения.

2. шаг вызывается несколько раз . Каждый раз объект Trainable выполняет одну логическую итерацию обучения в процессе настройки, которая может включать в себя одну или несколько итераций фактического обучения.

3. очистка вызывается после завершения обучения.

Подсказка

Как показывает опыт, время выполнения шага должно быть достаточно большим, чтобы избежать накладных расходов (т.е.е. более нескольких секунд), но достаточно короткого, чтобы периодически сообщать о прогрессе (т. е. не более нескольких минут).

Вы заметите, что Ray Tune будет выводить дополнительные значения в дополнение к показателям, указанным пользователем, например, iterations_since_restore . См. Автоматически заполняемые метрики для объяснения / глоссария этих значений.

Вы также можете реализовать контрольную точку / восстановление с помощью API обучаемого класса:

 класс MyTrainableClass (обучаемый):
    def save_checkpoint (self, tmp_checkpoint_dir):
        checkpoint_path = os.path.join (tmp_checkpoint_dir, "model.pth")
        torch.save (self.model.state_dict (), путь_контрольной точки)
        вернуть tmp_checkpoint_dir

    def load_checkpoint (self, tmp_checkpoint_dir):
        checkpoint_path = os.path.join (tmp_checkpoint_dir, "model.pth")
        self.model.load_state_dict (torch.load (путь_контрольной точки))

tune.run (MyTrainableClass, checkpoint_freq = 2)
 

Вы можете проверять точку с помощью трех различных механизмов: вручную, периодически и при завершении.

Ручная установка контрольных точек : Custom Trainable может вручную запускать контрольную точку, возвращая значение should_checkpoint: True (или tune.result.SHOULD_CHECKPOINT: True ) в словаре результатов шага шаг . Это может быть особенно полезно в спотовых случаях:

 шаг по умолчанию (самостоятельно):
    # обучающий код
    результат = {"mean_accuracy": точность}
    если detect_instance_preemption ():
        result.update (should_checkpoint = True)
    вернуть результат
 

Periodic Checkpointing : периодические контрольные точки могут использоваться для обеспечения отказоустойчивости для экспериментов. Это можно включить, установив checkpoint_freq = и max_failures = , чтобы проверять контрольные точки каждые N итераций и восстанавливать до M сбоев за испытание, e.г .:

 tune.run (
    my_trainable,
    checkpoint_freq = 10,
    max_failures = 5,
)
 

Контрольная точка на завершении : контрольная точка_freq может не совпадать с точным окончанием эксперимента. Если вы хотите, чтобы в конце была создана контрольная точка пробной версии можно дополнительно установить checkpoint_at_end = True :

 tune.run (
     my_trainable,
     checkpoint_freq = 10,
     checkpoint_at_end = Верно,
     max_failures = 5,
 )
 

Используйте validate_save_restore для перехвата ошибок save_checkpoint / load_checkpoint перед выполнением.

 из ray.tune.utils import validate_save_restore

# оба из них должны вернуться
validate_save_restore (MyTrainableClass)
validate_save_restore (MyTrainableClass, use_object_store = True)
 

Продвинутый: повторное использование актеров

Примечание

Эта функция предназначена только для API обучаемых классов.

Ваш Trainable часто запускается долго. Чтобы избежать этого, вы можете выполнить tune.run (reuse_actors = True) , чтобы повторно использовать один и тот же процесс и объект Trainable Python для нескольких гиперпараметров.

Для этого необходимо реализовать Trainable.reset_config , который предоставляет новый набор гиперпараметров. Пользователь должен правильно обновлять гиперпараметры вашего обучаемого.

 класс PytorchTrainble (tune.Trainable):
    "" "Обучите Pytorch ConvNet." ""

    def setup (self, config):
        self.train_loader, self.test_loader = get_data_loaders ()
        self.model = ConvNet ()
        self.optimizer = optim.SGD (
            self.model.parameters (),
            lr = config.получить ("lr", 0,01),
            импульс = config.get ("импульс", 0.9))

    def reset_config (self, new_config):
        для param_group в self.optimizer.param_groups:
            если "lr" в new_config:
                param_group ["lr"] = new_config ["lr"]
            если "импульс" в new_config:
                param_group ["импульс"] = new_config ["импульс"]

        self.model = ConvNet ()
        self.config = new_config
        вернуть True
 

Расширенное распределение ресурсов

Сами обучающие материалы можно раздавать.Если ваша обучаемая функция / класс создает дополнительные акторы или задачи Ray, которые также потребляют ресурсы ЦП / ГП, вы захотите добавить больше пакетов в PlacementGroupFactory , чтобы зарезервировать дополнительные слоты ресурсов. Например, если обучаемому классу требуется 1 графический процессор, но он также запускает 4 актера, каждый из которых использует другой графический процессор, тогда вы должны использовать это:

 tune.run (
     my_trainable,
     name = "my_trainable",
     resources_per_trial = tune.PlacementGroupFactory ([
         {"CPU": 1, "GPU": 1},
         {"GPU": 1},
         {"GPU": 1},
         {"GPU": 1},
         {"GPU": 1}
     ])
 )
 

Trainable также предоставляет интерфейс default_resource_requests для автоматического объявления resources_per_trial на основе заданной конфигурации.

tune.DurableTrainable

Tune предоставляет оболочку ray.tune.durable () , которую можно использовать для преобразования любого вида обучаемых к DurableTrainable , включая предварительно зарегистрированные тренажеры RLLib и функциональные обучающие программы.

DurableTrainable синхронизирует пробные журналы и контрольные точки с облачным хранилищем (через upload_dir ). Это особенно полезно при обучении большого количества распределенных испытаний, поскольку в противном случае журналы и контрольные точки синхронизируются через SSH, что быстро может стать узким местом для производительности.Класс DurableTrainable наследуется от Обучаемый и, следовательно, может быть расширен как базовый класс.

класс ray.tune. DurableTrainable ( remote_checkpoint_dir , * args , ** kwargs ) [источник]

Абстрактный класс для отказоустойчивого обучаемого с поддержкой удаленного хранилища.

Поддерживает создание контрольных точек и восстановление из удаленного хранилища. Чтобы использовать это class, реализуйте те же частные методы, что и ray.мелодия.

Запустите это с настройкой следующим образом. Настройка sync_to_driver = False отключает синхронизация с драйвером, чтобы избежать дублирования контрольных точек, так как а также предотвращение синхронизации драйвером той же контрольной точки.

См. tune / trainable.py .

remote_checkpoint_dir

Каталог загрузки (путь S3 или GS).

Тип

ул.

storage_client

Внутренний интерфейс настройки для взаимодействия с внешним место хранения.

 >>> tune.run (MyDurableTrainable, sync_to_driver = False)
 

ray.tune. прочный ( обучаемый: Union [str, Type [ray.tune.trainable.Trainable], Callable] ) [источник]

Превратите обучаемого в надежного обучаемого.

Прочные обучающие материалы используются для загрузки результатов испытаний и контрольных точек. в облачное хранилище, например AWS S3.

Эту функцию можно использовать для преобразования ваших обучаемых, т.е.е. ваш обучаемый классы, функции или строковые идентификаторы для длительного обучения.

Чтобы надежные тренажеры работали, вы должны сдать действующий SyncConfig объект tune.run () .

Пример:

 от Ray Import Tune

анализ = tune.run (
    tune.durable ("PPO"),
    config = {"env": "CartPole-v0"},
    checkpoint_freq = 1,
    sync_config = tune.SyncConfig (
        sync_to_driver = Ложь,
        upload_dir = "s3: // ваше-s3-ведро / прочный-ppo /",
    ))
 

Вы также можете преобразовать свои обучаемые функции:

 мелодия.запустить(
    tune.durable (your_training_fn),
    # ...
)
 

И ваши функции класса:

 tune.run (
    tune.durable (YourTrainableClass),
    # ...
)
 

Параметры

обучаемый ( str | Type [ Trainable ] | Callable ) - Обучаемый. Может быть строковый идентификатор, обучаемый класс или обучаемая функция.

Возвращает

Прочный обучаемый класс, обернутый вокруг вашего обучаемого.

Время настроить домашний офис

МАДЖАДАХОНДА, МАДРИД, ИСПАНИЯ - 11 МАЯ. Вирджиния Бежар, партнер фотографа, пытается работать в ... [+] доме, держа на руках свою шестимесячную дочь Оливию, также дочь фотографа, во время изоляции от коронавируса Covid-19 11 мая 2020 года в Махадаонде, Мадрид, Испания. Некоторые части Испании вступили в «первую фазу» перехода от изоляции от коронавируса, что позволило вновь открыться многим магазинам, а также ресторанам, обслуживающим клиентов на открытом воздухе.Места, которые больше всего пострадали от коронавируса (COVID-19), такие как Мадрид и Барселона, остаются в более строгом карантине «фазы 0». По всей стране рабочие, которые могут выполнять свою работу из дома, как Бежар, обязаны это делать. Фактически, большинство офисов по-прежнему закрыты. (Фото Мигеля Перейры / Getty Images)

Когда руководители по всей стране обратились к сотрудникам, чтобы сообщить им, что большинству из них будет разрешено работать из дома на постоянной основе, даже после того, как пандемия пройдет, они и другие профессионалы по всей стране поняли, что существует тенденция к работе из дома. на долгое время.

РЕКЛАМНОЕ ОБЪЯВЛЕНИЕ

Когда новости о пандемии в марте дали понять, что многие из нас будут переезжать из офисов, университетских городков и других мест на работу из дома, миллионы профессионалов быстро переместились, чтобы создать рабочие зоны в наших домах, квартирах и кондоминиумах. У некоторых было преимущество наличия профессионального домашнего офиса, но многие другие работают из кухонь, притонов или других доступных пространств, когда они спешно переезжали, чтобы все наладить.

Пришло время создать самое лучшее пространство, в котором мы можем работать из дома.Это означает улучшение той области, в которой вы можете выполнять свою работу более эффективно, столько времени, сколько потребуется для того, чтобы вещи вернулись к новому нормальному состоянию в ближайшие недели или месяцы.

Найдите время, чтобы провести инвентаризацию, чтобы убедиться, что у вас есть минимум оборудования, необходимого для вашего пространства, а может быть и больше, если возможно. Основное оборудование, которое вам нужно, - это стол или стол, на котором можно разместить компьютер, стул, телефон, Wi-Fi или прямое подключение к Интернету, возможность доступа к рабочим приложениям, функциональное освещение для работы на компьютере и для видеозвонков.

В идеале у вас должен быть доступ к общему диску, например к документам Google, чтобы вы и ваши коллеги могли работать с одним и тем же документом. Общий диск предотвращает передачу нескольких версий документов, потому что пользователи работают с одним и тем же. Далее следует возможность проводить конференц-связь и разрешать сотрудникам подключаться к мосту 800 #.

При настройке домашнего офиса учитывайте необходимость уменьшения шума или отвлекающих факторов от собак, детей, телевизора и других членов семьи.Вот почему важно иметь комнату с дверью, которую вы можете закрыть, чтобы иметь как можно больше уединения, чтобы вы могли сосредоточиться на своей работе. Если у вас нет доступа к комнате с дверью, создайте в доме место, недоступное для других, на несколько часов в день.

Лучший способ для родителей избежать «инцидентов с бомбардировками» - это признать, что они случаются почти со всеми, у кого есть дети дома, и понять, что они обычно происходят быстро и без предупреждения. У меня есть коллега, который в последнюю минуту устроил свой кабинет в чулане, чтобы при необходимости убирать шум.Это работает для него - и вам нужно найти то, что работает для вас.

Если вы проводите видеозвонки, найдите голую стену или незагроможденное место, чтобы сесть перед камерой, чтобы камера не показывала беспорядочный и отвлекающий фон для вашей аудитории. Несмотря на то, что это не может быть постоянным соглашением, вам все равно нужно иметь профессиональные настройки. Я знаю, что если у кого-то во время видеовстречи много картинок и беспорядок на заднем плане, меня отвлекает то, что происходит на заднем плане. Постарайтесь предотвратить это - и, если вы не можете избежать беспорядка, попробуйте использовать один из доступных видео фонов.

РЕКЛАМНОЕ ОБЪЯВЛЕНИЕ

Я считаю видеоконференции идеальной формой удаленного общения. Я использую Zoom, он позволяет присоединиться нескольким участникам, а качество звука и видео отличное.

Zoom - отличный способ заменить личные встречи, но они сопряжены с некоторыми проблемами. Например, как узнать, когда говорить? Что отвлекает на встрече? Я перечислил несколько советов, которые я считаю эффективными на собраниях:

1.Как отмечалось ранее, ФОН может отвлекать.

РЕКЛАМНОЕ ОБЪЯВЛЕНИЕ

2. Пусть ОДИН ЧЕЛОВЕК возглавит собрание и обеспечит всем возможность поговорить.

3. ШУМ тоже отвлекает. Попросите всех отключить свою линию, если не разговаривают. Это предотвращает проникновение визга и других непредвиденных звуков и срыв собрания.

4. ПРЕДУПРЕЖДЕНИЕ РАЗГОВОРНЫХ СТОЛКНОВЕНИЙ. Я предлагаю поднять вашу руку, чтобы лидер мог позвать вас к разговору. Да прямо как в школе.Я обнаружил, что это простой способ запретить людям говорить одновременно.

5. ЭКРАН. Это отличный способ убедиться, что все находятся на одной странице, поэтому не стесняйтесь использовать эту функцию при представлении информации. Это удобно и выгодно.

РЕКЛАМНОЕ ОБЪЯВЛЕНИЕ

Для тех, кто управляет командами, которые работают из дома, особенно для тех профессионалов, для которых виртуальная работа не является нормой, менеджеры должны регулярно поддерживать связь между сотрудниками.Связи создают чувство общности, комфорта и позволяют сотрудникам делиться и вместе изучать «веревки» виртуальной работы. В зависимости от должности, я предлагаю менеджерам устраивать по крайней мере один звонок в день, пока сотрудники не почувствуют себя комфортно, а затем уменьшить частоту.

Наконец, необходимо убедиться, что ваши собрания Zoom безопасны - многие используют функцию «комнаты ожидания», чтобы не допустить присоединения нежелательных участников - и вы также должны уделять время обеспечению безопасности в сети.Не менее важно: надежные пароли, пины или любая форма защиты для предотвращения доступа хакеров к системам, когда вы работаете из дома, является критически важной частью успешной навигации по новому американскому опыту работы на дому.

Школа Рока | Руководство для начинающих по настройке гитары

Обучение игре на гитаре - одна из первых проблем, с которой сталкивается новичок при обучении игре. Как бы вы ни старались, вы просто не сможете добиться фальшивого звука гитары «правильно».Это руководство поможет вам научиться настраивать гитару (с тюнером или без него), определять ноты струн на гитаре и дольше сохранять настройку гитары. Регулярная практика необходима для изучения инструмента, а сонастройка делает практику гораздо более увлекательной и полезной.

Основы настройки гитары

Во-первых, давайте начнем с некоторых основных частей настройки гитары. Настройкой гитары управляют колки на грифе гитары. Вращение колышков изменяет высоту струн вверх или вниз.Затягивание струн увеличивает высоту звука; ослабление струн понижает высоту звука.

Как часто нужно настраивать гитару?

Вам следует настраивать гитару каждый раз, когда вы на ней играете. Вы не можете ожидать, что ваша гитара останется настроенной между тренировками. Гитары также теряют мелодию во время игры, особенно если вы играете на струнах или играете длительное время. Во время игры рекомендуется часто проверять настройку гитары. Если вы играете аккорд, и он звучит не совсем правильно, даже если вы знаете, что играете правильные ноты, значит, ваша гитара расстроена.

Как настроить гитару

Электронные тюнеры сделали настройку гитарных нот быстрой и простой. Вы также можете использовать эталонную ноту (с другого инструмента, тональной трубы или камертона), чтобы настроить одну из своих струн, а затем настроить ее «на слух».

Настройка гитары с помощью хроматического или питч-тюнера

Электрические тюнеры с клипсой произвели революцию в настройке гитары. В отличие от старых электрических тюнеров, к которым вы должны подключаться, они прикрепляются к гриву гитары и воспринимают колебания струн.Они скажут вам, является ли струна «плоской» (слишком низкой), «острой» (слишком высокой) или гармоничной. Они подходят как для акустических, так и для электрогитар. Это недорогой, точный и простой способ настроить гитару. Многие тренировочные усилители также имеют встроенные тюнеры.

Как настроить гитару без тюнера

Если вам интересно, как настроить гитару без тюнера, вы не одиноки. Многим музыкантам может понадобиться настроить гитару без тюнера на ходу или в поездке.

К счастью, для мобильных устройств доступны сотни приложений тюнера, многие из которых даже бесплатны. Эти приложения используют встроенный микрофон вашего устройства, чтобы услышать высоту струн, что упрощает настройку гитары. Когда вы настраиваете высоту струн, дисплей вашего устройства сообщает вам, когда вы настроены.

Вы также можете настраиваться, используя эталонную высоту звука другого инструмента, например фортепиано или другой гитары, которая, как вы знаете, настроена.

Это немного сложнее, поскольку вам нужно настроить одну из своих струн на эталонную высоту звука «на слух».Это включает в себя прослушивание эталонной высоты звука, воспроизведение той же ноты на гитаре и сравнение высоты звука. Отрегулируйте свою ноту, чтобы она соответствовала опорной высоте. Настроив одну струну, вы можете настроить остальные ноты гитарной струны, сыграв ладовую ноту на нижней струне, а затем настроив открытую струну на эту ноту.

Поиск нот гитарной струны: EADgbe

У гитары 6 струн. Ноты гитарной струны перечислены в порядке убывания к высокому: E, A, D, G, B, E.

Чтобы помочь запомнить эти имена строк, есть несколько поговорок, которые мы можем использовать: E ddie A te D ynamite, G ood B ye E ddie или E at A D ead G rasshopper B efore E все остальное. 1-я струна - это высокая ми, а нижняя струна - это 6-я струна.

Настройка нот каждой струны гитары

Совет по настройке E note

Если у вас есть эталонная высота, вы можете начать с настройки вашей нижней струны ми (самой толстой струны).Если эталонной высоты звука нет, сыграйте на 7-м ладу струны A. Это произведет ноту E.

Fat E - 6-я струна

Настройте нижнюю струну ми на вашу эталонную ноту, отрегулируйте высоту тона вверх или вниз, пока они не будут согласованы.

А - 5-я струна

Затем настройте свою струну A, играя ноту на 5-м ладу струны E, регулируйте высоту тона вверх или вниз, пока они не будут согласованы.

D - 4-я струна

Затем настройте свою струну D, играя ноту на 5-м ладу струны A, регулируйте высоту тона вверх или вниз, пока они не будут согласованы.

G - 3-я струна

Затем настройте свою струну G, играя ноту на 5-м ладу струны D, увеличивая или уменьшая высоту звука до тех пор, пока они не будут согласованы.

Б - 2-я нитка

Для этой струны есть небольшое изменение: настройте свою струну B, играя ноту на 4-м ладу струны G, увеличивайте или уменьшайте высоту звука до тех пор, пока они не будут согласованы.

E - 1-я струна

Затем настройте свою струну E, играя ноту на 5-м ладу струны B, увеличивая или уменьшая высоту тона до тех пор, пока они не будут согласованы.

Летние лагеря для гитары

Предлагаемые в течение всего летнего сезона лагеря School of Rock Music обучают студентов тому, как играть свои любимые песни в составе группы. Наши летние гитарные лагеря, в которых проводятся семинары, от написания песен до выступлений на сцене, идеально подходят для студентов любого уровня подготовки.

Как дольше держать гитару в гармонии

Когда ваша гитара настроена, вы можете сделать несколько вещей, чтобы удерживать ее в настроении дольше.

1. Часто меняйте струны. Когда ваши струны начинают звучать мертвыми или у вас возникают проблемы с настройкой, замените их новыми.
2. Натяните гитарные струны. При смене струн обязательно растягивайте новые струны. Вы можете сделать это, играя или осторожно натягивая струны (будьте осторожны и не тяните слишком сильно, иначе они сломаются).
3. Позаботьтесь о своей гитаре. Не подвергайте гитару сильным колебаниям температуры или влажности.Когда вы закончите играть на гитаре, протрите струны легкой тканью и уберите гитару в футляр или сумку.

Независимо от того, используете ли вы электронный тюнер или настраиваете «на слух», если вы выполните эти простые шаги, у вас будет гитара, которая настроена, остается настроенной и на ней будет веселее играть.

Семейные исследования в Техническом университете Северо-Восточного Мэриленда

студентов Harford Community College (HCC) имеют возможность получить B.С. в семье и социальных служб, не покидая округ Харфорд. Студенты HCC, которые зарабатывают либо А.А. степень по социологии: курс общей социологии или А.А. по социологии: социальная Трудовой путь может применяться для перевода в программу семейных и социальных услуг.

Зачем получать степень в области семьи и социальных услуг в TU в Северо-Восточном Мэриленде?

Эта степень обеспечивает отличную подготовку к различным карьерам в сфере социального обеспечения, включая работу в дошкольных учреждениях, агентствах по усыновлению и программах социальных услуг.Кроме того, он обеспечивает основу для обучения в аспирантуре в таких областях, как социальная работа, консультирование, психология и право. Студентам программы помогают понять и синтез материалов курса посредством экспериментального обучения в сообществе. Этот происходит в процессе обучения служению в Общественных службах для семей. курс и 120 часов стажировки.

Другие преимущества получения этой степени в Университете Таусона в Северо-Восточном Мэриленде включают в себя небольшие классы, бесплатную и удобную парковку, академические консультации на месте и помощь в трудоустройстве, а также налаженное партнерство HCC / TU, которое обеспечивает беспроблемная передача.

Программа Dual Track в кампусе TUNE (pdf)

Малое семейное обучение

Студенты Технического университета в Северо-Восточном Мэриленде также могут получить дополнительное образование в области семейных исследований. 21 единицы курсовой работы необходимы для завершения второстепенного.

Тереза ​​Герберт на ярмарке ресурсов для молодежи и семьи в HCC

Использование гиперпараметрической настройки | Обучение платформе AI | Google Cloud

На этой странице показано, как использовать гиперпараметр AI Platform Training. тюнинг при обучении вашей модели.Настройка гиперпараметров оптимизирует цель указанная вами переменная. Целевая переменная называется гиперпараметрическая метрика . Когда вы начинаете работу с настройкой гиперпараметров, вы установите название вашей гиперпараметрической метрики. Это имя, которое вы присваиваете скалярная сводка, которую вы добавляете к своему тренеру.

Этапы настройки гиперпараметров

Чтобы использовать настройку гиперпараметров в своей учебной работе, вы должны выполнить следующие действия. шаги:

1. Укажите конфигурацию настройки гиперпараметров для вашего учебного задания, включая HyperparameterSpec в ваш объект TrainingInput.

2. Включите в свое приложение для обучения следующий код:

   • Проанализируйте аргументы командной строки, представляющие гиперпараметры, которые вы хотите настроить, и используйте значения, чтобы установить гиперпараметры для вашего тренировочное испытание.
   • Добавьте метрику гиперпараметра в сводку для графика.

Ниже приведены подробные сведения о каждом шаге.

Укажите конфигурацию настройки гиперпараметров для вашего учебного задания

Создайте объект HyperparameterSpec для хранения настройки гиперпараметров. конфигурации для вашего учебного задания и добавьте HyperparameterSpec в качестве гиперпараметры объект в вашем объекте TrainingInput.

В вашем HyperparameterSpec установите для гиперпараметра HyperparameterMetricTag значение представляющий выбранную вами метрику. Если вы не укажете гиперпараметр MetricTag , Обучение платформе AI ищет метрику с название обучение / hptuning / метрика . В следующем примере показано, как создать конфигурация для метрики с именем метрика1 :

gcloud

Добавьте информацию о конфигурации гиперпараметров в конфигурацию YAML файл.Ниже приведен пример. Для рабочего файла конфигурации см. hptuning_config.yaml в выборке оценщика переписи.

  обучение
  scaleTier: CUSTOM
  masterType: complex_model_m
  workerType: complex_model_m
  параметрServerType: large_model
  workerCount: 9
  parameterServerCount: 3
  гиперпараметры:
    цель: МАКСИМИЗИРОВАТЬ
    hyperparameterMetricTag: metric1
    maxTrials: 30
    maxParallelTrials: 1
    enableTrialEarlyStopping: True
    параметры:
    - parameterName: hidden1
      тип: INTEGER
      minValue: 40
      maxValue: 400
      scaleType: UNIT_LINEAR_SCALE
    - имя параметра: numRnnCells
      тип: ДИСКРЕТНЫЙ
      дискретные значения:
      - 1
      - 2
      - 3
      - 4
    - имя параметра: rnnCellType
      тип: КАТЕГОРИЧЕСКИЙ
      категориальные значения:
      - БазовыйLSTMCell
      - BasicRNNCell
      - GRUCell
      - LSTMCell
      - LayerNormBasicLSTMCell
  

Python

Создайте словарь, представляющий ваш HyperparameterSpec, и добавьте его в свой обучающий ввод.В следующем примере предполагается, что вы уже создали словарь TrainingInput (в данном случае с именем training_inputs ), как показано в конфигурации учебного задания гид.

  # Добавить настройку гиперпараметров в конфигурацию задания.
hyperparams = {
    'goal': 'MAXIMIZE',
    'hyperparameterMetricTag': 'metric1',
    'maxTrials': 30,
    'maxParallelTrials': 1,
    'enableTrialEarlyStopping': True,
    'params': []}

hyperparams ['params']. append ({
    'имя_параметра': 'скрытый1',
    'тип': 'ЦЕЛОЕ',
    'minValue': 40,
    'maxValue': 400,
    'scaleType': 'UNIT_LINEAR_SCALE'})

гиперпарамс ['параметры'].добавить ({
    'имя_параметра': 'numRnnCells',
    'тип': 'ДИСКРЕТНЫЙ',
    'дискретные значения': [1, 2, 3, 4]})

hyperparams ['params']. append ({
    'имя_параметра': 'rnnCellType',
    'type': 'КАТЕГОРИЧЕСКИЙ',
    'categoryValues': [
        'BasicLSTMCell',
        'BasicRNNCell',
        'GRUCell',
        "LSTMCell",
        'LayerNormBasicLSTMCell'
    ]
})

# Добавить спецификацию гиперпараметров в словарь обучающих вводов.
training_inputs ['гиперпараметры'] = гиперпараметры

# Создайте спецификацию работы.
job_spec = {'jobId': my_job_name, 'trainingInput': training_inputs}
  

Проверьте код в приложении для обучения

В своем приложении обработайте аргументы командной строки для гиперпараметров. и сообщите свой гиперпараметрический показатель в AI Platform Training.

Обрабатывать аргументы командной строки для гиперпараметров, которые нужно настроить

AI Platform Training устанавливает аргументы командной строки при вызове вашего обучения заявление. Используйте аргументы командной строки в своем коде:

1. Определите имя для каждого аргумента гиперпараметра и проанализируйте его, используя любое парсер аргументов, который вы предпочитаете (обычно argparse ). Имена аргументов должны соответствовать именам параметров, которые вы указали в конфигурация задания, как описано выше.

2. Назначьте значения из аргументов командной строки гиперпараметрам в ваш тренировочный код.

Сообщите свой гиперпараметрический показатель в AI Platform Training

Способ передачи метрики гиперпараметра в службу обучения AI Platform зависит от от того, используете ли вы TensorFlow для обучения или нет. Это также зависит от того, используете ли вы версию во время выполнения или кастомный контейнер для обучения.

Мы рекомендуем, чтобы ваш обучающий код сообщал метрику гиперпараметров в Обучение платформе искусственного интеллекта часто, чтобы воспользоваться преимуществами раннего остановка.

TensorFlow с версией среды выполнения

Если вы используете версию среды выполнения AI Platform Training и тренируйтесь с TensorFlow, затем вы можете сообщить свой показатель гиперпараметра в Обучение платформе искусственного интеллекта путем записи метрики в сводку TensorFlow. Используйте один из следующие функции:

Использование другого API TensorFlow, который вызывает одну из предыдущих функций, как в следующем примере оценщика также сообщает метрику гиперпараметра в Обучение платформе AI.

В следующих примерах показаны основы двух различных способов написания гиперпараметрическая метрика в сводку.Оба примера предполагают, что вы тренируете регрессионной модели, и они записывают среднеквадратическую ошибку между базовой истиной метки и оценочные прогнозы в виде гиперпараметрической метрики с именем metric1 .

Keras

В следующем примере используется пользовательский Keras Перезвоните писать скалярную сводку в конце каждой эпохи обучения:

  класс MyMetricCallback (tf.keras.callbacks.Callback):

    def on_epoch_end (self, epoch, logs = None):
        tf.summary.scalar ('metric1', журналы ['RootMeanSquaredError'], эпоха)

logdir = "журналы / скаляры /" + дата и время.now (). strftime ("% Y% m% d-% H% M% S")
file_writer = tf.summary.create_file_writer (logdir + "/ метрики")
file_writer.set_as_default ()

model = tf.keras.Sequential (
    tf.keras.layers.Dense (1, Activation = 'linear', input_dim = 784))
model.compile (
    optimizer = 'rmsprop',
    loss = 'mean_squared_error',
    metrics = ['RootMeanSquaredError'])

model.fit (
    x_train,
    y_train,
    batch_size = 64,
    эпох = 10,
    steps_per_epoch = 5,
    подробный = 0,
    callbacks = [MyMetricCallback ()])
  

Оценщик

В следующем примере используется тс.Estimator.add_metrics , чтобы добавить метрику гиперпараметра в сводку для графика.

Обратите внимание, что оценщики составляют сводку в виде графика каждый раз, когда их оценивает метод бежит. В этом примере используется tf.estimator.EvalSpec с участием tf.estimator.train_and_evaluate настроить оценщик для оценки и записи итогов каждые 300 секунд во время тренировки.

  # Создать метрику для настройки гиперпараметров
def my_metric (метки, прогнозы):
    # Обратите внимание, что разные типы оценщиков предоставляют разные
    # ключи на предсказаниях Tensor.предсказания ['предсказания'] предназначены для
    # вывод регрессии.
    pred_values ​​= предсказания ['предсказания']
    return {'metric1': tf.compat.v1.metrics.root_mean_squared_error (label, pred_values)}

# Создать оценщик для обучения и оценки
def train_and_evaluate (output_dir):

    оценка = tf.estimator.DNNLinearCombinedRegressor (...)

    оценка = tf.estimator.add_metrics (оценка, my_metric)

    train_spec = ...
    eval_spec = tf.estimator.EvalSpec (
        start_delay_secs = 60, # начать оценку через 60 секунд
        throttle_secs = 300, # оценивать каждые 300 секунд
        ...)
    tf.estimator.train_and_evaluate (оценка, train_spec, eval_spec)
  

Другие платформы машинного обучения или специальные контейнеры

Если вы используете кастомный контейнер для обучения или если вы хотите выполнить настройку гиперпараметров с помощью фреймворка, отличного от TensorFlow, тогда вы должны использовать cloudml-hypertune Пакет Python для передачи метрики гиперпараметров в AI Platform Training.

См. Пример использования cloudml-hypertune .

Получение сведений о настройке гиперпараметров во время работы

Вы можете контролировать настройку гиперпараметров с помощью получение подробного статуса вашей беговой тренировки работа.

Объект TrainingOutput в У ресурса Job ответа есть следующие значения, установленные во время учебного задания с настройка гиперпараметров:

• isHyperparameterTuningJob установлен на True .

• испытаний присутствует и содержит список Гиперпараметр Выход объекты, по одному на пробу.

Вы также можете получить идентификатор пробной версии из переменной среды TF_CONFIG См. Руководство по получение подробностей из TF_CONFIG .

Получение результатов настройки гиперпараметров

После завершения тренировочных заездов вы можете просматривать результаты каждой пробной версии в облачной консоли. Как вариант, вы можете позвонить projects.jobs.get , чтобы получить полученные результаты. В Обучение объект в ресурсе задания содержит метрики для всех прогонов, с метриками для наиболее оптимально настроенного пробега.

Используйте то же самое подробный запрос статуса поскольку вы используете для отслеживания задания во время обработки, чтобы получить эту информацию.

Вы можете увидеть результаты каждого испытания в описании должности. в Cloud Console, вы можете фильтровать пробные версии по rmse , learning_rate и обучающих шагов . Найдите испытание, которое дало наиболее желаемую ценность для вашего гиперпараметрическая метрика. Если испытание соответствует вашим стандартам успеха модели, вы можете использовать значения гиперпараметров, показанные для этого испытания, в последующих пробеги вашей модели.

Иногда несколько испытаний дают одинаковые результаты для вашего метрика настройки.В таком случае следует определить, какой из гиперпараметров значения наиболее выгодны по другим показателям. Например, если вы настраиваете количество узлов в скрытом слое, и вы получите идентичные результаты, когда значение установлено на 8, как когда оно установлено на 20, вы должны использовать 8, потому что больше узлов означает больше обработки и затрат без улучшения вашей модели.

Пробное состояние FAILED в Гиперпараметр Выход может либо означает, что обучение не прошло для этого испытания, либо что испытание не сообщить метрику настройки гиперпараметров.В последнем случае родительская работа может успешно, даже если испытание не удалось. Вы можете просмотреть журнал пробной версии, чтобы узнать, подготовка не прошла для испытания.

Ограничение количества попыток

Вы должны решить, сколько испытаний вы хотите разрешить запускать сервису и установить значение maxTrials в объекте HyperparameterSpec.

Есть два конкурирующих интереса, которые следует учитывать при принятии решения о том, сколько испытаний позволяют:

• время (а следовательно и стоимость)
• точность

Увеличение количества испытаний обычно дает лучшие результаты, но это не так. всегда так.В большинстве случаев наступает момент уменьшения доходности, после которого дополнительные испытания практически не влияют на точность. Может быть лучше начните с небольшого количества попыток, чтобы оценить выбранный вами эффект гиперпараметры оценивают точность вашей модели перед тем, как начать работу с большим количество испытаний.

Чтобы получить максимальную отдачу от настройки гиперпараметров, не следует устанавливать максимальное значение. значение меньше десятикратного количества гиперпараметров, которые вы используете.

Обработка неудачных испытаний

Если ваши попытки настройки гиперпараметров завершились с ошибками, возможно, вы захотите рано закончить учебную работу.Задайте поле maxFailedTrials в поле HyperparameterSpec - количество неудачных испытаний, которое вы хотите разрешить. После того, как такое количество испытаний не удалось, AI Platform Training завершает работу по обучению. Значение maxFailedTrials должно быть меньше или равно maxTrials .

Если вы не установите maxFailedTrials , или если вы установите его на 0 , AI Platform Training использует следующие правила для обработки неудачных испытаний:

• Если первая проба вашей работы не удалась, AI Platform Training завершит работу немедленно.Неудача во время первого испытания указывает на проблему в вашем обучающий код, поэтому дальнейшие испытания также могут потерпеть неудачу. Завершение работы дает у вас есть возможность диагностировать проблему, не дожидаясь новых испытаний и нести большие затраты.
• Если первая проба будет успешной, AI Platform Training может завершить работу после отказы во время последующих испытаний по одному из следующих критериев:
  • Число неудачных испытаний слишком велико.
  • Соотношение неудачных и успешных испытаний слишком велико.

Эти внутренние пороговые значения могут быть изменены. Чтобы обеспечить определенное поведение, установите поле maxFailedTrials .

Проведение параллельных испытаний

Вы можете указать количество испытаний для параллельного запуска, установив maxParallelTrials в объекте HyperparameterSpec.

Запуск параллельных испытаний позволяет сократить время обучения. занимает (реальное время - общее время обработки требуется, обычно не изменяется).Однако параллельная работа может уменьшить эффективность настройки в целом. Это потому, что настройка гиперпараметров использует результаты предыдущих испытаний, чтобы сообщить значения для присвоения гиперпараметры последующих испытаний. При параллельной работе некоторые испытания начать, не имея результатов каких-либо испытаний, которые еще продолжаются.

Если вы используете параллельные испытания, услуга обучения предусматривает несколько тренировок. обрабатывающие кластеры (или несколько отдельных машин в случае однопроцессный тренажер).Уровень шкалы, который вы установили для своей работы, используется для каждый индивидуальный тренировочный кластер.

Досрочное прекращение испытаний

Вы можете указать, что обучение AI Platform должно автоматически останавливать пробную версию, стал явно бесперспективным. Это сэкономит вам деньги на продолжение пробной версии. это вряд ли будет полезно.

Чтобы разрешить преждевременную остановку испытания, установите значение enableTrialEarlyStopping в HyperparameterSpec на TRUE .

Возобновление завершенной настройки гиперпараметров

Вы можете продолжить завершенную настройку гиперпараметров, чтобы начать с состояния что частично оптимизировано.Это дает возможность повторно использовать знания полученный в предыдущей работе по настройке гиперпараметров.

Чтобы возобновить задание по настройке гиперпараметров, отправьте новое задание по настройке гиперпараметров. со следующей конфигурацией:

• Установите значение resumePreviousJobId в HyperparameterSpec к идентификатору вакансии предыдущего испытания.
• Укажите значения для maxTrials и maxParallelTrials .

AI Platform Training использует предыдущий идентификатор вакансии для поиска и повторного использования те же цели , params и hyperparameterMetricTag значения для продолжения работа по настройке гиперпараметров.

Используйте согласованное имя гиперпараметра MetricTag и параметры для аналогичных заданий, даже когда задания имеют разные параметры. Эта практика делает возможным for AI Platform Training, чтобы со временем улучшить оптимизацию.

В следующих примерах показано использование конфигурации resumePreviousJobId :

gcloud

  обучение
  scaleTier: CUSTOM
  masterType: complex_model_m
  workerType: complex_model_m
  параметрServerType: large_model
  workerCount: 9
  parameterServerCount: 3
  гиперпараметры:
    enableTrialEarlyStopping: ИСТИНА
    maxTrials: 30
    maxParallelTrials: 1
    resumePreviousJobId: [PREVIOUS_JOB_IDENTIFIER]
  

Python

  # Добавить настройку гиперпараметров в конфигурацию задания.hyperparams = {
    'enableTrialEarlyStopping': True,
    'maxTrials': 30,
    'maxParallelTrials': 1,
    'resumePreviousJobId': [PREVIOUS_JOB_IDENTIFIER]}

# Добавить спецификацию гиперпараметра в словарь обучающих вводов.
training_inputs ['гиперпараметры'] = гиперпараметры

# Создайте спецификацию работы.
job_spec = {'jobId': my_job_name, 'trainingInput': training_inputs}
  

Настройка гиперпараметров с помощью Cloud TPU

Если вы выполняете задание по настройке гиперпараметров с включенным Cloud TPU Обучение платформе AI, рекомендуется использовать eval_metrics недвижимость в TPUEstimatorSpec .

См. Образец настройки гиперпараметра ResNet-50 TPU для рабочий пример настройки гиперпараметров с помощью Cloud TPU.

Вместо использования свойства eval_metrics для использования настройки гиперпараметров service, альтернативой является вызов tf.