Можете ли вы запустить проект машинного обучения дома?
Несмотря на все разговоры о машинном обучении в последние годы, трудно игнорировать желание попробовать его на себе. Кажется, что технология развивается очень быстрыми темпами и уже нашла применение во многих средах. Если у вас есть некоторые навыки программирования и базовое понимание некоторых концепций статистики, вам хорошо подойти с точки зрения требований к навыкам.
Однако вам также придется подумать об оборудовании, которое вам понадобится для этого. Вы можете разместить все дома или использовать удаленные службы – у обоих есть свои преимущества и недостатки.
Основные требования для разработки машинного обучения
Для работы вам понадобится относительно мощное оборудование. Хотя вы можете запускать большинство связанных инструментов на недорогом ноутбуке, вы сильно ограничены в своем обучающем потенциале, и все это займет гораздо больше времени, чем нужно.
Ваш графический процессор (графический процессор) является здесь наиболее важным компонентом. Это не имеет прямого отношения к графике. Просто графические процессоры лучше подходят для тех типов вычислений, на которых основано машинное обучение.
Графический процессор, поддерживающий CUDA, будет здесь еще лучше, хотя его получение будет стоить вам дороже. Не волнуйтесь, если в данный момент вы не можете позволить себе такое оборудование. Вы также можете запускать свои решения удаленно, хотя вам придется иметь дело с взлетами и падениями этой настройки.
Почему ваши расходы могут быть выше в 2021 году
Также стоит отметить, что покупка нового оборудования для машинного обучения сейчас может быть еще более сложной задачей. В мире складывается непростая ситуация, связанная с нехваткой полупроводников, используемых в производстве различной бытовой электроники. Пострадали многие рынки, от графических процессоров до смартфонов и других устройств.
Согласно некоторым прогнозам, этот дефицит может продлиться еще несколько лет, поскольку он явился результатом неожиданного совпадения нескольких факторов. Из-за пандемии, снижающей производственные возможности и роста спроса, а также из-за того, что майнеры и скальперы скупают весь запас, ситуация была сложной для тех, кто просто хочет получить новый графический процессор.
Неясно, когда цены нормализуются – цены могут продолжать расти. Поиск бывшего в употреблении графического процессора может быть лучшим вариантом, хотя вы не можете гарантировать, что найдете что-то подходящее.
Преимущества и недостатки размещенных платформ
Размещенная платформа для разработки машинного обучения позволит вам сосредоточиться на фактической работе по разработке, не беспокоясь об аппаратном обеспечении. Вы получите выгоду от расширенной вычислительной мощности, и эти платформы обычно могут запускать ваши решения намного быстрее, чем все, что вы могли бы построить дома.
Конечно, такая власть не дается бесплатно. Для использования большинства этих услуг вам придется заплатить абонентскую плату. Те, которые предлагаются бесплатно, имеют свои собственные ограничения.
Например, вы не сможете запускать свою программу по требованию и, возможно, придется ждать в очереди. Это может быть особенно проблематично для более длительных тренировок, когда вам придется добавить несколько дополнительных часов к и без того долгому периоду ожидания.
К тому же некоторые люди просто чувствуют себя более комфортно на работе, когда у них есть все, что есть на месте. Таким образом, безусловно, может быть удобнее работать с машинным обучением, когда некоторые модели могут иметь размер в несколько гигабайт, и для их передачи на соответствующие серверы и с них может потребоваться некоторое время.
Лучший из двух миров
Вы можете использовать смешанный подход. Выполняйте большую часть своей разработки локально – как реальную работу над вашими алгоритмами и моделями – и используйте размещенный сервис для крупной и дорогостоящей обработки.
Обычно вы можете отправлять свои данные партиями, чтобы они обрабатывались сразу в течение определенного периода времени, и вам просто нужно вернуться, чтобы получить результаты позже. Это может хорошо сработать, когда вам не нужны немедленные результаты, и может позволить вам выполнять дорогостоящие тренировки при относительно низких затратах.
Это тот подход, к которому сейчас прибегает большинство людей. Если вы не хотите тратить слишком много на оборудование, но в первую очередь согласны потратить на это немного денег, то, вероятно, вам стоит обратить внимание на это.
На рынке есть различные предложения, некоторые из которых предназначены для людей с небольшим бюджетом, так что посмотрите вокруг и посмотрите, что там доступно. Иногда вам может сойти с рук размещение ваших проектов за удивительно небольшие деньги, если к ним не предъявляются какие-либо сложные требования.
Будьте осторожны с конфиденциальными данными
Помните, что машинное обучение часто может включать работу с конфиденциальными данными. Например, вам может быть поручено обрабатывать медицинские записи или другую личную информацию. Само собой разумеется, что вам нужно быть гораздо более осторожным в таких ситуациях, если вы работаете с удаленными размещенными службами.
Вы должны знать о последствиях передачи этих данных на удаленные серверы. Иногда вы можете обнаружить, что нарушаете определенные правовые нормы, даже не осознавая этого. Например, в Европейском Союзе нужно быть очень осторожным с GDPR.
Если в ваших упражнениях по машинному обучению будут задействованы какие-либо конфиденциальные данные, рекомендуется проконсультироваться со специалистом по правовым вопросам. Более того, вам, вероятно, не следует использовать такие данные для ваших первых учебных проектов. Просто выберите что-нибудь более безопасное и простое в обращении.
Машинное обучение самостоятельно
Машинное обучение в домашних условиях возможно, и у него много преимуществ. Но это также имеет некоторые негативные последствия, которые вам необходимо учитывать, и вы должны убедиться, что в конце концов найдете сбалансированный подход. Уделяйте особое внимание таким деталям, как работа с конфиденциальными данными, и всегда знакомьтесь с любыми юридическими требованиями, которые ваша ситуация может наложить на вас.
В конце концов, это может быть очень увлекательный и продуктивный опыт, который поможет вам занять отличное положение на рынке труда.