ChatGPT, искусственный интеллект, нейросети — сегодня эти слова у всех на слуху. И популярность этих технологий только растёт: все больше компаний внедряют их в производство, а количество пользователей умных чат-ботов постоянно увеличивается. Каждый может относиться к этому по‑разному: кто‑то видит за нейросетями будущее, а кто‑то — восстание машин. Но перед тем, как сформировать мнение относительно искусственного интеллекта, предлагаем вам изучить, как эта технология работает «под капотом», узнать её историю и применение в различных сферах сегодня.
Давайте рассмотрим простой пример: мы хотим, чтобы компьютер определял, что изображено
на картинке: булочка или пончик. Для этого специалист написал алгоритм (программу), который анализирует картинки. На них изображено одно из хлебобулочных изделий. С каждой фотографией он учится их отличать, при этом как‑то изменяясь внутри. Чем больше доля верно предсказанных картинок, тем лучше алгоритм решает задачу.
Область, которая сосредоточена на создании подобных алгоритмов называется машинным обучением. Есть и более формальное определение, данное Томом Митчеллом: «Компьютерная программа учится на основе опыта E по отношению к классу задач T и способу оценки качества P, если качество её работы на задачах из T, измеренное
с помощью P, растёт с получением опыта E».
на картинке: булочка или пончик. Для этого специалист написал алгоритм (программу), который анализирует картинки. На них изображено одно из хлебобулочных изделий. С каждой фотографией он учится их отличать, при этом как‑то изменяясь внутри. Чем больше доля верно предсказанных картинок, тем лучше алгоритм решает задачу.
Область, которая сосредоточена на создании подобных алгоритмов называется машинным обучением. Есть и более формальное определение, данное Томом Митчеллом: «Компьютерная программа учится на основе опыта E по отношению к классу задач T и способу оценки качества P, если качество её работы на задачах из T, измеренное
с помощью P, растёт с получением опыта E».
В данном определении «программа» — наш алгоритм
из примера, предназначенный для решения поставленной задачи, называется моделью машинного обучения или просто моделью.
Класс задач T — это классификация изображений
с булочками и пончиками. Классы бывают самые разные, например предсказание числа называется задачей регрессии.
Опыт E — данные, картинки, которые мы давали модели. Получение опыта — обработка программой новых фотографий.
Оценка качества P — доля верно классифицированных картинок. Обычно такие оценки называют метриками,
в данном случае мы использовали accuracy (с англ. точность).
из примера, предназначенный для решения поставленной задачи, называется моделью машинного обучения или просто моделью.
Класс задач T — это классификация изображений
с булочками и пончиками. Классы бывают самые разные, например предсказание числа называется задачей регрессии.
Опыт E — данные, картинки, которые мы давали модели. Получение опыта — обработка программой новых фотографий.
Оценка качества P — доля верно классифицированных картинок. Обычно такие оценки называют метриками,
в данном случае мы использовали accuracy (с англ. точность).
Если с задачами, опытом и оценкой все ясно, то программа пока для нас черный ящик. Давайте же его откроем и разберемся, как он работает.
Для начала необходимо познакомиться с перцептроном — прародителем большинства моделей. Что же он собой представляет? По сути это математическая модель биологического нейрона. Он принимает сигналы по нескольким каналам (по аналогии с настоящим нейроном они называются дендритами). На каждый дендрит перцептрон получает значение x, которое умножается на определенное число w (такие числа называют весами, и у каждого канала оно свое). Все эти числа складываются, и к сумме прибавляют значение b — смещение. После этого к полученному числу применяют функцию f (ее еще называют функцией активации). Например, в предыдущем примере с задачей классификации мы можем выбрать такую функцию, чтобы на выходе получалось два числа: 1 и -1, соответствующие булочке или пончику.
Прямо сейчас мы разобрали, как получать итоговое значение
для самой простой модели машинного обучения. Обычно этот процесс называют прямой проход. Однако чтобы предсказания были верными, нужно подобрать нужные веса. Такой процесс называется обучением модели. В случае с нашим перцептроном необходимо увеличить сумму, если предсказываемое значение меньше реального и наоборот. Для этого веса изменяются по определенной формуле.
Для определения качества модели используют функции потерь — функции от двух аргументов, реального значения и предсказанного. На выходе получается число (ошибка модели), обычно чем оно меньше — тем лучше. Тогда для улучшения ответов можно воспользоваться методами оптимизации (поиск аргументов функции, когда она принимает наименьшее или наибольшее значение). Один
из самых распространенных методов — градиентный спуск. Он считает градиент функции (вектор из производных), который направлен
в локальный минимум. Поэтому на функцию накладываются ограничения гладкости и выпуклости (чтобы мы смогли продифференцировать ее и найти минимум).
для самой простой модели машинного обучения. Обычно этот процесс называют прямой проход. Однако чтобы предсказания были верными, нужно подобрать нужные веса. Такой процесс называется обучением модели. В случае с нашим перцептроном необходимо увеличить сумму, если предсказываемое значение меньше реального и наоборот. Для этого веса изменяются по определенной формуле.
Для определения качества модели используют функции потерь — функции от двух аргументов, реального значения и предсказанного. На выходе получается число (ошибка модели), обычно чем оно меньше — тем лучше. Тогда для улучшения ответов можно воспользоваться методами оптимизации (поиск аргументов функции, когда она принимает наименьшее или наибольшее значение). Один
из самых распространенных методов — градиентный спуск. Он считает градиент функции (вектор из производных), который направлен
в локальный минимум. Поэтому на функцию накладываются ограничения гладкости и выпуклости (чтобы мы смогли продифференцировать ее и найти минимум).
Перцептрон — это функция многомерной плоскости (если говорим про двухмерное пространство, то прямой). То есть предсказания такой модели можно интерпретировать как разделение пространства на две части, в каждой
из которых будет лежать соответствующий класс (предсказываемые объекты называют классами). Но если данные представляют более сложную зависимость, то разделить их одним пространством станет невозможно.
Поэтому используют более сложные модели, состоящие из нескольких слоев перцептронов, — нейросети. Каждый перцептрон из одного слоя передает итоговое значение во все перцептроны следующего слоя. Нейросети состоят из входного слоя (который передает данные), одного или нескольких скрытых слоев и выходного слоя (который возвращает ответ).
из которых будет лежать соответствующий класс (предсказываемые объекты называют классами). Но если данные представляют более сложную зависимость, то разделить их одним пространством станет невозможно.
Поэтому используют более сложные модели, состоящие из нескольких слоев перцептронов, — нейросети. Каждый перцептрон из одного слоя передает итоговое значение во все перцептроны следующего слоя. Нейросети состоят из входного слоя (который передает данные), одного или нескольких скрытых слоев и выходного слоя (который возвращает ответ).
Такие модели могут находить в данных более сложные зависимости. Однако и обучение становится труднее: теперь нужно считать градиент для скрытых слоев, чтобы изменить их веса. Здесь на помощь приходит алгоритм обратного распространения ошибки, который помогает рассчитать все необходимое.
Конечно, и нейросети, например рекуррентные или сверточные, бывают и более сложными, но рассказывать об архитектуре и тех, и других было бы слишком долго, поэтому самым любопытным предлагаем изучить эту информацию самостоятельно.
Конечно, и нейросети, например рекуррентные или сверточные, бывают и более сложными, но рассказывать об архитектуре и тех, и других было бы слишком долго, поэтому самым любопытным предлагаем изучить эту информацию самостоятельно.
В 2022 году компания OpenAI выпускает первую версию большой языковой модели семейства GPT (Generative Pre-trained Transformer).
Эта технология быстро набрала популярность: за два месяца после релиза количество активных пользователей модели достигло
100 млн человек. Но как компьютеры
от простых вычислений дошли
до искусственного интеллекта?
Эта технология быстро набрала популярность: за два месяца после релиза количество активных пользователей модели достигло
100 млн человек. Но как компьютеры
от простых вычислений дошли
до искусственного интеллекта?
История машинного обучения начинается с приходом XX века, хотя некоторые важные математические открытия были сделаны раньше — в XVIII веке. Например, Томас Байес в 1763 году опубликовал теорему, которую назвали его именем и применяют в классификаторах,
а Адриен-Мари Лежандр в 1805-м описал метод наименьших квадратов, ныне использующийся в обучении моделей. В 1943 году
для решения задачи математического моделирования человеческого мозга Уоррен Маккалок и Уолтер Питтс предложили первую модель искусственного нейрона — перцептрон, которая имитирует биологический нейрон. А в 1957-м Фрэнк Розенблатт создал первую аппаратную реализацию перцептрона. В 1970 году Сеппо Линнайнмаа открыл метод автоматического дифференцирования, который сегодня используется для обучения нейронных сетей и называется обратным распространением.
а Адриен-Мари Лежандр в 1805-м описал метод наименьших квадратов, ныне использующийся в обучении моделей. В 1943 году
для решения задачи математического моделирования человеческого мозга Уоррен Маккалок и Уолтер Питтс предложили первую модель искусственного нейрона — перцептрон, которая имитирует биологический нейрон. А в 1957-м Фрэнк Розенблатт создал первую аппаратную реализацию перцептрона. В 1970 году Сеппо Линнайнмаа открыл метод автоматического дифференцирования, который сегодня используется для обучения нейронных сетей и называется обратным распространением.
После этого наступает «зима ИИ», вызванная пессимизмом
в отношении машинного обучения. Причин тому несколько: необоснованно раздутые ожидания по поводу искусственного интеллекта не оправдались, перцептроны подверглись критике,
а многослойные нейросети на тот момент никто не умел обучать. «Зима ИИ» продлилась до конца 1980-х, пока Дэвид Эверетт Румельхарт повторно не открыл метод обратного распространения
и не опубликовал этот алгоритм, вызвав всплеск исследований
в области ИИ. Алгоритм позволил эффективно обучать многослойные нейронные сети и открыл новые возможности для задач распознавания образов и речи. Важным моментом стало понимание того, что многослойные нейронные сети могут моделировать сложные нелинейные зависимости, что значительно расширило применение первых.
в отношении машинного обучения. Причин тому несколько: необоснованно раздутые ожидания по поводу искусственного интеллекта не оправдались, перцептроны подверглись критике,
а многослойные нейросети на тот момент никто не умел обучать. «Зима ИИ» продлилась до конца 1980-х, пока Дэвид Эверетт Румельхарт повторно не открыл метод обратного распространения
и не опубликовал этот алгоритм, вызвав всплеск исследований
в области ИИ. Алгоритм позволил эффективно обучать многослойные нейронные сети и открыл новые возможности для задач распознавания образов и речи. Важным моментом стало понимание того, что многослойные нейронные сети могут моделировать сложные нелинейные зависимости, что значительно расширило применение первых.
Однако и во время остывшего интереса
к машинному обучению происходили значимые события: Кунихико Фукусима в 1980 году публикует работы о неокогнитроне, архитектура которого послужит вдохновением для CNN (convolutional neural networks, англ. «сверточные нейронные сети»), используемых сегодня в компьютерном зрении. Джон Хопфилд в 1982-м популяризирует сети Хопфилда — тип рекуррентных нейронных сетей, а Кристофер Уоткинс в 1989-м разрабатывает Q-learning — алгоритм, который значительно повышает практичность и осуществимость обучения
с подкреплением.
В 1997 году Зепп Хохрайтер и Юрген Шмидхубер изобретают LSTM (long short-term memory, англ. «долгая краткосрочная память») — еще один тип RNN (recurrent neural network, англ. «рекуррентная нейронная сеть»), обеспеченный кратковременной памятью. Эта архитектура помогла справиться
с затухающим градиентом — проблемой, возникающей при обучении модели, когда изменение весов становится на каждом шаге слишком маленьким. Это приводит к тому,
что алгоритм становится неэффективным
или останавливается.
к машинному обучению происходили значимые события: Кунихико Фукусима в 1980 году публикует работы о неокогнитроне, архитектура которого послужит вдохновением для CNN (convolutional neural networks, англ. «сверточные нейронные сети»), используемых сегодня в компьютерном зрении. Джон Хопфилд в 1982-м популяризирует сети Хопфилда — тип рекуррентных нейронных сетей, а Кристофер Уоткинс в 1989-м разрабатывает Q-learning — алгоритм, который значительно повышает практичность и осуществимость обучения
с подкреплением.
В 1997 году Зепп Хохрайтер и Юрген Шмидхубер изобретают LSTM (long short-term memory, англ. «долгая краткосрочная память») — еще один тип RNN (recurrent neural network, англ. «рекуррентная нейронная сеть»), обеспеченный кратковременной памятью. Эта архитектура помогла справиться
с затухающим градиентом — проблемой, возникающей при обучении модели, когда изменение весов становится на каждом шаге слишком маленьким. Это приводит к тому,
что алгоритм становится неэффективным
или останавливается.
В том же 1997-м компьютер Deep Blue победил чемпиона мира по шахматам.
В 2017 году команда Google Brain изобрела архитектуру трансформера. Именно на ее основе создаются большие языковые модели, такие как ChatGPT, LLaMA (Large Language Model Meta AI) и другие.
Открытия в области машинного обучения происходят и сегодня: создаются более эффективные архитектуры и методы дообучения (обучение модели новой задаче или добавление данных). Например, этой весной появился KAN (Kolmogorov-Arnold Networks, англ. «нейронные сети Колмогорова — Арнольда») — американские ученые предлагают новый подход к созданию
и обучению нейронных сетей. Преимущества модели KAN в том, что она имеет меньше нейронов и ее легче интерпретировать, однако есть и недостаток: длительность обучения кратно возрастает.
В 2017 году команда Google Brain изобрела архитектуру трансформера. Именно на ее основе создаются большие языковые модели, такие как ChatGPT, LLaMA (Large Language Model Meta AI) и другие.
Открытия в области машинного обучения происходят и сегодня: создаются более эффективные архитектуры и методы дообучения (обучение модели новой задаче или добавление данных). Например, этой весной появился KAN (Kolmogorov-Arnold Networks, англ. «нейронные сети Колмогорова — Арнольда») — американские ученые предлагают новый подход к созданию
и обучению нейронных сетей. Преимущества модели KAN в том, что она имеет меньше нейронов и ее легче интерпретировать, однако есть и недостаток: длительность обучения кратно возрастает.
Мы поближе познакомились с тем, что представляет собой искусственный интеллект (или, вернее, алгоритмы машинного обучения). Нейросети могут не только вести разговор или рисовать картинки, их возможности многогранны: от разделения объектов на два класса до поиска чрезвычайно сложных зависимостей. Но для чего именно используют модели машинного обучения в компаниях?
В основном искусственный интеллект применяется для автоматизации и повышения эффективности производства. Можно провести аналогию
со станками: раньше ручной труд занимал очень много времени,
а переход к машинному производству позволил за тот же срок создавать больше деталей. Только теперь компьютер способен взять
на себя и умственный труд человека: слежение за датчиками
и показателями техники, анализ графиков и предсказание событий.
В основном искусственный интеллект применяется для автоматизации и повышения эффективности производства. Можно провести аналогию
со станками: раньше ручной труд занимал очень много времени,
а переход к машинному производству позволил за тот же срок создавать больше деталей. Только теперь компьютер способен взять
на себя и умственный труд человека: слежение за датчиками
и показателями техники, анализ графиков и предсказание событий.
При этом человек не должен конкурировать с машиной: в отдаленной перспективе мы все равно проиграем
в решении простых задач. Нам важно научиться работать вместе с компьютерами, своим мышлением
и творческим подходом закрывая пробелы в работе алгоритмов.
Конечно, технологии также помогают повысить прибыль. Поскольку они находят сложные зависимости, то их можно применять, например, для увеличения производства товара. Так, в горнодобывающей сфере используют ИИ при обогащении добываемых ископаемых в процессе флотации — отделении руды
от примесей за счет межфазных взаимодействий.
в решении простых задач. Нам важно научиться работать вместе с компьютерами, своим мышлением
и творческим подходом закрывая пробелы в работе алгоритмов.
Конечно, технологии также помогают повысить прибыль. Поскольку они находят сложные зависимости, то их можно применять, например, для увеличения производства товара. Так, в горнодобывающей сфере используют ИИ при обогащении добываемых ископаемых в процессе флотации — отделении руды
от примесей за счет межфазных взаимодействий.
Наши алгоритмы на основе машинного зрения анализируют пену в процессе флотации. Они определяют, какие реагенты необходимо добавить, чтобы извлечь больше металла. Это позволяет
не только повысить эффективность процесса,
но и значительно увеличить доходы клиентов,
— Юрий Кацер, эксперт по анализу данных и машинному обучению в задачах промышленности
не только повысить эффективность процесса,
но и значительно увеличить доходы клиентов,
— Юрий Кацер, эксперт по анализу данных и машинному обучению в задачах промышленности
В первую очередь мы помогаем облегчить ручной труд. Например, определение характеристик продуктов, поиск негабаритных объектов и мусора на движущемся конвейере — задача, практически невозможная для рабочего,
— Мария Румянцева, аналитик данных в Statanly Technologies, выпускница ИТМО
— Мария Румянцева, аналитик данных в Statanly Technologies, выпускница ИТМО
Однако стоит понимать, что нейросети ограничены как минимум данными и вычислительными мощностями, поэтому увеличить производство в десятки раз они
не могут.
Еще одно преимущество машинного обучения
в том, что без него некоторые проекты были бы просто невозможны. Дело в том, что процессы имеют много параметров и неизвестных факторов, прямо или косвенно влияющих
на исследуемый объект, что не позволяет разработать точную математическую модель.
не могут.
Еще одно преимущество машинного обучения
в том, что без него некоторые проекты были бы просто невозможны. Дело в том, что процессы имеют много параметров и неизвестных факторов, прямо или косвенно влияющих
на исследуемый объект, что не позволяет разработать точную математическую модель.
Я разрабатываю алгоритм, который ускорит обработку данных геофизических исследований нефтяных скважин. Сочетание аналитических подходов и машинного обучения потенциально даст отличные результаты. Сейчас анализ таких данных занимает от трех часов до суток, при этом работа на скважине останавливается. Мой программный комплекс позволит выполнить анализ менее чем за полчаса,
— Игорь Шепелев, старший научный сотрудник Передовой инженерной школы ИТМО
— Игорь Шепелев, старший научный сотрудник Передовой инженерной школы ИТМО
Помимо улучшения производства, технологии в компаниях используются для облегчения работы персонала. Например, в московских трамваях существуют система «Антисон» и система активной помощи водителю. Первая следит за глазами человека, чтобы они не закрывались дольше положенного, иначе срабатывает предупредительный сигнал. Вторая отслеживает препятствия на дороге, контролирует скорость и делает вождение трамвая безопаснее.
Но разве самого водителя нельзя заменить на алгоритм, который будет управлять вагонами? Сейчас технологии беспилотного общественного транспорта еще не дошли до такого уровня, чтобы человека можно было заменить на искусственный интеллект, сохранив при этом безопасность и точность передвижения на дорогах общего пользования. Хотя, конечно, исследования и эксперименты в этой области проводятся.
На обособленных участках беспилотный режим уже используется.
Но разве самого водителя нельзя заменить на алгоритм, который будет управлять вагонами? Сейчас технологии беспилотного общественного транспорта еще не дошли до такого уровня, чтобы человека можно было заменить на искусственный интеллект, сохранив при этом безопасность и точность передвижения на дорогах общего пользования. Хотя, конечно, исследования и эксперименты в этой области проводятся.
На обособленных участках беспилотный режим уже используется.
Исследования и эксперименты
с нейросетями проводят и химики.
В отрасли активно используют технологии искусственного интеллекта. Предсказание, создание новых материалов или анализ сложных смесей — для всего этого используется машинное обучение.
с нейросетями проводят и химики.
В отрасли активно используют технологии искусственного интеллекта. Предсказание, создание новых материалов или анализ сложных смесей — для всего этого используется машинное обучение.
У нас есть заделы
для беспилотного транспорта: сейчас в депо обкатывается трамвай на автоматическом управлении. Но это пока экспериментальная система
на будущее, в ежедневном движении она не используется.
— Даниил Воронин, менеджер проектов Транспортного комплекса Москвы.
для беспилотного транспорта: сейчас в депо обкатывается трамвай на автоматическом управлении. Но это пока экспериментальная система
на будущее, в ежедневном движении она не используется.
— Даниил Воронин, менеджер проектов Транспортного комплекса Москвы.
Больше о городском транспорте вы узнаете в *Telegram-канале* Даниила
Исследования на стыке химии
и ИИ могут помочь во многих направлениях. Например, автоматизировать процессы
в лаборатории или улучшить работу нефтеперерабатывающей промышленности. А еще технологии спасают человеческие жизни, уже сегодня находя применение в медицине.
и ИИ могут помочь во многих направлениях. Например, автоматизировать процессы
в лаборатории или улучшить работу нефтеперерабатывающей промышленности. А еще технологии спасают человеческие жизни, уже сегодня находя применение в медицине.
Роль нейросетей этим
не исчерпывается: автоответчики, чат-боты, помощники поваров, ИИ для обнаружения антибиотиков в молоке
и много других областей применения, о которых мы, возможно, даже
не догадываемся.
не исчерпывается: автоответчики, чат-боты, помощники поваров, ИИ для обнаружения антибиотиков в молоке
и много других областей применения, о которых мы, возможно, даже
не догадываемся.
Мы проводили исследование
с использованием электрохимической сенсорной платформы. Оказалось, система могла распознавать антитела или их комплекс. То есть с помощью этой технологии можно изучить анализы человека и понять: он уже переболел, только что заболел или находится
в процессе заболевания. Также большое направление хемоинформатики — это все, что связано с фармакологией и поиском новых лекарств,
— Екатерина Скорб, профессор Центра инфохимии ИТМО
с использованием электрохимической сенсорной платформы. Оказалось, система могла распознавать антитела или их комплекс. То есть с помощью этой технологии можно изучить анализы человека и понять: он уже переболел, только что заболел или находится
в процессе заболевания. Также большое направление хемоинформатики — это все, что связано с фармакологией и поиском новых лекарств,
— Екатерина Скорб, профессор Центра инфохимии ИТМО
Наш центр специализируется на актуальных задачах химии и материаловедения, которые практически невозможно решить классическими подходами. Получение материалов с заранее заданными свойствами, предсказание результатов химического синтеза, установление множественных причинно-следственных связей для сложных химических систем — несколько примеров таких задач. Для каждой из них мы создаем новое уникальное решение на основе доступных данных и современных методов искусственного интеллекта,
— сотрудники Центра ИИ в химии, ИТМО.
— сотрудники Центра ИИ в химии, ИТМО.
Искусственный интеллект или модели машинного обучения — неважно,
как вы называете эту технологию. Главное понимать, что, вероятнее всего,
за ней будущее. Уже сейчас она помогает во многих сферах, а в дальнейшем их станет только больше. Не стоит сторониться новых технологий, ведь они создаются, чтобы облегчить жизнь человека. Пробуйте, творите, экспериментируйте, исследуйте и интересуйтесь! Тогда компьютерный разум не сможет вас заменить, а станет лучшим другом и помощником.
как вы называете эту технологию. Главное понимать, что, вероятнее всего,
за ней будущее. Уже сейчас она помогает во многих сферах, а в дальнейшем их станет только больше. Не стоит сторониться новых технологий, ведь они создаются, чтобы облегчить жизнь человека. Пробуйте, творите, экспериментируйте, исследуйте и интересуйтесь! Тогда компьютерный разум не сможет вас заменить, а станет лучшим другом и помощником.
Благодарим Отдел развития сообщества выпускников ИТМО, команду IT-Conf и экспертов
за помощь в написании лонгрида.
за помощь в написании лонгрида.
Автор: Андрей Маракулин
Редактор: Роман Шайкенов
Иллюстрации: Анастасия Овченкова
Верстка: Анастасия Карандашева
Редактор: Роман Шайкенов
Иллюстрации: Анастасия Овченкова
Верстка: Анастасия Карандашева
ChatGPT, искусственный интеллект, нейросети — сегодня эти слова у всех на слуху. И популярность AI-технологий только растет: все больше компаний внедряют их в производство, а количество пользователей умных чат-ботов постоянно увеличивается. Можно относиться к этому по‑разному: кто‑то видит за нейросетями будущее, а кто‑то — восстание машин. Но перед тем как вы сформируете мнение относительно ИИ, предлагаем вам изучить, как эта технология работает «под капотом», узнать о ее истории и применении в различных сферах сегодня.
Давайте рассмотрим простой пример: мы хотим, чтобы компьютер определял, что изображено на картинке: булочка или пончик. Для этого специалист написал алгоритм (программу), который анализирует картинки. На них изображено одно из хлебобулочных изделий.
С каждой фотографией машина учится их отличать, при этом как‑то изменяясь внутри. Чем больше доля верно предсказанных картинок, тем лучше алгоритм решает задачу.
Область, которая сосредоточена на создании подобных алгоритмов, называется машинным обучением. Есть и более формальное определение, данное Томом Митчеллом: «Компьютерная программа учится на основе опыта E по отношению к классу задач T
и способу оценки качества P, если качество ее работы на задачах из T, измеренное с помощью P, растет с получением опыта E».
С каждой фотографией машина учится их отличать, при этом как‑то изменяясь внутри. Чем больше доля верно предсказанных картинок, тем лучше алгоритм решает задачу.
Область, которая сосредоточена на создании подобных алгоритмов, называется машинным обучением. Есть и более формальное определение, данное Томом Митчеллом: «Компьютерная программа учится на основе опыта E по отношению к классу задач T
и способу оценки качества P, если качество ее работы на задачах из T, измеренное с помощью P, растет с получением опыта E».
В данном определении «программа» — наш алгоритм из примера, предназначенный для решения поставленной задачи, — называется моделью машинного обучения
или просто моделью.
Класс задач T — это классификация изображений с булочками и пончиками. Классы бывают самые разные — например, предсказание числа называется задачей регрессии.
Опыт E — данные, картинки, которые мы давали модели. Получение опыта — обработка программой новых фотографий.
Оценка качества P — доля верно классифицированных картинок. Обычно такие оценки называют метриками,
в данном случае мы использовали accuracy (англ. «точность»).
или просто моделью.
Класс задач T — это классификация изображений с булочками и пончиками. Классы бывают самые разные — например, предсказание числа называется задачей регрессии.
Опыт E — данные, картинки, которые мы давали модели. Получение опыта — обработка программой новых фотографий.
Оценка качества P — доля верно классифицированных картинок. Обычно такие оценки называют метриками,
в данном случае мы использовали accuracy (англ. «точность»).
Если с задачами, опытом и оценкой все ясно, то программа пока для нас черный ящик. Давайте же его откроем и разберемся, как он работает.
Для начала необходимо познакомиться
с перцептроном — прародителем большинства моделей. Что же он собой представляет?
По сути это математическая модель биологического нейрона. Он принимает сигналы по нескольким каналам (по аналогии
с настоящим нейроном они называются дендритами). На каждый дендрит перцептрон получает значение x, которое умножается
на определенное число w (такие числа называют весами, и у каждого канала оно свое). Все эти числа складываются, и к сумме прибавляют значение b — смещение. После этого к полученному числу применяют функцию f (ее еще называют функцией активации). Например, в предыдущем примере с задачей классификации мы можем выбрать такую функцию, чтобы на выходе получалось два числа: 1 и — 1, соответствующие булочке или пончику.
с перцептроном — прародителем большинства моделей. Что же он собой представляет?
По сути это математическая модель биологического нейрона. Он принимает сигналы по нескольким каналам (по аналогии
с настоящим нейроном они называются дендритами). На каждый дендрит перцептрон получает значение x, которое умножается
на определенное число w (такие числа называют весами, и у каждого канала оно свое). Все эти числа складываются, и к сумме прибавляют значение b — смещение. После этого к полученному числу применяют функцию f (ее еще называют функцией активации). Например, в предыдущем примере с задачей классификации мы можем выбрать такую функцию, чтобы на выходе получалось два числа: 1 и — 1, соответствующие булочке или пончику.
Прямо сейчас мы разобрали, как получать итоговое значение для самой простой модели машинного обучения. Обычно этот процесс называют прямой проход. Однако чтобы предсказания были верными, нужно подобрать нужные веса. Такой процесс называется обучением модели. В случае с нашим перцептроном необходимо увеличить сумму, если предсказываемое значение меньше реального и наоборот. Для этого веса изменяются по определенной формуле.
Для определения качества модели используют функции потерь — функции от двух аргументов, реального значения и предсказанного.
На выходе получается число (ошибка модели), обычно чем оно меньше — тем лучше. Тогда
для улучшения ответов можно воспользоваться методами оптимизации (поиск аргументов функции, когда она принимает наименьшее
или наибольшее значение). Один из самых распространенных методов — градиентный спуск. Он считает градиент функции (вектор
из производных), который направлен
в локальный минимум. Поэтому на функцию накладываются ограничения гладкости
и выпуклости (чтобы мы смогли продифференцировать ее и найти минимум).
Для определения качества модели используют функции потерь — функции от двух аргументов, реального значения и предсказанного.
На выходе получается число (ошибка модели), обычно чем оно меньше — тем лучше. Тогда
для улучшения ответов можно воспользоваться методами оптимизации (поиск аргументов функции, когда она принимает наименьшее
или наибольшее значение). Один из самых распространенных методов — градиентный спуск. Он считает градиент функции (вектор
из производных), который направлен
в локальный минимум. Поэтому на функцию накладываются ограничения гладкости
и выпуклости (чтобы мы смогли продифференцировать ее и найти минимум).
Перцептрон — это функция многомерной плоскости (если говорим про двухмерное пространство, то прямой). То есть предсказания такой модели можно интерпретировать
как разделение пространства на две части,
в каждой из которых будет лежать соответствующий класс (предсказываемые объекты называют классами). Но если данные представляют более сложную зависимость,
то разделить их одним пространством станет невозможно.
Поэтому используют более сложные модели, состоящие из нескольких слоев перцептронов, — нейросети. Каждый перцептрон из одного слоя передает итоговое значение во все перцептроны следующего слоя. Нейросети состоят из входного слоя (который передает данные), одного или нескольких скрытых слоев и выходного слоя (который возвращает ответ).
как разделение пространства на две части,
в каждой из которых будет лежать соответствующий класс (предсказываемые объекты называют классами). Но если данные представляют более сложную зависимость,
то разделить их одним пространством станет невозможно.
Поэтому используют более сложные модели, состоящие из нескольких слоев перцептронов, — нейросети. Каждый перцептрон из одного слоя передает итоговое значение во все перцептроны следующего слоя. Нейросети состоят из входного слоя (который передает данные), одного или нескольких скрытых слоев и выходного слоя (который возвращает ответ).
Такие модели могут находить в данных более сложные зависимости. Однако и обучение становится труднее: теперь нужно считать градиент для скрытых слоев, чтобы изменить их веса. Здесь на помощь приходит алгоритм обратного распространения ошибки, который помогает рассчитать все необходимое.
Конечно, и нейросети, например рекуррентные или сверточные, бывают и более сложными, но рассказывать об архитектуре и тех, и других было бы слишком долго, поэтому самым любопытным предлагаем изучить эту информацию самостоятельно.
Конечно, и нейросети, например рекуррентные или сверточные, бывают и более сложными, но рассказывать об архитектуре и тех, и других было бы слишком долго, поэтому самым любопытным предлагаем изучить эту информацию самостоятельно.
В 2022 году компания OpenAI выпускает первую версию большой языковой модели семейства GPT (Generative Pre-trained Transformer). Эта технология быстро набрала популярность: за два месяца после релиза количество активных пользователей модели достигло 100 млн человек. Но как компьютеры от простых вычислений дошли до искусственного интеллекта?
История машинного обучения начинается с приходом XX века, хотя некоторые важные математические открытия были сделаны раньше — в XVIII веке. Например, Томас Байес в 1763 году опубликовал теорему, которую назвали его именем и применяют в классификаторах, а Адриен-Мари Лежандр в 1805-м описал метод наименьших квадратов, ныне использующийся в обучении моделей. В 1943 году для решения задачи математического моделирования человеческого мозга Уоррен Маккалок и Уолтер Питтс предложили первую модель искусственного нейрона — перцептрон, которая имитирует биологический нейрон. А в 1957-м Фрэнк Розенблатт создал первую аппаратную реализацию перцептрона. В 1970 году Сеппо Линнайнмаа открыл метод автоматического дифференцирования, который сегодня используется для обучения нейронных сетей и называется обратным распространением.
После этого наступает «зима ИИ», вызванная пессимизмом в отношении машинного обучения. Причин тому несколько: необоснованно раздутые ожидания по поводу искусственного интеллекта не оправдались, перцептроны подверглись критике, а многослойные нейросети на тот момент никто не умел обучать. «Зима ИИ» продлилась до конца 1980-х, пока Дэвид Эверетт Румельхарт повторно не открыл метод обратного распространения и не опубликовал этот алгоритм, вызвав всплеск исследований в области ИИ. Алгоритм позволил эффективно обучать многослойные нейронные сети и открыл новые возможности для задач распознавания образов и речи. Важным моментом стало понимание того, что многослойные нейронные сети могут моделировать сложные нелинейные зависимости, что значительно расширило применение первых.
После этого наступает «зима ИИ», вызванная пессимизмом в отношении машинного обучения. Причин тому несколько: необоснованно раздутые ожидания по поводу искусственного интеллекта не оправдались, перцептроны подверглись критике, а многослойные нейросети на тот момент никто не умел обучать. «Зима ИИ» продлилась до конца 1980-х, пока Дэвид Эверетт Румельхарт повторно не открыл метод обратного распространения и не опубликовал этот алгоритм, вызвав всплеск исследований в области ИИ. Алгоритм позволил эффективно обучать многослойные нейронные сети и открыл новые возможности для задач распознавания образов и речи. Важным моментом стало понимание того, что многослойные нейронные сети могут моделировать сложные нелинейные зависимости, что значительно расширило применение первых.
Однако и во время остывшего интереса
к машинному обучению происходили значимые события: Кунихико Фукусима в 1980 году публикует работы о неокогнитроне, архитектура которого послужит вдохновением для CNN (convolutional neural networks, англ. «сверточные нейронные сети»), используемых сегодня в компьютерном зрении. Джон Хопфилд в 1982-м популяризирует сети Хопфилда — тип рекуррентных нейронных сетей, а Кристофер Уоткинс в 1989-м разрабатывает Q-learning — алгоритм, который значительно повышает практичность
и осуществимость обучения с подкреплением.
В 1997 году Зепп Хохрайтер и Юрген Шмидхубер изобретают LSTM (long short-term memory, англ. «долгая краткосрочная память») — еще один тип RNN (recurrent neural network, англ. «рекуррентная нейронная сеть»), обеспеченный кратковременной памятью. Эта архитектура помогла справиться с затухающим градиентом — проблемой, возникающей
при обучении модели, когда изменение весов становится на каждом шаге слишком маленьким. Это приводит к тому, что алгоритм становится неэффективным или останавливается.
к машинному обучению происходили значимые события: Кунихико Фукусима в 1980 году публикует работы о неокогнитроне, архитектура которого послужит вдохновением для CNN (convolutional neural networks, англ. «сверточные нейронные сети»), используемых сегодня в компьютерном зрении. Джон Хопфилд в 1982-м популяризирует сети Хопфилда — тип рекуррентных нейронных сетей, а Кристофер Уоткинс в 1989-м разрабатывает Q-learning — алгоритм, который значительно повышает практичность
и осуществимость обучения с подкреплением.
В 1997 году Зепп Хохрайтер и Юрген Шмидхубер изобретают LSTM (long short-term memory, англ. «долгая краткосрочная память») — еще один тип RNN (recurrent neural network, англ. «рекуррентная нейронная сеть»), обеспеченный кратковременной памятью. Эта архитектура помогла справиться с затухающим градиентом — проблемой, возникающей
при обучении модели, когда изменение весов становится на каждом шаге слишком маленьким. Это приводит к тому, что алгоритм становится неэффективным или останавливается.
В 2017 году команда Google Brain изобрела архитектуру трансформера. Именно на ее основе создаются большие языковые модели, такие как ChatGPT, LLaMA (Large Language Model Meta AI) и другие.
В том же 1997-м компьютер Deep Blue победил чемпиона мира по шахматам.
Открытия в области машинного обучения происходят и сегодня: создаются более эффективные архитектуры и методы дообучения (обучение модели новой задаче или добавление данных). Например, этой весной появился KAN (Kolmogorov-Arnold Networks, англ. «нейронные сети Колмогорова — Арнольда») — американские ученые предлагают новый подход к созданию
и обучению нейронных сетей. Преимущества модели KAN в том, что она имеет меньше нейронов и ее легче интерпретировать, однако есть и недостаток: длительность обучения кратно возрастает.
и обучению нейронных сетей. Преимущества модели KAN в том, что она имеет меньше нейронов и ее легче интерпретировать, однако есть и недостаток: длительность обучения кратно возрастает.
Мы поближе познакомились с тем, что представляет собой искусственный интеллект (или, вернее, алгоритмы машинного обучения). Нейросети могут не только вести разговор
или рисовать картинки, их возможности многогранны: от разделения объектов на два класса до поиска чрезвычайно сложных зависимостей. Но для чего именно используют модели машинного обучения в компаниях?
В основном искусственный интеллект применяется для автоматизации и повышения эффективности производства. Можно провести аналогию со станками: раньше ручной труд занимал очень много времени, а переход
к машинному производству позволил за тот же срок создавать больше деталей. Только теперь компьютер способен взять на себя
и умственный труд человека: слежение
за датчиками и показателями техники, анализ графиков и предсказание событий.
или рисовать картинки, их возможности многогранны: от разделения объектов на два класса до поиска чрезвычайно сложных зависимостей. Но для чего именно используют модели машинного обучения в компаниях?
В основном искусственный интеллект применяется для автоматизации и повышения эффективности производства. Можно провести аналогию со станками: раньше ручной труд занимал очень много времени, а переход
к машинному производству позволил за тот же срок создавать больше деталей. Только теперь компьютер способен взять на себя
и умственный труд человека: слежение
за датчиками и показателями техники, анализ графиков и предсказание событий.
В первую очередь мы помогаем облегчить ручной труд. Например, определение характеристик продуктов, поиск негабаритных объектов и мусора на движущемся конвейере — задача, практически невозможная для рабочего,
— Мария Румянцева, аналитик данных
в Statanly Technologies, выпускница ИТМО
— Мария Румянцева, аналитик данных
в Statanly Technologies, выпускница ИТМО
При этом человек не должен конкурировать
с машиной: в отдаленной перспективе мы все равно проиграем в решении простых задач. Нам важно научиться работать вместе
с компьютерами, своим мышлением
и творческим подходом закрывая пробелы
в работе алгоритмов.
Конечно, технологии также помогают повысить прибыль. Поскольку они находят сложные зависимости, то их можно применять, например, для увеличения производства товара. Так,
в горнодобывающей сфере используют ИИ
при обогащении добываемых ископаемых
в процессе флотации — отделении руды
от примесей за счет межфазных взаимодействий.
с машиной: в отдаленной перспективе мы все равно проиграем в решении простых задач. Нам важно научиться работать вместе
с компьютерами, своим мышлением
и творческим подходом закрывая пробелы
в работе алгоритмов.
Конечно, технологии также помогают повысить прибыль. Поскольку они находят сложные зависимости, то их можно применять, например, для увеличения производства товара. Так,
в горнодобывающей сфере используют ИИ
при обогащении добываемых ископаемых
в процессе флотации — отделении руды
от примесей за счет межфазных взаимодействий.
Однако стоит понимать, что нейросети ограничены как минимум данными
и вычислительными мощностями, поэтому увеличить производство в десятки раз они
не могут.
Еще одно преимущество машинного обучения в том, что без него некоторые проекты были бы просто невозможны. Дело в том, что процессы имеют много параметров и неизвестных факторов, прямо или косвенно влияющих
на исследуемый объект, что не позволяет разработать точную математическую модель.
и вычислительными мощностями, поэтому увеличить производство в десятки раз они
не могут.
Еще одно преимущество машинного обучения в том, что без него некоторые проекты были бы просто невозможны. Дело в том, что процессы имеют много параметров и неизвестных факторов, прямо или косвенно влияющих
на исследуемый объект, что не позволяет разработать точную математическую модель.
Наши алгоритмы на основе машинного зрения анализируют пену в процессе флотации. Они определяют, какие реагенты необходимо добавить, чтобы извлечь больше металла. Это позволяет не только повысить эффективность процесса, но и значительно увеличить доходы клиентов,
— Юрий Кацер, эксперт по анализу данных и машинному обучению в задачах промышленности
— Юрий Кацер, эксперт по анализу данных и машинному обучению в задачах промышленности
Я разрабатываю алгоритм, который ускорит обработку данных геофизических исследований нефтяных скважин. Сочетание аналитических подходов и машинного обучения потенциально даст отличные результаты. Сейчас анализ таких данных занимает
от трех часов до суток, при этом работа на скважине останавливается. Мой программный комплекс позволит выполнить анализ менее чем за полчаса,
— Игорь Шепелев, старший научный сотрудник Передовой инженерной школы ИТМО
от трех часов до суток, при этом работа на скважине останавливается. Мой программный комплекс позволит выполнить анализ менее чем за полчаса,
— Игорь Шепелев, старший научный сотрудник Передовой инженерной школы ИТМО
Помимо улучшения производства, технологии в компаниях используются для облегчения работы персонала. Например, в московских трамваях существуют система «Антисон»
и система активной помощи водителю. Первая следит за глазами человека, чтобы они
не закрывались дольше положенного, иначе срабатывает предупредительный сигнал. Вторая отслеживает препятствия на дороге, контролирует скорость и делает вождение трамвая безопаснее.
Но разве самого водителя нельзя заменить
на алгоритм, который будет управлять вагонами? Сейчас технологии беспилотного общественного транспорта еще не дошли
до такого уровня, чтобы человека можно было заменить на искусственный интеллект, сохранив при этом безопасность и точность передвижения на дорогах общего пользования. Хотя, конечно, исследования
и эксперименты в этой области проводятся.
На обособленных участках беспилотный режим уже используется.
и система активной помощи водителю. Первая следит за глазами человека, чтобы они
не закрывались дольше положенного, иначе срабатывает предупредительный сигнал. Вторая отслеживает препятствия на дороге, контролирует скорость и делает вождение трамвая безопаснее.
Но разве самого водителя нельзя заменить
на алгоритм, который будет управлять вагонами? Сейчас технологии беспилотного общественного транспорта еще не дошли
до такого уровня, чтобы человека можно было заменить на искусственный интеллект, сохранив при этом безопасность и точность передвижения на дорогах общего пользования. Хотя, конечно, исследования
и эксперименты в этой области проводятся.
На обособленных участках беспилотный режим уже используется.
Больше о городском транспорте вы узнаете в *Telegram-канале* Даниила
У нас есть заделы для беспилотного транспорта: сейчас в депо обкатывается трамвай на автоматическом управлении. Но это пока экспериментальная система на будущее, в ежедневном движении она не используется,
— Даниил Воронин, менеджер проектов Транспортного комплекса Москвы.
— Даниил Воронин, менеджер проектов Транспортного комплекса Москвы.
Исследования и эксперименты с нейросетями проводят и химики. В отрасли активно используют технологии искусственного интеллекта. Предсказание, создание новых материалов или анализ сложных смесей — для всего этого используется машинное обучение.
Наш центр специализируется
на актуальных задачах химии
и материаловедения, которые практически невозможно решить классическими подходами. Получение материалов с заранее заданными свойствами, предсказание результатов химического синтеза, установление множественных причинно-следственных связей для сложных химических систем — несколько примеров таких задач.
Для каждой из них мы создаем новое уникальное решение на основе доступных данных и современных методов искусственного интеллекта,
— сотрудники Центра ИИ в химии, ИТМО.
на актуальных задачах химии
и материаловедения, которые практически невозможно решить классическими подходами. Получение материалов с заранее заданными свойствами, предсказание результатов химического синтеза, установление множественных причинно-следственных связей для сложных химических систем — несколько примеров таких задач.
Для каждой из них мы создаем новое уникальное решение на основе доступных данных и современных методов искусственного интеллекта,
— сотрудники Центра ИИ в химии, ИТМО.
Исследования на стыке химии и ИИ могут помочь во многих направлениях. Например, автоматизировать процессы в лаборатории или улучшить работу нефтеперерабатывающей промышленности. А еще технологии спасают человеческие жизни, уже сегодня находя применение в медицине.
Роль нейросетей этим не исчерпывается: автоответчики, чат-боты, помощники поваров, ИИ для обнаружения антибиотиков в молоке и много других областей применения, о которых мы, возможно, даже не догадываемся.
Мы проводили исследование
с использованием электрохимической сенсорной платформы. Оказалось, система могла распознавать антитела
или их комплекс. То есть с помощью этой технологии можно изучить анализы человека и понять: он уже переболел, только что заболел или находится
в процессе заболевания. Также большое направление хемоинформатики — это все, что связано с фармакологией и поиском новых лекарств,
— Екатерина Скорб, профессор Центра инфохимии ИТМО
с использованием электрохимической сенсорной платформы. Оказалось, система могла распознавать антитела
или их комплекс. То есть с помощью этой технологии можно изучить анализы человека и понять: он уже переболел, только что заболел или находится
в процессе заболевания. Также большое направление хемоинформатики — это все, что связано с фармакологией и поиском новых лекарств,
— Екатерина Скорб, профессор Центра инфохимии ИТМО
Искусственный интеллект или модели машинного обучения — неважно, как вы называете эту технологию. Главное понимать, что, вероятнее всего, за ней будущее. Уже сейчас она помогает во многих сферах, а в дальнейшем их станет только больше. Не стоит сторониться новых технологий, ведь они создаются, чтобы облегчить жизнь человека. Пробуйте, творите, экспериментируйте, исследуйте и интересуйтесь! Тогда компьютерный разум не сможет вас заменить, а станет лучшим другом и помощником.
Благодарим Отдел развития сообщества выпускников ИТМО, команду IT-Conf и экспертов за помощь в написании лонгрида.
Автор: Андрей Маракулин
Редактор: Роман Шайкенов
Иллюстрации: Анастасия Овченкова
Верстка: Анастасия Карандашева
Автор: Андрей Маракулин
Редактор: Роман Шайкенов
Иллюстрации: Анастасия Овченкова
Верстка: Анастасия Карандашева