Постановка задачи. 
Прикладная математика: технологии применения

1. Пусть исследуемая система описывается совокупностью п параметров х_ь х₂,…, х". Следовательно, X = (х_х, х₂,…, х") можно рассматривать как точку в п-мерном фазовом пространстве. Каждое фиксированное значение этих параметров (фазовых координат) задает определенное состояние системы.

где Q — пространство возможных состояний системы.

При этом, в каком бы состоянии S' ни находилась система, дальнейший процесс ее движения в фазовом пространстве зависит от принятого управления и данного состояния, но не зависит от того, каким путем она была переведена в данное состояние. Удовлетворяющий таким условиям процесс называют процессом без последействия.

• 2. Процесс движения системы в фазовом пространстве должен реализовываться по этапам (шагам). Если естественный процесс движения системы имеет непрерывный характер, то его искусственно превращают в дискретный, разбивая на отдельные этапы. На каждом к-м этапе принимается одно из возможных частных решений и_к (управление), под воздействием которого система по известному закону / переходит в новое состояние S^J_k+1 =/(5?, щ). Частное управление выбирается только из допустимого множества управлений (и_к (S) е U). Следует подчеркнуть, что на каждом к-м этапе система может находиться, вообще говоря, в одном из нескольких различных состояний {S?}, возможных для этого этапа.
• 3. Переход в новое состояние связан с достижением некоторого частного эффекта w_k, зависящего от достигнутого после предыдущего этапа состояния Sjj. и принятого частного решения и_к:

4. Целевая функция должна быть аддитивной, т. е. общий эффект за N этапов есть сумма эффектов на каждом из этапов:

5. Требуется найти такую последовательность частных решений U* - (щ, 1*2,…, Щ]), называемых оптимальным решением, чтобы исходя из заданного исходного состояния S₀ за N этапов получить наибольший суммарный эффект:

Приведем примеры задач, которые удовлетворяют всем этим решениям Задача о рюкзаке. Выбранный для похода рюкзак фиксированного объема требуется наполнить необходимыми в походе вещами, каждая из которых имеет некоторый объем и определенную ценность. Требуется подобрать набор вещей, помещающихся в рюкзак и имеющих наибольшую суммарную ценность.

Состояние системы (рюкзака) зависит от суммы вложенных в него вещей. Очередной этап — вложение в рюкзак следующей помещающейся в него вещи. При этом принимается частное решение о том, какую из еще не вложенных вещей выбрать. Процесс заканчивается, когда ни одна из оставшихся вещей не может быть вложена в рюкзак. Эффективность процесса в целом зависит от суммы ценностей вложенных в рюкзак вещей.

Задача о распределении ресурсов. Пусть имеется заданное количество средств V₀, которые необходимо распределить между М предприятиями в первый год планового периода. Каждое предприятие в зависимости от своего состояния и вложенных средств через год дает соответствующую прибыль. Полученная суммарная прибыль полностью вновь распределяется между этими же предприятиями. Требуется определить, какому предприятию, в каком году и сколько необходимо выделить средств, чтобы суммарная прибыль за N лет была бы наибольшей.

Состояние системы после каждого года (этапа) определяется способностью каждого предприятия давать прибыль при получении им определенных средств и общего объемом подлежащих распределению на данном этапе средств. Предполагаются заданными функции, определяющие объем получаемой прибыли каждым предприятием в зависимости от вложенных в него в предыдущий год средств. Ежегодное выделение средств предприятиям на предстоящий год можно рассматривать как принятие частного решения.

Задача о поиске кратчайшего пути на сети. Для данной сети требуется построить путь из вершины S₀ в вершину S_N. Состояние системы определяется вершиной, в которой принимается частное решение «по какой из смежных дуг идти дальше». Достигнутый на каждом этапе эффект — суммарный вес пройденных дуг.