Основы миварного подхода

O.O. Варламов

Теоретические основы миварного подхода: системный анализ и синтез моделей данных и методы обработки информации в самоорганизующихся комплексах оперативной диагностики

05.13.01 - Системный анализ, управление и обработка информации

(в оборонной и гражданской технике)

Диссертация на соискание ученой степени доктора технических наук

Научный консультант: академик РАН, доктор технических наук, профессор Каляев Анатолий Васильевич

Введение

Одной из основных проблем, решаемых при создании автоматизированных систем обработки информации (АСОИ), в целом, и программно-аппаратных комплексов (ПАК) оперативной диагностики (ОД) в частности, является обеспечение, в условиях их непрерывного функционирования, адаптации программно-аппаратных средств для эффективного решения сложных задач. Анализ актуальных научных проблем создания АСОИ (ПАК ОД) показал, что необходимо, прежде всего, решить следующие две взаимосвязанные актуальные научные проблемы.

Первая проблема - это создание интерактивных самоорганизующихся баз данных (БД) и знаний, на основе которых возможно создание программного обеспечения АСОИ. Отметим, что, так как фактически в базах знаний хранятся только правила, процедуры и другие отношения объектов, то вместо термина базы знаний, в этом же смысле, целесообразно применять термин базы правил, т.е. эти термины являются синонимами, но второй термин все же является более адекватным. Подчеркнем, что особую актуальность решению первой проблемы придает то, что в последнее время теория баз данных оказывает определяющее воздействие на многие смежные области. Например, базы данных и правил используются при создании перспективных ЭВМ, что определяет место и роль другой научной проблемы.

Вторая проблема - это создание теоретических основ адаптивного синтеза информационно-вычислительных конфигураций (ИВК) АСОИ на базе известных методов синтеза ЭВМ. Основное направление решения данной проблемы, это создание системы адаптивного синтеза (САС) самоорганизующихся конфигураций АСОИ на основе применения известных методов синтеза ЭВМ. Две эти проблемы решают на разных уровнях: на уровне программного обеспечения (первая) и на уровне аппаратных средств (вторая), фактически одну и ту же проблему - создание самоорганизующихся (эволюционных) АСОИ (ПАК ОД). Анализ задач, которые необходимо решить как для создания самоорганизующихся баз данных и правил (СБДП), так и для построения САС ИВК, показал их взаимозависимость, поэтому обе эти проблемы в совокупности образуют одну крупную научную проблему. Следовательно, разработка теоретических и реализационных основ создания СБДП и САС ИВК для построения программно-аппаратных комплексов оперативной диагностики, предназначенных для решения сложных задач, является актуальной крупной научной проблемой.

Решение этой новой проблемы вносит значительный вклад в развитие экономики страны, способствует повышению обороноспособности России и имеет важное хозяйственное значение и практическую ценность для целого ряда областей (медицины, экономики, юриспруденции, анализа чрезвычайных ситуаций, метеорологии и других). Отдельные наиболее сложные задачи этих областей могут быть отнесены к классу ресурсоемких научно-практических задач оперативной диагностики. Как правило, это уникальные диагностические задачи (УДЗ), решение которых носит эмпирический характер и требует научно-обоснованного оперативного синтеза специализированных ИВК. Известные технологии баз данных и знаний, а также систем автоматизированного проектирования (САПР) не применимы в этом случае, так как основное противоречие состоит в том, что в условиях дефицита времени требуется оперативно синтезировать уникальный эволюционный самоорганизующийся программно-аппаратный комплекс оперативной диагностики (СПАКОД) с использованием всех доступных ресурсов, включая Интернет, для обеспечения экспресс-диагностики сложных, уникальных задач. Как правило, это NP-полные задачи, которые в зависимости от конкретной ситуации, могут быть сведены к набору полиномиальных задач, решаемых за обозримое допустимое время с учетом конкретных ограничений. На программном уровне эволюционность такого комплекса обеспечивается СБДП, а на аппаратном уровне - САС ИВК.

Адаптивность синтеза ИВК обусловлена уникальностью каждой диагностической задачи, необходимостью учета ранее разработанных вариантов конфигураций, быстротой создания, развития и старения программных и аппаратных средств. Для синтеза требуемых конфигураций фактически необходимо разработать некоторую новую САПР на основе распределенных СБДП. Исходные данные могут быть в различных форматах представления данных и знаний, но их необходимо хранить в едином структурированном пространстве унифицированного представления данных и правил с целью научно-обоснованного всеобъемлющего синтеза уникальных конфигураций ЭВМ и последующего оперативного решения задачи. Подчеркнем, что САС ИВК сама по себе может являться ядром формируемого уникального программно-аппаратного комплекса оперативной диагностики.

Таким образом, актуальность крупной научной проблемы разработки самоорганизующихся баз данных и правил для создания систем адаптивного синтеза информационно-вычислительных конфигураций обусловлена тем, что необходимо в минимальное время достижение максимального быстродействия для решения уникальной диагностической задачи в ситуации, когда нахождение правильного решения имеет жизненно-важное значение, цена которого априори во много раз превышает стоимость затрат на синтез любой АСОИ. Следовательно, известные методы синтеза ЭВМ, основанные на коммерческой эффективности, в таких ситуациях не применимы.

Научная проблема, решаемая в диссертации, формулируется следующим образом: разработка теоретических основ построения самоорганизующихся программно-аппаратных комплексов оперативной диагностики за счет использования известных технологий автоматизированного проектирования и создания интерактивных самоорганизующихся баз данных и правил, изыскания принципов построения и применения систем адаптивного синтеза информационно-вычислительных конфигураций, разработки быстродействующих методов обработки информации, что позволит уменьшить время решения уникальных диагностических задач, снизить материально-финансовые затраты и повысить эффективность разработки и эксплуатации компьютерных систем.

Целью работы является решение крупной научной проблемы разработки теоретических основ построения самоорганизующихся программно-аппаратных комплексов оперативной диагностики для повышения, по заданным критериям, эффективности решения сложных оперативных диагностических задач в условиях дефицита времени, неопределенности и непрерывности функционирования, что имеет важное значение для развития экономики страны и повышения ее обороноспособности.

В соответствии с поставленной целью определены задачи диссертации:

1) изыскать принципы построения и применения систем адаптивного синтеза информационно-вычислительных конфигураций;

2) в теории баз данных провести системный анализ, сравнение и обобщение основных структур представления данных традиционных моделей данных;

3) разработать теоретические основы создания интерактивных самоорганизующихся баз данных и правил;

4) создать метод обработки данных на основе применения интерактивной самоорганизующейся логической сети правил, управляемой потоком данных;

5) разработать быстродействующий метод графового поиска маршрута логического вывода путем построения многополюсной сети теории графов и определения ее минимального разреза;

6) разработать метод распараллеливания потокового множественного доступа к общей БД в условиях недопущения взаимного искажения данных;

7) разработать метод алгоритмической минимизации необходимого количества устройств и вычислительных процедур сложения для единично-инкрементного суммирования чисел.

Диссертация состоит из семи разделов, первые три из которых содержат обзорный материал, а последние четыре, посвящены теоретическим и реализационным основам создания самоорганизующихся баз данных и правил для адаптивного синтеза комплексов оперативной диагностики.

В первом разделе диссертации рассмотрена проблема создания самоорганизующихся баз данных и правил для синтеза комплексов оперативной диагностики, сформулирована проблема адаптивного синтеза информационно-вычислительных конфигураций, а также определены цель, научная проблема и основные задачи исследования.

Во втором разделе исследованы принципы построения однородных вычислительных систем, проведен анализ основных путей создания самоорганизующихся эволюционных неоднородных компьютерных систем и предложены принципы построения и применения САС ИВК.

В третьем разделе проведено формализованное описание основных структур представления данных традиционных моделей данных, их анализ, сравнение и обобщение в виде нового формализма пятиуровневой одномерной таблицы представления данных.

Четвертый раздел диссертации посвящен разработке теоретических основ построения самоорганизующегося информационного (миварного) пространства. В этом разделе проанализированы основные возможности самоорганизующегося представления данных, показан переход от одномерных многоуровневых таблиц представления данных к многомерному самоорганизующемуся пространству представления данных, проведено сравнение трехуровневых таблиц и трехмерного миварного пространства представления данных, подробно описаны структуры представления данных о точках миварного пространства и об их отношениях, приведен подробный пример описания данных в миварном информационном пространстве.

В пятом разделе предложены методы обработки данных на основе адаптивной логической сети правил; адаптивный механизм логического вывода на сети гиперправил с мультиактивизаторами; квадратичной сложности методы поиска маршрута логического вывода на основе определения минимального разреза многополюсных сетей и линейной сложности матричный метод поиска маршрута логического вывода.

В шестом разделе рассмотрен метод корректного распараллеливания доступа к общей базе данных в условиях недопущения взаимного искажения одновременно обрабатываемых данных, приведена конвейерная реализация алгоритма функционирования сервера базы данных с потоковым распараллеливанием, исследованы параметры предлагаемых виртуальных потоковых баз данных, а также проведена оценка быстродействия обработки потока данных различными методами, которая доказала максимальность распараллеливания доступа предлагаемого метода.

В седьмом разделе диссертации рассмотрен новый метод повышения быстродействия обработки данных на основе запатентованного линейного способа единично-инкрементного суммирования чисел, который при решении некоторых классов задач позволяет достичь существенного повышения оперативности обработки данных. Кроме того, предложены табличная модификация единично-инкрементного суммирования чисел и модификация метода суммирования чисел с уменьшением необходимого объема оперативной памяти ЭВМ. Там же проанализированы возможности и перспективы использования локальных корректировок вычислений и обработки данных; подведены итоги исследований и показаны перспективы применения самоорганизующихся баз данных и правил для адаптивного синтеза комплексов оперативной диагностики.

Таким образом, в диссертации сформулирована новая крупная научная проблема, которая является актуальной и имеет важное хозяйственное значение. Внедрение, полученных в диссертации научных результатов, позволит повысить эффективность решения сложных оперативных диагностических задач в условиях дефицита времени, неопределенности и непрерывности функционирования, что имеет важное значение для развития экономики страны и повышения ее обороноспособности.

1. Создание интерактивных самоорганизующихся баз данных и правил для адаптивного СИНТЕЗА комплексов оперативной диагностики

1.1. Комплексы оперативной диагностики и самоорганизующиеся базы данных и правил

Понятие самоорганизующиеся комплексы оперативной диагностики не является строго определенным, однозначным термином, как и близкое ему понятие интеллектуальные системы . Под самоорганизующимися системами будем понимать согласно действующие, самонастраивающиеся, адаптивные, синергетические, саморазвивающиеся эволюционные системы. Под интеллектуальными системами принято понимать такие системы, которые способны выполнять интеллектуальные действия: обучаться, проводить логический анализ, синтез, осуществлять ассоциативный поиск и т.п. Интеллектуальные системы предназначены для решения самого широкого круга различных задач: от моделирования, управления, защиты, диагностики и обработки информации, до прогнозирования и проектирования баз данных и знаний, ЭВМ и их сетей и т.п. /3-6, 8-27, 30-34, 37, 41-46, 52-55, 62-71, 73-74, 80-87, 91-92, 97-103, 105-119, 123-131, 135, 141-143, 147, 151-169, 176-196, 204-207, 211-217, 224-230, 234-239, 241-247, 253-259, 280-281, 286-292, 298-352/. Отметим, что способность к самообучению является необходимой и одной из самых важных в перечне интеллектуальных свойств любого субъекта. На данном этапе, не будем затрагивать проблему достаточности этого признака, но подчеркнем именно - необходимость способности к обучению для любой интеллектуальной и самоорганизующейся системы.

Для того чтобы система могла обучаться, ее подсистема накопления и обработки данных должна обладать свойством адаптивности, наращиваемости, изменяемости, т.е. в некотором смысле - эволюционностью. Если перейти к терминам автоматизированных систем обработки информации (АСОИ), то базы данных (БД) и базы знаний самоорганизующихся комплексов оперативной диагностики должны быть адаптивными, а в более широком смысле – самоорганизующимися, эволюционными. Термин знания является антропоморфным и близок по смыслу к термину интеллект, но эти термины неоднозначно формализованы, т.е. не имеют четко выраженного, однозначного значения и, следовательно, не являются идентификаторами. Более того, с этой точки зрения, антропоморфный термин базы знаний не является корректным, так как фактически там хранятся только правила, процедуры и некоторые отношения объектов. Термин "правило хорошо формализован, а его смысл, в общем виде, более всего соответствует тому, что принято называть знание. Следовательно, далее целесообразно употреблять вместо термина базы знаний, в этом же смысле, другой термин: базы правил, а в качестве обобщения терминов базы данных и базы правил - будем использовать обобщенный термин: базы данных и правил" (БДП).

В настоящее время, в реальных (больших) базах данных может храниться практически любая информация, но вопросы адаптации структур хранения данных, как правило, решаются вручную, т.е. путем перепроектирования и перепрограммирования существующих баз данных. В процессе перепрограммирования такая АСОИ не выполняет свои функции, т.е. не обеспечивается непрерывность функционирования АСОИ. Получаем, что с учетом участия программиста-человека, такие человеко-машинные АСОИ являются адаптивными и самоорганизующимися. Однако, процесс перепроектирования и перепрограммирования БД, если не рассматривать участие человека, в общем случае, не является адаптацией системы хранения и обработки данных, так как на самом деле происходит создание новой базы данных, а не ее адаптация. В определенном смысле, некоторые базы данных позволяют проводить частичную адаптацию путем добавления новых объектов, но это осуществляется либо за счет резервирования лишних объектов в процессе проектирования, либо путем добавления однотипных объектов. На самом деле, исходя из смысла термина адаптация, такие изменения могут быть охарактеризованы лишь как имитация адаптации.

Действительно самоорганизующейся (адаптивной, эволюционной) базой данных может быть только база данных с изменяемой структурой представления данных. Кроме того, существует достаточно много систем, для которых важным критерием является непрерывность функционирования в достаточно длительные интервалы времени. Таким образом, в настоящее время проблема создания самоорганизующихся баз данных и правил не решена в полном объеме. Отметим, что термины адаптация и эволюция в нашем контексте являются синонимами, но все же более точным, более перспективным является термин эволюция, так как мы ставим целью создание самоорганизующихся, развивающихся, изменяющихся непрерывно на длительном интервале времени баз данных и правил. В то же время, под адаптацией принято понимать некоторое, чаще всего, одномоментное действие. Впрочем, при таком подходе, эволюция - это много раз повторенная адаптация (изменение) в различные моменты времени. Анализ возможного названия данной работы, показал, что наиболее адекватным сейчас является термин самоорганизующиеся базы данных и правил, хотя синонимы: адаптивные, изменяющиеся, развивающиеся, синергетические, миварные и т.п. тоже могут иметь место и право на существование.

Существуют различные варианты динамических, многомерных, объектно-ориентированных баз данных и знаний /3, 7, 10, 13, 15-19, 21, 28-41, 47-51, 56-61, 63, 67-79, 88-96, 103-104, 108, 120-125, 129, 132-134, 136-153, 156, 159, 167, 169-175, 179, 182, 184, 190, 193-205, 208-213, 216, 218-223, 231-241, 244-252, 256-279, 293-317/, но как было сказано выше, даже их нельзя отнести к самоорганизующимся (адаптивным, эволюционным), так как они тоже только имитируют адаптацию и не более того. Более подробно эти вопросы освещены ниже, а сейчас можно сделать вывод о необходимости разработки действительно самоорганизующихся баз данных и правил.

Таким образом, для создания самоорганизующихся комплексов оперативной диагностики необходимо решить несколько важных научных проблем. Прежде всего, это проблема создания самоорганизующихся (адаптивных) баз данных и правил. Затем - создание самоорганизующихся автоматизированных систем обработки информации, которые представляется возможным создать путем решения проблемы адаптивного синтеза конфигураций компьютерных систем, на основе создания самоорганизующегося эволюционного многомерного динамического дискретного информационного пространства унифицированного представления данных и правил или, для краткости, просто: миварного (самоорганизующегося) информационного пространства. Решение этих взаимосвязанных проблем позволит создать действительно эволюционные, самоорганизующиеся (синергетические) компьютерные системы, в том числе и интеллектуальные АСОИ.

В перспективе, САС ИВК предназначена для оценивания решаемой задачи, формирования требований и выбора оптимальных вычислительных ресурсов, адаптации программно-аппаратных средств, выделенных для решения требуемой задачи, и для непосредственного управления процессом решения такой задачи. Таким образом, самоорганизующийся компьютер сам будет адаптировать свою структуру для оптимального решения задач.

В целом, исследуемая проблемная область создания самоорганизующихся комплексов оперативной диагностики находится на стыке нескольких направлений, которые, в различной степени, характеризуются следующими терминами: дискретная математика, математическая логика, кибернетика, автоматизированные системы обработки информации, базы данных (БД), модели данных (МДн), базы знаний (БЗ), синтез вычислительных структур, экспертные системы, системы поддержки принятия решений, теория графов, оптимизация на сетях и графах, параллельные вычисления, системы искусственного интеллекта, многопроцессорные вычислительные системы, математическое и информационное моделирование, архитектура ЭВМ, многопроцессорные системы с программируемой архитектурой, системный анализ, управление и обработка информации, самоорганизующиеся системы, адаптивные системы управления, автоматизация проектирования, логические системы обработки данных и некоторые другие. Так как многие слова - термины используются в разных областях и в разное время в них вкладывался различный смысл, то при написании данного текста достаточно часто приводится одновременно несколько подобных, близких по значению, слов - терминов, позволяющих лучше подчеркнуть конкретное значение терминов и смысл написанного.

Кроме того, отметим, что любая однопроцессорная система является частным случаем многопроцессорных систем, следовательно, в дальнейшем целесообразно использовать термин многопроцессорные системы при исследовании сформулированных научных проблем. Итак, основой любой автоматизированной системы обработки информации являются базы данных и правил. Термин самоорганизующиеся комплексы оперативной диагностики подчеркивает, что такой системе должны быть присущи некоторые черты интеллекта. Прежде всего, это способность к обучению, накоплению и обработке новых данных, к информационному моделированию исследуемой предметной области.

Традиционные структурированные модели данных существующих известных баз данных /10, 17-19, 25, 29, 36, 38-40, 48-51, 56-61, 63, 67-72, 75-79, 88-89, 93-95, 104, 108, 120-125, 129-134, 136-140, 156, 159, 166-167, 182-185, 195, 199-203, 208-213, 218, 221-222, 231-233, 236-240, 250, 257, 261-268, 271-280, 285-289, 293, 297, 302-303, 305-307, 309, 317/ были предназначены для автоматизации обработки данных в таких предметных областях, структура описания данных, которых была фиксированной, неизменной. При изменении концептуальной модели предметной области, например, добавлении новых объектов или их характеристик, проектирование структуры базы данных приходилось фактически делать заново. При разработке концептуальных моделей данных основной проблемой было учесть как можно больше возможных изменений описания предметной области. Такие системы трудно назвать обучаемыми, а тем более интеллектуальными. Если в процессе функционирования базы данных можно будет, без потери производительности, изменять структуру концептуальной модели данных, то многие проблемы будут решены и процесс проектирования баз данных претерпит серьезные изменения в сторону упрощения. Возможно, само проектирование баз данных будет осуществляться постоянно в ходе реальной непрерывной работы АСОИ.

Конечно, существуют слабоструктурированные и неструктурированные модели данных, т.е. бесструктурные (инфологические), типа гипертекста, но для них характерны другие недостатки, связанные со сложностью реализации высокоскоростной обработки данных /7, 13, 15-19, 21, 25, 28, 35-36, 51, 56-61, 78-79, 90, 96, 115, 122, 127, 144-150, 155-156, 161, 170-179, 190, 195, 197-203, 205, 216, 219-223, 227, 231, 240-241, 244-252, 256, 260, 270, 273, 282-286, 294-296, 301, 304, 310-314/. Кроме того, наличие структуры представления данных позволяет проводить систематизацию данных, ассоциативную обработку, а многомерность значительно ускоряет обработку любых массивов и баз данных. Создание самоорганизующихся (адаптивных) баз данных, т.е. баз данных с изменяемой структурой (в том числе и многомерной), позволит совершить качественный скачок к созданию обучаемых систем, которые будут более соответствовать термину интеллектуальные. Формализованное описание, анализ и обобщение традиционных структур представления данных, подробно изложенные ниже, позволили предложить новые принципы построения многомерного динамического пространства унифицированного представления данных и правил, так называемого - самоорганизующегося (миварного) пространства. В структурированных моделях создается некоторая структура, в рамках которой затем записываются и хранятся все данные. В неструктурированных типах все данные просто записываются и хранятся без учета структуры. В сильноструктурированные (жесткие) модели можно записать не любые данные, но в них быстрее всего осуществляется поиск требуемых данных. В неструктурированных моделях можно хранить любые данные, но поиск требуемых данных занимает длительное время. К сильноструктурированным моделям можно отнести традиционные реляционные, сетевые, иерархические и т.п. модели, вплоть до модели данных сущность-связь. К неструктурированным или, точнее, слабоструктурированным моделям можно отнести гипертекстовое представление данных. В то же время, объектно-ориентированное представление данных в такой классификации относится к слабоструктурированным моделям и обладает возможностью изменения структур представления данных путем задания новых объектов.

Отметим, что если принято различать два типа представления данных: структурированные и неструктурированные, то самоорганизующийся (миварный) подход и самоорганизующиеся (миварные) базы данных можно отнести к новому типу представления данных с изменяемой структурой. Такая структура обладает возможностью эволюционного наращивания, а при необходимости и кардинального изменения структуры представления данных, даже в условиях непрерывности функционирования системы. Самоорганизующееся представление данных позволяет явно выделять структуру или системность объектов, например, вводя, в качестве оси, измерение уровня системности объекта в терминах: метасистема - система - подсистема, что обобщает, поглощает объектно-ориентированные модели данных и создает реальные предпосылки для осуществления ассоциативного поиска и выявления новых данных и отношений.

В этом случае, самоорганизующееся представление данных объединяет возможности всех этих моделей. При этом, на начальном этапе накопления данных, самоорганизующееся представление может быть ближе к слабоструктурированным моделям, но потом, при выявлении четких структур предметной области, определении взаимосвязей и взаимозависимостей, самоорганизующееся представление путем ввода новых осей подпространства представления данных (ППД) или изменения существующих, может быть преобразовано в более сильноструктурированное представление данных. Более того, некоторые части подпространства самоорганизующегося ППД могут быть представлены, как будет показано ниже, в различных по степени структурированности представлениях данных. Например, в некоторой автоматизированной системе обработки информации есть