Филатов О.В., Кульгускин О. В., Симонян Г.С.
О СТРУКТУРЕ И ЭНТРОПИИ СЛУЧАЙНЫХ БИНАРНЫХ ПОСЛЕДОВАТЕЛЬНОСТЕЙ *
Аннотация:
целью исследования является ввод понятия и определение элементарного случайного события как простейшего неделимого объекта. Показано, что свойства элементарного случайного события отличаются от свойств бита. Установлено, что деление бинарной случайной последовательности на монотонные цепочки (составные события) отвечает характеристикам энтропии. Показано, что не профильное применение формулы информационной энтропии Шеннона к элементарному случайному событию, привело к неслучайным результирующим значениям. К существующим энтропиям добавлена новая- энтропия комбинаторики длинных последовательностей, областью её применения являются длинные случайные последовательности, например, стохастический поток равновероятных бинарных событий или молекулы ДНК и мтДНК. Результатом применения информационной энтропии Шеннона к энтропии комбинаторики длинных последовательностей является константа Эйлера «е», что даёт этой константе вероятностно - информационную размерность, так как она получена из вероятностной структуры случайной бинарной последовательности и информационной энтропии Шеннона. Для случайной бинарной последовательности раздельный расчёт энтропии Шеннона и энтропии комбинаторики длинных последовательностей приводит к одной величине.
Ключевые слова:
энтропия Шеннона, информационная энтропия, случайная последовательность, комбинаторика, длинные последовательности, составные события, константа Эйлера, бинарная последовательность
Практическое применение энтропии в интересах исследования природы, экология, биологии, биоинформатики и передачи данных [1-7] привело к новым интересным физика - информационным открытиям, о которых рассказывается в этой статье. Базовые положения «Комбинаторики длинных последовательностей» (КДП) показаны на самом простейшем бинарном потоке - случайной бинарной последовательности (СБП).Целью исследования являются ввод понятия и определение элементарного случайного события (ЭС) как простейшего неделимого объекта, а также показать, что свойства ЭС отличаются от свойств бита. Установить, что простейшее деление случайной последовательности на монотонные цепочки (составные события) отвечает характеристикам энтропии. Показать, что не профильное применение формулы информационной энтропии Шеннона к ЭС, приводит к неслучайным результатам.В случайных бинарных последовательностях из N равновероятных элементарных событий будем обозначать образующие их члены в виде: «0» и «1». Поскольку случайные события («0» и «1») не несут в себе никакой информации, то их не корректно называть битами (минимальными порциями информации). Поэтому будем называть эти не делимые на более мелкие фрагменты события (нули «0» и единицы «1») элементарными случайными событиями - ЭС, пример цепочки из пяти ЭС: «10110».Фундаментальная разница между битами и ЭС будет показана ниже, при расчёте энтропии Шеннона, величина которой различна для одного бита и одного ЭС (при расчёте по формуле Шеннона).В СБП существуют участки, образованные последовательным выпадением одинаковых ЭС событий, например: «00», «11111», «000000». Число выпадающих подряд одинаковых ЭС будем обозначать n. А сам фрагмент, содержащий эти события обозначим буквой S, в левом верхнем углу которой (что бы не путать с обозначением степени) будем указывать длину этого фрагмента. Фрагмент последовательности из одиннадцати ЭС: «11100010100». Этот же фрагмент в виде символов составных событий: = «111 + 000 + 1 + 0 + 1 + 00», таблица 1.В КДП [8] получена формула для расчёта численности составных событий в любой случайной бинарной последовательности, с точностью до случайной флуктуации:Где:N – ЭС образующие случайную последовательность, n – длина составного события (номер моды) [8].Таблица 1. Примеры составных событий.Причём, обозначает общее число составных событий образованных из нулей «0» и из единиц «1», пример: обозначает все цепочки «000» и все цепочки «111».Теоретически рассчитанные по формуле (1) и экспериментально обнаруженные в выборке из N бинарных ЭС численности показаны на рисунке 1. В таблице 2 собраны численности теоретических составных событий , рассчитанных по формуле (1) и экспериментальных составных событий, найденных в бинарной последовательности из N = 20 000 000 ЭС (элементарных событий).Пример расчёта , для n=2 и N= по формуле (1): 2 500 000Смотри рисунок 1 и таблицу 2.Рисунок 1. «Численности теоретических и экспериментальныхсоставных событий в бинарной последовательностииз N = 20 000 000 элементарных событий».Под экспериментальной численностью составных событий понимается численность найденных составных событий в случайной последовательности из N = 20 000 000 элементарных событий, при последовательном просмотре всех её N членов от первого до последнего.Таблица 2. Составные события энтропии СБП.В таблице 2, в столбце «Отклонение в %» дано отклонение численностей, найденных в экспериментальной выборке, от теоретически рассчитанных по формуле (1) величин. Как видно, точность отклонения экспериментальных данных от соответствующих теоретических величин не превышает один процент. Отклонение рассчитывалось по формуле:Сумму всех обозначим буквой S, она рассчитывается по формуле (2), и S = N/2, где N - число ЭС, членов бинарной последовательности:Рассмотрим свойства , совокупность которых позволяет отождествить с частными КДП – энтропиями, сумма которых образует общую КДП - энтропию S:сумма всех равна S (S стремится к N/2), формула 2,с ростом последовательности N (увеличение числа членов N) увеличиваются, то есть, энтропия растёт, формула 1,конкретные значения появляются при N отличных от бесконечности, количественно характеризуют случайную бинарную последовательность, то есть они являются мерой беспорядка (хаоса), смотри рисунок 1 и таблицу 2.Учитывая, что составные события можно рассматривать как частную КДП - энтропию, перенесём ранее выявленные свойства на энтропию как таковую. То есть у энтропии существуют свойства, в частности вероятность.В работе [9] для составных событий вводилась вероятность р, которая для рассчитывалась как аналог геометрической вероятности, исходя из следующих геометрических рассуждений. Составные события случайным образом располагаются вдоль всей последовательности N. Поэтому при случайном выборе произвольного элементарного события, это событие будет принадлежать одному составному событию множества с вероятностью, пропорциональной занимаемой множеством части последовательности N (аналогично цветовым секторам в рулетке).Количество элементарных событий , образующих множество , прямо пропорционально n, и рассчитывается по формуле (3):Тогда из формулы получаем геометрическую вероятность случайного попадания в одно из составных событий последовательности N, которая будет равна отношению числа элементарных событий к общему числу всех элементарных событий N, формула (4):Формула (4) описывает получение одномерной геометрической вероятности из энтропии : то есть показывает связь энтропии с пространственной или с временной геометрической вероятностью, если рассматривать последовательность N не как пространственную, а как временную. Сумма всех вероятностей равна единице, формула (4), где: – теоретически рассчитываемое по формула (1) число составных событий в последовательности из N элементарных событий.Подставляя вероятности из формулы (5) в формулу энтропии Шеннона получаем формулу (6), сумма которой стремится к константе Эйлера «е»:Таким образом константа Эйлера «» получает по формуле 6 новое определение: . Константа Эйлера – это информационная энтропия Шеннона, взятая от КДП - энтропии случайной бинарной последовательности , то есть «е» — это информационная КДП - энтропия.Формула (6) является объединительной, она объединят через задействованные в ней члены три научных направления: теорию вероятности (КДП): – составные события и частные энтропии случайной бинарной последовательности, информатику - через информационную энтропию Шеннона, и физику – через константу Эйлера «».Таким образом, по формуле (6) для всех СБП существует постоянная, строго определённая информационная КДП – энтропия, равная числу «е». Поскольку в знаменателях дробей формулы (6) стоит N, которое сокращается с N в числителе дроби: , бесконечные последовательности то же имеют значение информационной КДП энтропии равное «е».Рассмотрим разницу между ЭС и битом при расчёте их информационных величин по формуле Шеннона: .Шеннон предположил, что постоянное неизменное значение не содержит информации (у него нулевая информация). Шеннон так сконструировал бит, что бит рассчитан на два значения информации, но содержит в каждый момент времени только одно значение – «0» или «1», которые можно менять во времени. Шеннон так сконструировал свою формулу энтропии, что энтропия одного бита равна единице.Не смотря на кажущуюся идентичность ЭС биту (ЭС может содержать одно из двух два логических состояний: «0» или «1») ЭС, в отличие от бита, не может менять в принципе своё состояние на противоположное. Изменение состояния ЭС запрещено и философскими и математическими законами о однозначности произошедшего события. Так если монета в конкретном броске (с определённым номером в серии подбрасываний) выпала орлом в нашем мире, то это событие сохранится до конца существования Вселенной и это ЭС не может быть изменено (по Шеннону энтропия каждого ЭС равна нулю, для бита это не так, бит создан для хранения меняющейся информации, поэтому и память в компьютерах измеряется битами). То есть, «0» или «1» появляются в конкретном ЭС с вероятностью 0,5, но больше никогда не изменяются. Идеология Шеннона не может описать это состояние (работу) ЭС. Так как до некоторого момента времени ЭС не существует, то есть нет состояний и «0» и «1» и поэтому нельзя вообще говорить о величине энтропии, а потом ЭС появляется и принимает на вечно, с вероятностью 0,5, одно из двух состояний («0» или «1»), что в интерпретации Шеннона не несёт никакой информации, то есть энтропия равна нулю (что, совершенно справедливо для СБП в которой нет информации).Тем не менее применение формулы информационной энтропии Шеннона для распределений ЭС СБП дало интересные, явно не случайные результаты.В первом случае энтропия Шеннона от КДП – энтропии равна константе Эйлера: , формула (6).Во втором, для N – ЭС (вероятность выпадения и «0» и «1» равна 0,5), суммы частных КДП – энтропий (), формула 2, оказалась одинаковой с энтропией Шеннона для ЭС (а не для бит):, следовательно: Где: – суммарная КДП энтропия (формула (1)), – энтропия Шеннона ЭС случайной бинарной последовательности,n – длина составного события (число одинаковых бинарных событий, в монотонных сериях, например: n=5 для серий: «00000» и «11111»), – номер ЭС или элементарного бинарного события, вероятность: = 0,5.В то же время, у СБП существуют частные КДП - энтропии , величина которых прямо пропорциональна длине (числу элементарных событий) N. Сумма частных КДП - энтропий равна информационной энтропии Шеннона ЭС бинарных последовательностей длины N:Из КДП – энтропии , формула (1), можно получить величину независящую от числа членов пос-ти N. Эта величина получается делением КДП энтропии на число членов N, формула (7). Величины были введены в работе [8] и получили название – частоты Р. Мизеса:Таким образом, из формулы (7), следует, что КДП – энтропии (составные события) – это произведение мизесовской частоты на число членов последовательности N, формула (8):Так как по формуле (2) полная энтропия бинарной последоватеьности равняется сумме всех КДП – энтропий и равняется: = N / 2, то определять принадлежность некой последовательности к классу случайный бинарных последовательностей можно по равенству её информационной КДП энтропии числу «е» или по равенству сумме частот Р. Мизеса константе одной второй, формула (9):Из формулы (9) следует, что: Заметим, что формула (6) более фундаментальна, а формула (9) проще в работе.Так как Н - информационная энтропия Шеннона ЭС случайной бинарной последовательности равна: H= N/2, то можно прировнять суммарную КДП – энтропию S, формула (2), и энтропию Шеннона: H=S, формула (10):Где: – суммарная КДП энтропия (формула (1)), – энтропия Шеннона ЭС случайной бинарной последовательности,n – длина составного события (число одинаковых бинарных событий, в монотонных сериях, например: n=5 для серий: «00000» и «11111»), – номер элементарного бинарного события, вероятность: = 0,5.Действительно: вероятность выпадения и «0» и «1» равна 0,5, подставляем её в формулу Шеннона:,следовательно: Результаты исследования и их обсуждение.К имеющимся разнообразным энтропиям вводится новая КДП – энтропия, областью её применения являются длинные случайные последовательности, например стохастический поток равновероятных бинарных событий или молекулы ДНК и мтДНК, так как эти биологические молекулы являются наследниками неживой природы и отвечают требованию длинных последовательностей, которые могут быть представлены ограниченным количеством элементарных событий (для ДНК на в качества ЭС выбираются нуклеотиды) [10, 11]. Таким образом, величины отклонений КДП – энтропий рассматриваемой последовательности от уровней КДП – энтропий случайной последовательности показывают и характеризуют изучаемую последовательность по отношению к случайной последовательности. Ввод нового типа КДП – энтропии для СБП является очень важным моментом для нового витка развития таких наук как: криптография, теория информации, физика, теория вероятности, так как в них в этих науках СБП занимает одно из центральных положений.Заключение.Описываемые КДП составные события являются частными КДП – энтропиями, количественно характеризующие состояние хаоса последовательности через численность цепочек соответствующих длин.Сумма всех частных КДП – энтропий равна N/2, где N – число членов последовательности и равна информационной энтропии Шеннона от элементарных событий, формула (10.)С ростом числа членов последовательности N происходит рост частных и общей КДП - энтропий.Константа Эйлера «е» является величиной информационной энтропии Шеннона, взятой по частным КДП – энтропиям, формула (6).У ранее безразмерной константы Эйлера «е» должна быть размерность отражающая в себе КДП – энтропию случайного бинарного потока (потока ЭС) и информационной энтропии Шеннона.Статья будет интересна физикам, исследующим квантовую запутанность, разработчикам квантовых компьютеров, информатикам, биоинформатикам и математикам.
Номер журнала Вестник науки №7 (76) том 2
Ссылка для цитирования:
Филатов О.В., Кульгускин О. В., Симонян Г.С. О СТРУКТУРЕ И ЭНТРОПИИ СЛУЧАЙНЫХ БИНАРНЫХ ПОСЛЕДОВАТЕЛЬНОСТЕЙ // Вестник науки №7 (76) том 2. С. 377 - 391. 2024 г. ISSN 2712-8849 // Электронный ресурс: https://www.вестник-науки.рф/article/16798 (дата обращения: 09.09.2024 г.)
Вестник науки СМИ ЭЛ № ФС 77 - 84401 © 2024. 16+