Iphone
shpora.me - незаменимый помощник для студентов и школьников, который позволяет быстро создавать и получать доступ к шпаргалкам или другим заметкам с любых устройств. В любое время. Абсолютно бесплатно. Зарегистрироватся | Войти

* данный блок не отображается зарегистрированым пользователям и на мобильных устройствах

ОТІ Л -mike

Лекція 1.

ТЕМА: ВСТУП. ОСНОВНІ ПОНЯТТЯ ТЕОРІЇ ІНФОРМАЦІЇ

1. Історія розвитку теорії інформації

2. Методологічні засади теорії інформації

3. Визначення інформації

4. Предмет теорії інформації.

1. Історія розвитку теорії інформації

Дослідження інформації розпочалося з виникнення телеграфу й дослідження проблем передачі повідомлень у ньому. Проте, виникнення теорії інформації зазвичай пов’язують із появою у 1948 р. фундаментальної праці американського вченого Клода Шеннона „Математична теорія зв’язку”.

Мандруючи в 1832 р. через океан, Самюель Морзе розпочав створення першого телеграфного апарата. У першому варіанті на паперову стрічку виводились крапки й тире, які позначали слова із заздалегідь складеної таблиці дозволених для передачі слів (1837 р.). Це був однополюсний телеграф (струм є або нема).

У 1839 р. Морзе у сумісній роботі з Альфредом Вайлем відмовився від цього методу й запропонував той спосіб, який тепер називають азбукою Морзе. Тут букви позначають крапками, тире й паузами між ними (тире дорівнює тривалості трьох крапок). Пауза позначалася відсутністю струму, а крапки й тире — короткими й довгими імпульсами струму. Коди літер були нерівновеликі, тобто чим частішою була літера, тим коротшим був її код (це вело до скорочення часу передачі повідомлень). Частоти визначалися на основі кількості літер у набірних касах.

У 1843 р. уряд США прийняв рішення про встановлення телеграфного зв’язку між Вашингтоном і Балтимором. Виявилося, що прокладання кабелю під землею та під водою веде до того, що сигнали можуть зливатися чи змінюватися (наприклад, крапка — на тире). Тому для прокладання було обрано стовпи, на які підвішували кабель. На кабель, як виявилося, впливає магнітне поле Землі, яке викликає в ньому певні „паразитні” струми. Такі струми було пізніше названо шумами.

Пізніше телеграф удосконалили, а саме — його зробили двохполюсним: струму нема, стум іде в одному напрямі або в протилежному напрямі.

У 1855 р. особливості передачі сигналів розрахував Вільям Томсон (лорд Кельвін). У 1874 р. Томас Едісон використав не тільки два різні напрями струму, а й додав до кожного напряму два різні значення. Але це вело до того, що ці значення стало важче розрізняти.

Нова хвиля досліджень розпочалася після винаходу в 1875 р. Олександром Грехемом Беллом телефона.

Великий вклад у проблему передачі сигналів зробив відомий математик Жозеф Фур’є, який запропонував математичний апарат для дослідження накладання сигналів один на одного (враховувалася амплітуда коливань, їх частота й хххх). Крім нього, проблемами передачі сигналів каналами електричного зв’язку займалися також відомі математики Анрі Пуанкаре, а також американський математик Гаррі Найквіст (у 1924 р. опублікував одну з базових статтей, де показав, як залежить швидкість передачі від кількості значень у сигналі). Найквіст також встановив, як правильно визначити максимально можливу швидкість передачі сигналів по каналу за 1 с.; він вказав, як правильно одночасно передавати по одному каналу і телеграфні повідомлення, і телефонні розмови; вказав, як залежить швидкість передачі від ширини діапазону використовуваних частот; вказав на наявну надлишкову складову в сигналі.

У 1928 р. американський дослідник Хартлі опублікував роботу „Передача інофрмації”. Він першим показав, що кількість інформації в повідомленні рівна

H = n log2 s,

де n — кількість вибраних символів, а s — кількість різних символів у наборі, з яких роблять вибір. Ця формула справедлива тоді, якщо вибір символів рівноімовірний.

Під час Другої світової війни роботи в ділянці передачі інформації було перервано. Але з’явилася нова група задач: як по електричному сигналу від радіолокатора визначити, в якій точці через певний час буде літак, що зараз має якісь певні координати? Цю задачу вирішили російський математик А. Колмогоров і Н. Вінер (автор книги „Кібернетика”, 1948 р.).

Етап класичної імовірнісної теорії інформації К. Шеннона. У час війни проблемою передачі інформації зайнявся ще один відомий математик — Клод Шеннон. Він займався дослідженням того, якого типу сигнали потрібно посилати, щоби краще передати повідомлення певного типу по заданому каналу з шумами. Таким чином, було поставлено проблему ефективного кодування й надійного отримання повідомлення. Так виникла класична (імовірнісна) теорія інформації.

У повному викладі основні положення цієї теорії було опубліковано в 1948 р. у двох статтях.

Етап виникнення алгоритмічної та семантичної концепцій теорії інформації (А. Колмогорова, Р. Карнапа й І. Бар-Хіллела). Як виявилося, теорія інформації К. Шеннона фактично стосувалася лише передачі сигналів у технічних каналах зв’язку, а тому до другого значення слова інофрмація („знання”) вона мала доволі опосередковане відношення. Тому науковці вели дослідження для подолання вказаного недоліку. Результатом цих досліджень стало виникнення ще двох концепцій теорії інформації.

Перша з цих двох концепцій була опублікована в 1953 р. дослідниками Р.Карнапом та І. Бар-Хіллелом. Ця концепція була названа семантичною, оскільки передбачала визначення кількості інформації у твердженнях — конструкціях математичної логіки.

Друга концепція була опублікована в 1965 р. відомим російським математиком А.Колмогоровим. Вона отримала назву алгоритмічної, оскільки передбачала визначення кількості інформації на основі програми (і, відповідно, алгоритму), яка перетворює один об’єкт в інший.

Етап застосування теорії інформації в різних галузях науки й мистецтва. У період 50…70-х років почалося широке застосування класичної теорії інформації в найрізноманітніших галузях науки й техніки.

Якщо застосування класичної теорії інформації в техніці давало позитивні результати, то застосування її в науці (наприклад, лінгвістиці, психології, мистецтві тощо), як правило, давало негативні результати, оскільки не враховувалося основне — значення знаків (наприклад, слів).

Результатом стало те, що сам автор імовірнісної теорії інформації К. Шеннон назвав роботи із застосування створеної ним концепції теорії інформації до мови, психіки людини, творів мистецтва — необґрунтованим, а дослідників, які намагалися це зробити — „бандвагоном”.

Етап застосування теорії інформації в кібернетиці й промисловості (зв’язку). З 80-х років 20-го ст. починає широко розвиватися комп’ютерна (цифрова) мережа каналів зв’язку. На якісно новий рівень виходять канали телефонного зв’язку (вони також стають цифровими). Все це дає широке поле для застосування класичної теорії інформації К. Шеннона в техніці.

Новітні концепції теорії інформації. Незважаючи на широке застосування класичної теорії інформації, проблема інформації як знань залишається невирішеною. Тому науковці продовжують свої дослідження. У цьому напрямі йде ціла низка досліджень, виконаних на основі алгоритмічної теорії інформації.

 

2. Методологічні засади теорії інформації

Основні розділи теорії інформації. На сучасному етапі теорія інформації містить такі розділи як:

— аксіоматична база;

— принципи вимірювання кількості інформації;

— кодування інформації;

— передача інформації.

Пов’язаність інформації з процесами керування в кібернетичних системах. Найперше вкажемо, що інформація є лише там, де є процеси керування, а, отже, керуючі системи . Там, де керуючих систем нема (наприклад, у неживій природі), інформації не існує. Тому відбиток коліс автомобіля на ґрунтовій дорозі — це лише відображення, але не інформація (інформацією цей відбиток може бути лише для керуючих систем — живих істот, комп’ютерів тощо).

Кібернетична система містить: керуючу підсистему й керовану підсистему.

Керуюча підсистема передає керованій підсистемі певну інформацію, що реалізується у вигляді сигналу чи їх ланцюжків (повідомлення). Керована підсистема здійснює зворотний зв’язок, надсилаючи керованій підсистемі свою реакцію — інформацію (повідомлення) про свій стан (змінений чи такий, що й був до передачі інформації керуючою підсистемою). Відповідно, керуюча підсистема повинна враховувати інформацію, надіслану в зворотньому зв’язку, й при потребі повинна вносити зміни в ті сигнали, що надсилаються керованій підсистемі.

Кібернетична система містить:

— пристрої для збору інформації;

— пристрої для кодування/декодування інформації;

— пристрої для передачі інформації;

— пам’ять для зберігання інформації.

Аксіоми  інформації.

Аксіома 1: інформація має ідеальний характер. Проілюструвати цю аксіому можна в такий спосіб. Колись відомий письменник Б. Шоу наводив такий приклад: коли в когось є яблуко, й він передає його іншому, то після цього яблука в нього вже немає; коли в когось є якась думка [тобто інформація. — П. З.], й він повідомляє її іншому, то після цього ця інформація є вже у двох. Від себе додамо, цю думку можна повідомити не одному, а безконечній кількості отрмимувачів інформації. Якби інформація була матеріальним об’єктом, як яблуко, її можна було б передати лише одній людині; той факт, що інформацію можна передати безконечну кількість разів, підтверджує, що інформація має ідеальний характер.

Аксіома 2: інформації зберігається і передається тільки на матеріальному носії. У наш час інформація передається або на матеріальних носіях (раніше — на камені, корі, вузликами тощо; зараз — на папері, дисках тощо) або коливаннями поля (електромагнітного, гравітаційного тощо). Наприклад, одна людина передає інформацію іншій у разі використання усної природної мови за допомогою коливань повітря. Іншого способу людство не виявило.

Аксіома 3: інформація існує тільки в кібернетичних системах. Якщо немає процесу керування, а, отже, кібернетичної системи, то інформації не існує. Наприклад, сам по собі відбиток шини автомобіля на розмитій польовій дорозі є лише відображенням, а не інформацією. Інформацією це відображення може стати лише тоді, коли його сприйматиме якась кібернетична система, наприклад людина. Це зовсім не заперечує того, що в неживій природі не передається інформація, як наприклад, у різних видах механічних систем, тих же ж двигунах.

Аксіома 4: чим менша імовірність якоїсь явища, тим більше інформації воно несе, і навпаки. Розглянемо два повідомлення: 1) громадянин N прокинувся о восьмій годині ранку й побачив поруч зі собою будильник; 2) громадянин N прокинувся о восьмій годині ранку й побачив поруч зі собою слона. Інтуїтивно зрозуміло, що друге повідомлення несе значно більше інформації, ніж перше, оскільки імовірність його появи вкрай мала. Ця аксіома лежить в основі такого добре відомого правила працівників ЗМІ, які всі найбільш сенсаційні події виносять або на початок передач, або на пршу сторінку видань.

Хоча описані нижче концепції теорії інформації базуються на зовсім різних принципах вимірювання кількості інформації в повідомленнях, проте всі вони враховують закономірність, сформульовану у четвертій аксіомі теорії інформації, вказаній вище.

Закони теорії інформації.

Закон 1: на отримання інформації кібернетична система повинна затратити певну кількість енергії.

Для отримання інформації слід витрачати енергію, кількість якої для кожної керуючої системи є обмеженою. Так, за наявними даними, для отримання одного біта інформації теоретично потрібно затратити 0,693 kT дж енергії (на практиці ці затрати завжди значно більші) . Якби керуючі системи мали або надзвичайно довгі за місцем у пам’яті (як екстремум — безконечні) або довготривалі в часі (як екстремум — безконечні) програми розпізнавання, то вони або не змогли б функціонувати, або завжди опинялись би в стані поразки, що визначає саму можливість їх функціонування. У біологічних системах цьому протидіє інстинкт самозбереження.

Сформульований принцип не заперечує того, що в різних системах програми розпізнавання одного й того ж образу можуть мати відмінні довжину та час виконання.

Закон 2: будь-яка інформація впливає на її отримувача.

Вплив може реалізуватися різними шляхами: а) шляхом запам’ятовування інформації і її використання у наступних діях кібернетичної системи в тому випадку, коли ця інформація стає цінною щодо життєдіяльності системи; б) шляхом забування цієї інформації (стирання з пам’яті).

Якщо інформація не впливає в даний момент на отримувача, то вона обов’язково вплине тоді, коли виникне ситуація її недостатності (про недостатність див. нижче).

Закон 3: кількість інформації, яку отримує кібернетична система в процесі розпізнавання після прийняття певного сигналу, дорівнює логарифму при основі m від кількості варіантів вибору, що передували розпізнаванню.

Закон 4: що меншою є ймовірність завершення якогось випробування з певним результатом, то більше інформації для будь-якої кібернетичної системи несе саме цей результат, і навпаки.

 

3. Визначення інформації.

Традиційно під інформацією (від латинського informatio — роз’яснення, виклад, обізнаність) розуміють “одне з найзагальніших понять науки, яке означає певні відомості, сукупність якихось даних, знань і т. ін.”. Проте очевидно, що таке визначення не можна сприймати як наукове, оскільки воно містить явну логічну помилку (визначення невідомого через невідоме), визначення інформації через відомості, дані, знання, що також вимагають визначень (пов’язані з цим помилки див. у будь-яких тлумачних словниках).

Даючи визначення інформації, найперше потрібно враховувати, що воно повинно охоплювати всі можливі типи кібернетичних систем. Тому запропонуємо визначення цього терміна, а далі перевіримо його на низці прикладів із різними кібернетичними системами — від найпримітивніших (механічних) до найскладніших (людини).

Отже, враховуючи пов’язаність інформації з поняттям знятої невизначеності (ентропії), дамо їй таку дефініцію: інформація — це знята невизначеність, яку кібернетична система у своїй пам’яті декодує та зберігає. Тут невизначеність — це стан, коли кібернетична система повинна отримати інформацію (сигнал), але час його надходження або його зміст в цей момент часу є невідомими.

Перевіримо це на прикладі з механічною системою (наприклад, паровий двигун). Справді, в керованій підсистемі приймач інформації перебуває в стані невизначеності й очікує надходження сигналу, що несе лише один біт інформації. Після надходження певного сигналу інформація про нього передається в керовану підсистему, невизначеність приймача зникає, і він знову переходить у стан невизначеності до моменту надходження нового сигналу. При цьому інформація зберігається в пам’яті підсистеми лише на час передачі інформації (після передачі інформації вона стирається). Отже, такі системи мають лише короткочасову пам’ять, в якій сигнал запам’ятовується лише на час передачі інформації.

Складніші типи систем (наприклад, клітини, електронні мікросхеми — чіпи) можуть отримувати не тільки один конкретний сигнал, а й цілі їх ланцюжки (значно більшу, ніж біт кількість інформації — десятки чи сотні біт інформації). При цьому, оскільки такі системи вже володіють довгочасовою пам’яттю, то така невизначеність вже відображається, тобто з кортокочасової може передаватися в довгочасову пам’ять. Тому стосовно таких систем можна вже говорити, що для них знята невизначеність (сигнал, що несе лише один біт інформації) фактично є групою сигналів, тобто відображеною різноманітністю. Отже, можна сказати, що для такого типу систем інформація — це відображена різноманітність, яку кібернетична система в своїй пам’яті декодує та зберігає.

Ще складніші типи систем (наприклад, сучасні ком’ютери, біологічні системи — тварини, люди) можуть сприймати й опрацьовувати не тільки групи сигналів, а й цілі їх комплекси. Для таких систем сигналами (відображеною різноманітністю) стають образи, що містять уже тисячі, десятки чи сотні тисяч біт інформації. Такі сигнали (образи) опрацьовуються в спеціальному підвиді короткочасової пам’яті — сенсорній вже за зовсім іншим принципом (наприклад, як у нейрокомп’ютерах). При цьому процедура декодування сигналу перетворюється в значно складнішу процедуру — розпізнавання образу. Отже, для складних типів систем інформація — це відображені образи, які кібернетична система в своїй пам’яті розпізнала та зберігає.

Звертаємо тут увагу на дві особливості. Перша та, що нерозпізнані образи інформацією не є (вони залишаються лише тлом (фоном) в органах сприйняття системи). Друга особливість та, що не всі образи мусять бути відображеними. Річ у тім, що складні системи, як наприклад людина, можуть самогенерувати образи, які можуть і не бути відображенням реального світу (наприклад, людини в стані галюцинацій може генерувати такі образи). Очевидно, що такі образи також несуть певну інформацію.

Повертаючись до поданого вище псевдовизначення інформації як відомостей, даних, знань тощо, тепер можна сказати, що в отриманій інтерпретації (інформація як образ) вона вже збігається з поданим псевдовизначенням. Справді, відомості, дані й знання можна передати за допомогою ланцюжків образів, якими є, наприклад, знаки, хоча б тіж лінгвістичні — слова.

У наш час теорія інформації в основному займається тим значенням, яке базується на понятті „знята невизначеність”. На друге значення цього терміну („відомості, знання”) спрямовано багато сучасних досліджень, проте вагомих результатів у цьому напрямі поки що немає.

Сучасне трактування поняття інформації змінюється в міру вивчення форм прояву та усвідомлення ролі інформації в процесах пізнання і керування.

Інформація – одне з фундаментальних понять науки, таких як матерія та енергія. Слово “інформація” походить з латинського слова informare– зображувати, роз’ясняти, викладати що-небудь, складати поняття про будь-що. крім того, інформація – це характеристика взаємодії повідомлення зі споживачем. Усе, що ми спостерігаємо, чуємо, сприймаємо дотиком, відчуваємо, є не що інше, як прийом, обробка, накопичення та видача інформації. Справедливо відзначив академік В. М. Глушков, що “... по суті немає жодної ділянки людської діяльності, де б ми не мали справу з перетворенням інформації”.

У широкому змісті інформація – це відомості, знання, повідомлення, що є об’єктом збереження, передачі, перетворення і які допомагають вирішити поставлену задачу. Інформація – це нові відомості, що можуть бути використані людиною для удосконалювання її діяльності і поповнення знань.

Зміст терміна “інформація” залежить від позиції, із яким дається його визначення, і від області його застосування (див. рис. 1.1).

Рисунок 1.1. Зміст терміну інформація

 

Оскільки інформацію можна зберігати, перетворювати і передавати, повинні бути носій інформації, передавач, канал зв’язку та приймач. Це середовище об’єднує джерело інформації та одержувача в інформаційну систему. Активними учасниками цієї системи не обов’язково повинні бути тільки люди: обмін інформацією повинен відбуватися у тваринному і рослинному світі. Коли мова йде про людину як учасника інформаційного процесу, мається на увазі значима або семантична інформація, тобто та, що виражається людиною.

 

 4. Предмет теорії інформації.

Теорія інформації ‑ це розділ кібернетики, в якому за допомогою математичних методів вивчаються способи вимірювання кількості інформації, що міститься в будь-яких повідомленнях, способи кодування для економічного подання повідомлень і надійної передачі їх каналами зв’язку з завадами.

Курс теорії інформації об’єднує такі теоретичні напрями, як математичні моделі та частотний аналіз каналів і сигналів, кількісна оцінка інформації, кодування повідомлень, їх стиснення, оцінка ефективності та завадостійкості передачі кодованих повідомлень.

Одним із головних завдань теорії інформації є максимальне використання потенційних можливостей каналів зв’язку на основі оптимального кодування джерела повідомлення та його подальшого завадостійкого кодування. Це збігається з завданням теорії кодування ‑ розробкою ефективних алгоритмів кодування для джерел повідомлень і передачі даних каналами зв’язку.

Методом теорії інформації є сукупність прийомів дослідження інформаційних систем (наприклад, методи оцінки інформаційної здатності джерела інформації, пропускної спроможності систем передачі інформації, інформаційної місткості пристроїв, місткості запам’ятовуючих пристроїв).

Теорія інформації і кодування встановлює критерії оцінки завадостійкості та ефективності інформаційних систем, а також указує загальні шляхи підвищення завадостійкості та ефективності інформаційних систем.

Виробничі процеси, а також процеси в природному середовищі пов’язані з передачею, одержанням, перетворенням, нагромадженням, зберіганням і відображенням інформації.

Лекція 2.

ЕНТРОПІЯ, ЯК ЧИСЛОВА ОЦІНКА НЕВИЗНАЧЕНОСТІ

1. Концепції теорії інформації

2. Кількість інформації. Ентропія.

3. Властивості ентропії

 

1. Концепції теорії інформації

1.1. Імовірнісна (класична) концепція теорії інформації

Класична теорія інформації Р. Хартлі та К. Шеннона базується на теорії ймовірностей (далі — імовірнісна ТІ) . Кількість інформації для рівноймовірних завершень випробувань в цій теорії вимірюється як логарифм від кількості можливих варіантів (N) завершення випробування:

I = log2 N = log2 mn = n log2 m                                                          (1)

де N — кількість можливих варіантів завершень випробування, тобто кількість можливих повідомлень;

n — кількість розрядів у повідомленні;

m — кількість символів в алфавіті (наприклад, два: 0 та 1).

Одиницею вимірювання кількості інформації в даному випадку служить біт.

Ця основна формула була вдосконалена К. Шенноном для випадку, коли завершення подій не є рівноймовірним: оскільки формула  Р. Хартлі (1) I = log N внаслідок звичайних математичних перетворень дорівнює I = - log (1/N), де (1/N) є ймовірністю (p) завершення випробовування, то можна записати, що I = - log p. Якщо ж завершення подій нерівноймовірне, то для варіанту завершення i кількість інформації в ньому становитиме:

Ii = - pi log2 pi.                                                                (2)

Застосування цієї формули показує, що чим менша ймовірність завершення варіанту i певного випробування, тим більше інформації він несе.

Кількість інформації у всіх випробуваннях експерименту визначають як арифметичну суму по всіх завершеннях i.

Ця математична модель досконало працює для тих випадків, коли мова йде про кодування інформації, тобто при передачі інформації каналами зв’язку чи її зберіганні на носіях інформації. Проте вона зовсім не працює, коли йдеться про визначення кількості інформації в об’єктах, позначених цими кодами. Покажемо це на прикладах.

Приклад. Визначаючи кількість інформації в літері Р, ця теорія зовсім не аналізує, що ця літера, по-перше, складається з двох компонентів: прямої лінії та півкола; по-друге, пряма та півколо з’єднані між собою; по-третє, товщина лінії, яка утворює півколо, в різних точках є різною; по-четверте, пряма лінія нахилена під певним кутом тощо.

Приклад. Вимірюючи кількість інформації у слові мама, ця теорія визначає лише кількість інформації в літерах цього слова, тобто I(мама) = (-p(м) log p(м)) + (-p(а) log p(а)) + (-p(а) log p(а)) + (-p(м) log p(м)), проте зовсім не визначає, скільки інформації міститься в значенні цього слова (мама — людина, мама — жінка, мама — має двоє очей, ніг, рук і т. д., а конкретна моя мама має ще й певний вираз обличчя, колір очей, ріст, вагу тощо). Зрозуміло, що семантична інформація (що таке мама), тут повністю проігнорована, так само, як інші види інформації, що є в текстах — синтаксична, стилістична, граматична тощо .

Приклад. Візьмемо дві сторінки газети. На першій — всі літери записані в ланцюжки на основі даних генератора випадкових чисел (з врахуванням частот появи літер і впливу на них контексту як це має місце в реальних текстах); в ілюстраціях піксели (з чорним чи білим зображенням) записані на площині в порядку, заданому на основі того самого генератора випадкових чисел. При цьому вказана сторінка нічого спеціально не шифрує, тобто ключа до її розшифрування в принципі немає. На другій сторінці газети — осмислені тексти; ілюстрації є фотографіями об’єктів реального світу. Коли порівняти кількість інформації на цих двох сторінках за Шеннонівською теорією інформації, то виявиться, що вони є практично однаковими, хоча кожна людина з власного досвіду знає, що це не так.

Важливими вадами цієї теорії є те, що вона:

а) стосується вимірювання кількості інформації лише в технічних пристроях — каналах зв’язку та носіях інформації (наприклад, пам’яті комп’ютерів) тощо ;

б) не має методів, які давали б можливість виміряти кількість інформації стосовно тих подій, які вже відбулися, оскільки їх імовірність завжди дорівнює одиниці (в цьому випадку I = 0);

в) не має методів, які давали б змогу виміряти кількість семантичної інформації не тільки в словах, реченнях, текстах, а й загалом у будь-яких знаках, що позначають образи (наприклад, географічних картах).

 

1.2. Алгоритмічна концепція теорії інформації

Кількість інформації за теорією інформації, що базується на алгоритмах перетворення (далі — алгоритмічна ТІ ), вимірюється як довжина програми, що дає змогу перетворити об'єкт A в об'єкт B, тобто

I = L[G(A,B)],                                                                            (3)

де L – функція отримання довжини програми (в байтах чи бітах), а G – програма перетворення.

У поданому вище прикладі алгоритмічна ТІ дасть цілком інший результат. Згідно з її методикою кількість інформації в літері Ф стосовно Р буде рівною, наприклад, кількості байтів програми, яка перетворює літеру Ф в Р. Тут, правда, можливі різні результати залежно від того, що вибрати за елемент перетворення: коли цілі літери, то кількість інформації буде найменшою; коли стандартизовані елементи літер — середньою; коли піксели — максимальною. Виміряти ж кількість інформації в будь-якій літері, взятій окремо, взагалі неможливо, хіба що порівнювати її з пробілом. Розглядати ж можливість перетворення літери на себе саму немає сенсу, оскільки тоді довжина програми перетворення рівна нулю, а, отже, й кількість інформації в ній виявиться також рівною нулю.

Спосіб вимірювання кількості інформації в значенні слова мама за цією теорією — невизначений (на нашу думку, неможливий).

Вадами цієї теорії є те, що вона:

а) в методі вимірювання як параметр використовує довжину алгоритму, який залежить від кількості “будівельних елементів”, що дають змогу перетворити один об’єкт на інший (чим дрібніші “будівельні елементи”, тим довшою виявляється програма перетворення для однієї й тієї ж пари об’єктів);

б) не має методу, який дає змогу виміряти кількість інформації в одному об’єкті, оскільки для вимірювання їх завжди потрібно як мінімум два;

в) не враховує, що одна й та ж програма може бути призначена для перетворення не одного, а цілого класу об’єктів; при цьому така програма матиме сталу довжину, хоча для різних об’єктів кількість виконаних команд може бути різною.

Образна концепція теорії інформації як різновид алгоритмічної концепції теорії інформації.

У будь-якому повідомленні M кількість інформації в образі O (Io) будемо вимірювати за напівемпіричною формулою, яка узгоджується з положеннями інформаційних підходів А. Колмогорова:

Io = q-1 L[G(O1, O2)],                                                    (3-1)

де q — ймовірність правильного розпізнавання образу O1 кібернетичною системою;

L — функція отримання довжини розгорнутої програми;

G — програма розпізнавання образу, біти;

O2 — еталонний образ кібернетичної системи.

Тут імовірність q визначається апостеріорно, за допомогою багаторазових експериментів.

Для простішого оперування у формулі (3-1) величину L[G(O1,O2)] позначимо як Q, тобто приймемо, що L[G(O1,O2)]=Q. Тоді формулу (3-1) можна скорочено записати як

Io = q-1 Q.                                                          (3-2)

Саме в такому вигляді й користуватимемося цією формулою далі.

Інтерпретація інформації як розпізнаного образу.

Нерозпізнані образи не є інформацією. Такі образи — це лише відображення.

Приклад. „Далі в книзі він [Тарзан. — П.З.] знайшов кілька маленьких мавп… Спочатку Тарзан намагався зняти пальцями маленькі фігури зі сторінок, але швидко зрозумів, що вони не справжні… Пароплави, потяги, корови і коні не мали для нього ніякого змісту, вони ковзали повз його увагу і не хвилювали його… Але що особливо зацікавило Тарзана і навіть збивало його з пантелику, це численні чорні позначки внизу і між розфарбованими картинками, — щось наче комашки, подумалося йому, - бо в багатьох з них були ноги, але у жодної з них не було ні рук, ні очей. Це було його перше знайомство з літерами алфавіту” .

 

1.3. Семантична концепція теорії інформації

Вимірювання кількості інформації в семантичній теорії інформації, що базується на фігурах математичної логіки (логічна ТІ) , можливе лише для тверджень за формулою

I = log2 F(S),                                                                 (4)

де F – функція отримання кількості інформації, що залежить від кількості можливих станів у складових (змінних і предикатах) твердження; S – саме твердження.

Знову повернемося до нашого прикладу. В цій теорії виміряти кількість інформації в літері Р або в значенні окремого слова мама взагалі неможливо, оскільки літера чи слово подані окремо, поза складом тверджень.

Вадами цієї теорії є те, що вона:

а) не дає можливості виміряти кількість інформації як у словах (семантичну інформацію ), так і в тексті (тобто інформацію, що є в тексті за межами тверджень);

б) не дає можливості виміряти кількість невербальної інформації, що свідчить про її незаперечну обмеженість.

 

2. Кількість інформації, ентропія

Всяка інформація отримується одержувачем після прийому повідомлення, тобто в результаті досліду. Повідомлення, одержуване на прийомній стороні, несе корисну інформацію лише в тому випадку, якщо мається невизначеність щодо стану джерела. Якщо дослід може закінчитися тільки одним результатом і спостерігач заздалегідь знає результат досліду, то по його результаті він не одержує  ніякої інформації. Наприклад, якщо повідомлять, що сонце сходить на сході, то ніякої інформації це повідомлення не принесе, оскільки усі знають, що це вірно. У такій події, як щоденний схід сонця на сході, немає нічого невизначеного, імовірність цієї події дорівнює одиниці і кількість інформації, принесена повідомленням про таку подію, дорівнює нулеві. Інформація з'явиться лише тоді, коли джерело буде мати принаймні більш одного можливого стану.

Розглянемо джерело, що видає послідовність незалежних дискретних повідомлень {xi}, кожне з яких випадковим чином вибирають з алфавіту повідомлення X (xi ) = x1, x2, x3, ... xk,  де k - розмір алфавіту джерела. Таке джерело будемо називати джерелом без пам'яті з кінцевим дискретним алфавітом. Повідомлення, видані таким джерелом, називаються простими повідомленнями.

У кожному елементарному повідомленні xi для його одержувача утримується деяка інформація. Визначимо кількісну міру цієї інформації і з'ясуємо, від чого вона залежить.

До того, як зв'язок відбувся, в приймача завжди є велика або менша невизначеність щодо того,  яке повідомлення xi  з числа можливих буде передано.

Зовсім очевидно, що ступінь цієї невизначеності, або  несподіванки  передачі  xi , залежить від імовірності передачі того або іншого повідомлення.  Наприклад,  якщо імовірність передачі якого-небудь повідомлення x дуже висока, то ще до передачі ми майже напевно знаємо, яке  повідомлення буде передано, і його прийом не принесе нам майже ніякої нової інформації.

Таким чином, очевидно, що кількість інформації, що утримується в елементарному повідомленні xi , є  деякою функцією від імовірності передачі цього повідомлення  Р(xi):

І (xi) = j {P (xi)}.                                                (5)

Визначимо вид цієї функції j . Для цього зажадаємо, щоб міра кількості інформації I(xiзадовольняла двом інтуїтивним властивостям:

1. Якщо вибір повідомлення xi заздалегідь визначений (Р(xi)=1 –невизначеності немає), то кількість інформації в цьому повідомленні  дорівнює нулеві: I(xi)=j {1}=0.

2. Якщо джерело послідовно вибирає повідомлення xi  і xj  та імовірність такого вибору Р(x, x) є спільна імовірність подій xi і x, то кількість інформації в цих двох елементарних повідомленнях буде дорівнює сумі кількостей інформації в кожнім з них.

Імовірність спільного випадання подій xi і xj  Р(x, x), як відомо, визначається по формулі повної імовірності

Р(xi,xj)=Р(xi)× Р(xj /xi) =P×Q.                                           (6)

Тоді, відповідно до вимоги  (6), повиннa виконуватися умова:

j{P× Q} = j(P) + j(Q)                                                   (7)

Неважко догадатися, що функцією, що  задовольняє цим двом  пропонованим до неї умовам, є функція виду

I(xi)=a×logP(xi),                                                             (8)

при цьому як коефіцієнт a, так і основа логарифма можуть бути вибрані довільно. Однак для зручності (щоб кількісна міра інформації була позитивною) приймають a=-1. Основу логарифма звичайно вибирають  рівним  двом, і тоді

I(xi)=-log2 P(xi)                                                              (9)

Визначена в такий спосіб одиниця виміру інформації  називається двійковою одиницею, або бітом інформації. Наприклад, якщо яке-небудь з елементарних повідомлень  xi   може бути  обрано з алфавіту і передано  з   імовірністю P(xi) = 1/8, то  говорять,  що   в ньому  міститься  log2(1/8)  =  3 біти інформації.

Іноді як підставу логарифма вибирають e, тоді інформація виміряється в натуральних одиницях, або натах.

Кількість інформації, що утримується в одному елементарному повідомленні xi, ще ніяк не характеризує джерело. Одні елементарні повідомлення можуть нести багато інформації, але передаватися дуже рідко, інші - передаватися частіше, але нести менше інформації. Тому джерело  може бути охарактеризований середньою кількістю інформації, що приходиться на одне елементарне повідомлення (символ), що носить назву “ентропія джерела” і обумовленим у такий спосіб:

 H (x) = –∑ P(xi) ×log P(xi).                                                     (10)

 

1.3 Властивості ентропії

 

Ентропія, як кількісна міра інформативності джерела, має наступні властивості:

1. Ентропія є величина дійсна, обмежена і невід’ємна. Ці її властивості випливають з вигляду виразу для Н(x), а також з  врахуванням того, що  0 <P(xi)< 1.

2. Ентропія  детермінованних  повідомлень дорівнює  нулеві, тобто Н(x) = 0, якщо хоча б одне з повідомлень має імовірність, рівну одиниці.

3. Ентропія максимальна,   якщо   повідомлення    xi   рівноймовірні, тобто

P(x1 )= P(x2 )= ....... P(xk) = 1/K , і тоді:

H (x) = –(1/ K) ∑ log (1/ K)= log K                                                  (11)

Як видно з останнього виразу, у випадку рівноймовірних повідомлень ентропія росте зі збільшенням обсягу алфавіту джерела (ростом числа повідомлень). При нерівноймовірних елементарних повідомленнях xi ентропія, відповідно, зменшується.

4. Ентропія двійкового джерела (K=2) може змінюватися від нуля до одиниці. Дійсно, ентропія системи з двох повідомлень    x1  і    x2

H (x) = - P(x1) ×log P(x1)- P(x2) ×log P(x2)=- P(x1) ×log P(x1)- (1- P(x1)) log (1- P(x1)) (12)

З останнього  виразу видно, що  ентропія дорівнює  нулеві при P(x1)= 0P(х2)=1, або  P(х1) = 1; P(х2) = 0; при цьому максимум ентропії  буде мати  місце, коли  P(х1)=P(х2)=1/2  і її максимальне значення буде дорівнює біт.

Лекція 3.

ЕНТРОПІЯ СКЛАДНИХ ПОВІДОМЛЕНЬ

1 Умовна ентропія

2  Модель системи передачі інформації

3  Види умовної ентропії

4  Ентропія об'єднання двох джерел інформації

 

1  Умовна ентропія

Формула ентропії H(x)=–∑P(xi)×logP(xi) визначає її середньою кількістю інформації, що припадає на одне повідомлення джереластатистично незалежних повідомлень. Така ентропія називається безумовною.

Як відомо з відповідного розділу математичної статистики, мірою порушення статистичної незалежності повідомлень x і у є умовна ймовірність p(x/y) появи повідомлення xi за умови, що вже вибрано повідомлення yj або умовна ймовірність появи повідомлення yj, якщо вже отримане повідомлення xi, причому в загальному випадку p(x/y)¹p(y/x).

Умовну ймовірність можна отримати з безумовної ймовірності p(x) чи p(y) та сумісної ймовірності системи в. в. p(xy) за формулою множення ймовірностей:

p(x, y)=p(x)×p(y/x),                                                                                      (1)

p(x, y)=p(y)×p(y/x),                                                                                       (2)

звідси  p(y/x)=p(xy)p(x),    p(x/y)= p(xy)p(y).

В окремому випадку для статистично незалежних повідомлень маємо: p(y/x)=p(y),  p(x/y)=p(x).

При існуванні статистичної залежності між повідомленнями джерела факт вибору одного з повідомлень зменшує або збільшує ймовірності вибору інших повідомлень до умовних ймовірностей. Відповідно змінюється й кількість інформації, що міститься в кожному з цих повідомлень. Ентропія такого джерела також змінюється відповідним чином, причому обчислюється ентропія за тією самою формулою, але вже зурахуванням умовних ймовірностей. Така ентропія називається умовною.

 

2  Модель системи передачі інформації

Розглянемо модель системи спостереження, перетворення, збору і зберігання інформації, що складається з двох джерел, між повідомленнями яких існує статистичний взаємозв'язок. Нехай джерело X задано моделлю - ансамблем повідомлень {x1x2, …, xi, …, xk} ірядом розподілу P(Xїхніх ймовірностей, а джерело Y - ансамблем {y1y2, …, yj, …, yl} і розподілом P(Y).

Ніяких обмежень на алфавіти X і Y не накладається. Вони можуть навіть збігатися (X=Y). Тоді можна аналізувати і враховувати взаємозв'язок між повідомленнями одного джерела, що рознесені за часом. Найбільш поширеною такою моделлю є послідовності елементарних повідомлень {xi}, умовна ймовірність p(xi/xi-1) кожного з яких залежить тільки від попереднього значення xi-1 за умови появи всіхi-1 повідомлень. Такі послідовності називають ланцюгами Маркова.

Алфавіти X і Y можуть і не збігатися (X¹Y), хоча між їхніми елементами може бути встановлена взаємна відповідність. Джерело Xописується моделлю - ансамблем повідомлень {xi} і рядом розподілу P(X)У той самий час джерело X може виступати як об'єкт спостереження для одержувача інформації Y і разом з ним утворювати нове джерело, яке описується моделлю - ансамблем {yj} і розподілом P(Y). Між джерелом X і спостерігачем Y існує канал зв'язку, на який впливають завади, що можуть порушити процес вибору спостерігачем Yповідомлень алфавіту yjÎY, що, у свою чергу, порушує відповідність між повідомленнями xiÎX і yjÎY.

Алфавіти X і Y можуть бути однакового (k=lі неоднакового (k¹l) об'ємів. Звичайно розглядаються ситуації, коли k=l або  k<lСистема спостереження при k=l має природне пояснення. Спостерігач Y повинен реагувати повідомленнями yj (j=1, ..., l) на кожний стан джерела X, представлений повідомленням xi (i=1,...,k), при чому кожному повідомленню xi джерела X відповідає повідомлення yj з Yx1®y1x2®y2, …,xi®yi, …, xk®yk.

Дана модель показана на рис.1.3, за винятком елемента yl з Y, де l=k+1 (жирними лініями показані напрями взаємооднозначної відповідності XÛY).

 

 

 

 

 

 

 

 

 

 

У разі, коли джерелом X вибране деяке повідомлення xi, якому повинне відповідати повідомлення yj при i=j, то через вплив завад джерелом Y може бути вибране будь-яке з повідомлень yjj=1…k з ймовірністю p(yj/xi), причому умовна імовірність правильного вибору повідомлення p(yi/xi). Інші повідомлення yj, що визначаються умовними ймовірностями p(yj/xi), де i¹j, є помилковими. Така модель дозволяє досліджувати систему передачі інформації з боку спостерігача Y.

Водночас таку систему можна досліджувати з позиції об'єкта спостереження X. Для цього потрібно знати факт вибору джерелом Y деякого повідомлення yj. Після цього можна з умовною імовірністю p(xi/yj) говорити, що об'єкт X знаходиться у стані xi. Це твердження правильне при i=jабо неправильне при i¹j.

Існують ситуації, коли систему ускладнюють, вибираючи l>k (частіше l=k+1див. рис. 1.3). При цьому повідомлення yl не відповідає ніякому з повідомлень xi і є ознакою особливого стану спостерігача Y - стирання повідомлення.

Взагалі статистична залежність джерела Y від джерела X задається матрицею прямих переходів повідомлень xi (i=1…k) джерела X в повідомлення yj (j=1…k) джерела Y:

 

 

 

 

P(Y/X)=

X

Y

Y1

Y2

yi

yk

x1

p(y1/x1)

p(y2/x1)

p (yj/x1)

p(yk/x1)

x2

p(y1/x2)

p(y2/x2)

p(yj/x2)

p(yk/x2)

xi

p(y1/xi)

p(y2/xi)

p(yj/xi)

p(yk/xi)

xk

p(y1/xk)

p(y2/xk)

p(yj/xk)

p(yk/xk)

 

     (3)

На головній діагоналі цієї матриці розташовані умовні ймовірності прямої відповідності типу x1®y1x2®y2, …, xk®yk, які характеризують правильний вибір джерелом Y повідомлень (тобто відповідно до повідомлень джерела X).

Матриця (3) відображає вплив завад у каналі зв'язку між джерелом і спостерігачем Y (рис.1.3). Якщо завади неістотні або відсутні, то маємо однозначну відповідність xi®yj з умовної імовірності p(yi/xi)=для i=1k, решта ймовірностей p(yi/xi)=для всіх i¹j.

Кожний рядок в (3) є спотвореним розподілом ймовірностей p(yj/xi) появи повідомлень yjÎY, причому для кожного рядка повинна виконуватися умова нормування

 

.                                                                           (4)

 

Статистична залежність джерела X від джерела Y подається матрицею зворотних переходів типу xi¬yj з умовних ймовірностей p(xi/yj):

 

 

 

 

P(X/Y)=

X

Y

y1

Y2

yi

yk

x1

p(x1/y1)

p(x1/y2)

p(x1/yj)

p(x1/yk)

x2

p(x2/y1)

p(x2/y2)

p(x2/yj)

p(x2/yk)

 

 

xi

p(xi/y1)

p(xi/y2)

p(xi/yj)

p(xi/yk)

 

xk

p(xk/y1)

p(xk/y2)

p(xk/yj)

p(xk/yk)

 

           (5)

Матриця (5) складається з k розміщених стовпцями варіантів первинних розподілів ймовірностей ансамблю X, що на собі відчуває статистичний вплив повідомлень yj джерела Y. Для кожного такого розподілу виконується умова нормування

 

 .                                                                        (6)

 

Отже, якщо задані ансамбль X і матриця прямих переходів (3), то, використовуючи безумовні імовірності P(X)={p(xi)}, за формулою (1) можна знайти матрицю сумісних ймовірностей

 

.                                                               (7)

 

Виконавши у (7) згортку за i, дістанемо ряд розподілу безумовних ймовірностей P(Y)={p(yj)}j=1…k:

 

,                                                                             (8)

 

а виконавши згортку за j, - розподіл P(X)={p(xi)}i=1…k:

.                                                                                 (9)

 

 

3  Види умовної ентропії

Вирізняють часткову та загальну умовні ентропії джерела повідомлень.

Часткова умовна ентропія - це кількість інформації, що припадає на одне повідомлення джерела X за умови встановлення факту вибору джерелом Y повідомлення yj, або кількість інформації, що припадає на одне повідомлення джерела Y за умови, що відомий стан джерела X:

 

,                                                            (10)

 

 ,                                                            (11)

 

де - алфавіти повідомлень; xi - певне повідомлення джерела X, щодо якого визначається часткова умовна ентропія H(Y/xi) алфавіту Y за умови вибору джерелом X повідомлення xiyj - певне повідомлення джерела Y, щодо якого визначається часткова умовна ентропія H(X/yj) алфавіту X за умови вибору повідомлення yji - номер повідомлення з алфавіту X; j - номер повідомлення з алфавіту Yp(xi/yj)p(yj/xi) – умовні імовірності.            

Загальна умовна ентропія визначається так:

 

,                                                                                (12)

.                                                                                               (13)

Отже, загальна умовна ентропія (12) - це середньостатистична кількість інформації (математичне сподівання), що припадає на будь-яке повідомлення джерела X, якщо відомий його статистичний взаємозв'язок з джерелом Y. Так само загальна умовна ентропія (13) - це середня кількість інформації, яка міститься в повідомленнях джерела Y за наявності статистичного взаємозв'язку з джерелом X.

З урахуванням (10), (11) та (1), (2) вирази (12), (13) набувають такого вигляду:

 

,                   (14)

 

,                    (15)

 

де p(xiyj) - сумісна імовірність появи повідомлень xiyjp(xi/yj)p(yj/xi) – їх умовні імовірності.

Властивості умовної ентропії:

  1)        якщо джерела повідомлень X і Y статистично незалежні, то умовна ентропія джерела X стосовно Y дорівнює безумовній ентропії джерела X і навпаки:

H(X/Y)=H(X)H(Y/X)=H(Y);

  2)        якщо джерела повідомлень X і Y настільки статистично взаємозв'язані, що виникнення одного з повідомлень спричиняє безумовну появу іншого, то їхні умовні ентропії дорівнюють нулю:

H(X/Y)=H(Y/X)=0;

3)           ентропія джерела статистично взаємозалежних повідомлень (умовна ентропія) менша від ентропії джерела незалежних повідомлень (безумовної ентропії):

H(X/Y)<H(X)H(Y/X)<H(Y).

З властивості 3 випливає поняття статистичної надмірностіобумовленої наявністю статистичної залежності між елементами повідомлення:

 

,                                                                       (16)

 

де H(X/Y) - загальна умовна ентропія джерела X стосовно джерела Y; H(X) - безумовна ентропія джерела X. 

Загальна статистична надлишковість алфавіту джерела інформації визначається так:

 

.                                                                     (17)

 

  У разі малих значень  статистична надлишковість визначається виразом

 

.                                                                            (18)

 

Наявність статистичної надмірності джерела інформації дозволяє використовувати кодування інформації, націлене на зменшення її надмірності. Таке кодування називається ефективним, або статистичним.

З метою зменшення статистичної надмірності, обумовленої наявністю статистичної залежності між елементами повідомлення, також застосовується укрупнення елементарних повідомлень. При цьому кодування здійснюється довгими блоками. Імовірнісні зв'язки між блоками менші ніж між окремими елементами повідомлень, і чим довші блоки, тим менша залежність між ними.

Значення укрупнення пояснимо на прикладі буквеного тексту: якщо імовірнісні зв'язки між буквами в будь-якій мові відносно сильні, то між словами вони значно менші, ще менші між фразами, а тим більше між абзацами. Тому кодування цілих слів, фраз, абзаців дозволяє достатньо повно усунути надлишковість, обумовлену імовірнісними зв'язками. Проте при цьому збільшується затримка передачі повідомлень, оскільки спочатку формується блок повідомлення і лише потім виконуються його кодування і передача.

Для зменшення статистичної надмірності, обумовленої нерівноімовірністю повідомлень джерела, використовуються оптимальні нерівномірні коди, в яких завдяки більш раціональній побудові повідомлень вторинного алфавіту досягається значне зменшення надмірності первинного алфавіту.

Ідея побудови оптимальних нерівномірних кодів полягає в тому, що найімовірнішим повідомленням ставляться у відповідність найкоротші кодові комбінації, а найменш імовірним – більш довгі. Проте через нерівномірність таких кодів і їх випадковий характер передача без втрат інформації з постійною швидкістю проходження кодових символів може бути забезпеченою лише за наявності буферного накопичувача з досить великою пам'яттю і, отже, при допустимості великих затримок.

 

4  Ентропія об'єднання двох джерел інформації

Ентропію H(X, Y) об'єднання двох джерел інформації X і Y знаходять через імовірності p(xi, yj) системи випадкових повідомлень xiyj для всіх i=1...kі j=1...l. Для цього складається матриця ймовірностей системи двох статистично залежних джерел

 

.                                                                 (19)

 

Ентропія об'єднання двох джерел H(X, Y) (взаємна ентропія) - це середня кількість інформації, що припадає на два будь-які повідомлення джерел X і Y:

 

.                                                                   (20)

 

З рівності p(xiyj)= p(yjxi) випливає, що H(XY)=H(YX).

Скориставшись формулами (1), (6), запишемо вираз (20) так:

 

  Перший доданок цього виразу відповідає безумовній ентропії H(X), а другий - умовній H(Y/X) (15). Звідси

 

H(X, Y)=H(X)+H(Y/X).                                                                           (21)

 

З симетричності формул (1) – (2) випливає, що аналогічний вираз для взаємної ентропії H(X, Y) має вигляд

 

H(X, Y)=H(Y)+H(X/Y),                                                                      (22)

 

звідси

 

H(Y/X)=H(X,Y)-H(X),                                                                                (23)

 

H(X/Y)=H(X,Y)-H(Y).                                                                                (24)

 

Кількість інформації, що припадає на одне повідомлення, передане по каналу зв'язку джерелом X спостерігачу Y (рис.1.3), за наявності завад і статистичного взаємозв'язку ансамблів X і Y з урахуванням виразів (21), (22) і властивості 4 кількості інформації і ентропії знаходиться за формулою

 

I(X,Y)=H(Y)+H(X)-H(X,Y)=H(X)-H(X/Y)=H(Y)-H(Y/X).                                     (25)

 

Властивості ентропії об'єднання двох джерел інформації:

1)    при статистичній незалежності джерел X і Y їх взаємна ентропія дорівнює сумі ентропій кожного з джерелтобтоH(X, Y)=H(X)+H(Y);

2)    при повній статистичній залежності джерел X і Y їх взаємна ентропія дорівнює безумовній ентропії одного з джерел, тобтоH(X,Y)=H(X)=H(Y);

3)    взаємна ентропія статистично залежних джерел X і Y менша суми безумовних ентропій кожного з них, тобто H(XY£ H(X)+H(Y).


Русский язык и культура речи

перейти к оглавлению

1. ЭЛЕМЕНТЫ И УРОВНИ ЯЗЫКА

Характеризуя язык как систему, необходимо определить, из каких элементов он состоит. В большинстве языков мира выделяются следующие единицы: фонема (звук), морфема, слово, словосочетание и предложение. Единицы языка неоднородны по своему строению: простые (фонемы) и сложные (словосочетания, предложения). При этом более сложные единицы всегда состоят из более простых.

Самая простая единица языка – это фонема, неделимая и сама по себе...

Идеология

1.Идеология как социальный феномен, её сущность. Содержание идеологииСоциально-исторической системой представлений о мире стала идеология как система рационально- логического обоснования поведения людей, их ценностей, норм взаимоотношений, целей и т.д. Идеология как явление во многом сходна с религией и с наукой. От науки она восприняла доказательность и логичность своих постулатов, но, в отличие от науки, идеология призвана давать оценку явлениям действительности (что хорошо, что...

Математические формулы. Шпаргалка для ЕГЭ с математики

Формулы сокращенного умножения

(а+b)2 = a2 + 2ab + b2

(а-b)2 = a2 – 2ab + b2

a2 – b2 = (a-b)(a+b)

a3 – b3 = (a-b)( a2 + ab + b2)

a3 + b3 = (a+b)( a2 – ab + b2)

(a + b)3 = a3 + 3a2b+ 3ab2+ b3

(a – b)3 = a3 – 3a2b+ 3ab2- b3

Свойства степеней

a0 = 1 (a≠0)

am/n = (a≥0, n ε N, m ε N)

a- r = 1/ a r (a>0, r ε Q)

m...

Политология. Универсальная шпаргалка

перейти к оглавлению

1. Место политологии среди гуманитарных наук

Политология развивается в тесном взаимодействии с другими гуманитарными науками. Их всех объединяет общий объект исследования — жизнь общества во всем многообразии ее конкретных проявлений.

Сегодня невозможно изучать сложные политические процессы, не учитывая взаимодействие общественных (гуманитарных) наук.

1) Политология тесно связана с экономикой. Экономика дает соответствующее обоснование реализации экономических...