Главная | Оглавление учебника | Регистрация | Вход Приветствую Вас Гость | RSS
Меню сайта
Форма входа
Главная » Статьи » Информация и информационные процессы » Количество информации

Содержательный подход к измерению информации

Мера уменьшения неопределенности знаний

     
      Человек получает информацию из окружающего мира с помощью органов чувств, анализирует ее и выявляет существенные закономерности с помощью мышления, хранит полученную информацию в памяти. Процесс систематического научного познания окружающего мира приводит к накоплению информации в форме знаний (фактов, научных теорий и так далее).

     Таким образом, с точки зрения процесса познания информация может рассматриваться как знания.

      Процесс познания можно наглядно изобразить в виде расширяющегося круга знания (такой способ придумали еще древние греки). Вне этого круга лежит область незнания, а окружность является границей между знанием и незнанием. Парадокс состоит в том, что чем большим объемом знаний обладает человек (чем шире круг знаний), тем больше он ощущает недостаток знаний (тем больше граница нашего незнания, мерой которого в этой модели является длина окружности).

      Информацию, которую получает человек, можно считать мерой уменьшения неопределенности знаний. Если некоторое сообщение приводит к уменьшению неопределенности наших знаний, то можно говорить, что такое сообщение содержит информацию.
      Например, после сдачи экзамена по информатике вы мучаетесь неопределенностью, вы не знаете какую оценку получили. Наконец, экзаменационная комиссия объявляет результаты экзамена, и вы получаете сообщение, которое приносит полную определенность, теперь вы знаете свою оценку. Происходит переход от незнания к полному знанию, значит, сообщение экзаменационной комиссии содержит информацию.

      Подход к информации как мере уменьшения неопределенности знаний позволяет количественно измерять информацию, что чрезвычайно важно для информатики.

     Рассмотрим вопрос об определении количества информации на конкретных примерах.

      Пусть у нас имеется монета, которую мы бросаем на ровную поверхность. С равной вероятностью произойдет одно из двух возможных событий — монета окажется в одном из двух положений: «орел» или «решка».
      Можно говорить, что события равновероятны, если при возрастающем числе опытов количества выпадений «орла» и
«решки» постепенно сближаются. Например, если мы бросим монету 10 раз, то «орел» может выпасть 7 раз, а решка — 3 раза, если бросим монету 100 раз, то «орел» может выпасть 60 раз, а «решка» — 40 раз, если бросим монету 1000 раз, то «орел» может выпасть 520 раз, а «решка» — 480 и так далее. В итоге при очень большой серии опытов количества выпадений «орла» и «решки» практически сравняются.

      Перед броском существует неопределенность наших знаний (возможны два события), и, как упадет монета, предсказать невозможно. После броска наступает полная определенность, так как мы видим (получаем зрительное сообщение), что монета в данный момент находится в определенном положении (например, «орел»).


      Это сообщение приводит к уменьшению неопределенности наших знаний в два раза, так как до броска мы имели два вероятных события, а после броска — только одно, то есть в два раза меньше.

      При бросании равносторонней четырехгранной пирамиды существуют 4 равновероятных события (неопределенность знаний равна 4), а при бросании шестигранного игрального кубика — 6 равновероятных событий (неопределенность знаний равна 6).

      Чем больше количество возможных событий, тем больше начальная неопределенность и соответственно тем большее количество информации будет содержать сообщение о результатах опыта.

      Для определения количества информации введена единица измерения.

     За единицу количества информации принимается такое количество информации, которое содержит сообщение, уменьшающее неопределенность в два раза. Такая единица названа «бит»

 

(от binary digit - двоичная цифра).

      Если вернуться к опыту с бросанием монеты, то здесь неопределенность как раз уменьшается в два раза и, следовательно, полученное количество информации равно 1 биту.
     
     ПРИМЕР:  ИГРА "УГАДАЙ ЧИСЛО"

 

 

    Количество возможных событий N и количество информации I связаны между собой формулой:

N = 2I

 

   Данная формула позволяет определять:

  • количество информации, если известно количество событий;
  • количество возможных событий, если известно количество информации;


     Если из формулы выразить количество информации, то получится

                I=log2N
    Если количество возможных вариантов информации не является целой степенью числа 2, то необходимо воспользоваться калькулятором или следующей таблицей

      Рассмотренная формула является частным случаем, так как применяется только к равновероятным событиям.В жизни мы часто сталкиваемся не только с равновероятными событиями, но и событиями,которые имеют разную вероятность реализации.
     Например, если в мешке лежат 10 белых шаров и 3 черных, то вероятность достать черный шар меньше, чем вероятность вытаскивания белого. Здесь необходимо использовать следующую формулу


          I=log2(1/р) , где I - количество информации, р - вероятность события.

             р=К/N , где К - величина, показывающая, сколько раз произошло событие, N- общее число возможных исходов какого-то процесса.

 

ПРИМЕРЫ РЕШЕНИЯ ЗАДАЧ

 

ТЕКСТЫ ЗАДАЧ

ФОРМУЛА ШЕННОНА

 

Категория: Количество информации | Добавил: Admin1 (10.08.2009)
Просмотров: 14852 | Рейтинг: 3.4/5
Всего комментариев: 0
Добавлять комментарии могут только зарегистрированные пользователи.
[ Регистрация | Вход ]
Copyright MyCorp © 2017 | Хостинг от uCoz