Computer Science

Теория информации — раздел математики и информатики, который занимается количественной оценкой информации, её передачей и кодированием. Этот раздел был основан в середине 20-го века Клодом Шенноном, чьи работы стали основой для многих современных технологий, включая телекоммуникации, сжатие данных, криптографию и многое другое.

Здесь и далее будет приведено несколько ключевых понятий и аспектов теории информации:

1. Информация и энтропия

Информация — то, что уменьшает неопределенность. В контексте теории информации информация измеряется в битах.

Энтропия (H) — мера неопределенности или неопределенности системы. В информационном контексте энтропия определяет, сколько информации нужно для того, чтобы описать выбор одного из возможных исходов. Чем больше возможных исходов, тем выше энтропия.

Энтропия для дискретного случайного события 𝑋 с вероятностями 𝑝₁, 𝑝₂, ..., 𝑝𝑛 вычисляется по формуле:
H(X) = −Σ [𝑛, ᵢ₌₁] (pᵢ log₂(pᵢ))

где 𝑝𝑖 — вероятность 𝑖-го исхода, а сумма берется по всем возможным исходам.

Энтропия измеряется в битах, если логарифм вычисляется по основанию 2. Это связано с тем, что каждый бит представляет собой двоичный выбор между двумя возможными состояниями.

www.tgoop.com/CScience1/3019

2.5K viewsedited  Jan 4 at 12:59

Теория информации — раздел математики и информатики, который занимается количественной оценкой информации, её передачей и кодированием. Этот раздел был основан в середине 20-го века Клодом Шенноном, чьи работы стали основой для многих современных технологий, включая телекоммуникации, сжатие данных, криптографию и многое другое.

Здесь и далее будет приведено несколько ключевых понятий и аспектов теории информации:

1. Информация и энтропия

Информация — то, что уменьшает неопределенность. В контексте теории информации информация измеряется в битах.

Энтропия (H) — мера неопределенности или неопределенности системы. В информационном контексте энтропия определяет, сколько информации нужно для того, чтобы описать выбор одного из возможных исходов. Чем больше возможных исходов, тем выше энтропия.

Энтропия для дискретного случайного события 𝑋 с вероятностями 𝑝₁, 𝑝₂, ..., 𝑝𝑛 вычисляется по формуле:
H(X) = −Σ [𝑛, ᵢ₌₁] (pᵢ log₂(pᵢ))

где 𝑝𝑖 — вероятность 𝑖-го исхода, а сумма берется по всем возможным исходам.

Энтропия измеряется в битах, если логарифм вычисляется по основанию 2. Это связано с тем, что каждый бит представляет собой двоичный выбор между двумя возможными состояниями.

BY Computer Science