Авторы: Низамитдинов А.И.
Авторы
Низамитдинов А.И. – доктор философии по специальности (PhD), старший
преподаватель, кафедра программирования и информационных систем, Политехнический институт Таджикского университета Таджикистана имени академика М.С.Осими, г.Худжанд, Республика Таджикистан, ahlidin@gmail.com.
Аннотация
Тексты различных языков могут рассматриваться как код для определенных концептуальных объектов. С данной точки зрения статистическое свойство языка, которое является основным инструментом общения, часто используется для развития компьютерных наук, таких как создание эффективных двоичных кодов. Сам язык также может рассматриваться как код для определенных концептуальных объектов. В данной статье рассматривается модель и оценка статистической структуры языка. Для определения весомости языка наиболее часто используемым инструментом является вероятности распределения различных комбинаций букв. Например, русский и испанский язык рассматриваются на основе вероятности распределения букв для одного и того же семантического контента. Следовательно, оптимальный язык в смысле теории кодирования определяется, используя меру Шеннона для энтропии. Но не всегда мера энтропийной информации может дать точную оценку вероятностного распределения. В данном случае используется регрессионный анализ как один из известных методов оценки неизвестных параметров распределения. Основным важным результатом данной статьи являются теоретические основы установления мер информации с помощью энтропийной информации и регрессионного анализа.
Ключевые слова
энтропия, мера информации, регрессионный анализ, мера Шеннона, вероятность распределения.
Язык
русскый
Тип
экономика
Год
2020
Страницы
34-46
Список использованной литературы
- Burton, N.G. and Licklider, J.C. R. (1955) Long-range constraints in the statistical structure of printed English, American Journal of Psychology, 68, 650-653.
- Cover, T.M. and Thomas, J.A. (1991) Elements of Information Theory, John Wiley & Sons, Inc, USA.
- Hankerson, D., Harris, G.A. and Johnson, P.D. (2003) Introduction to information theory and data compression, Jr. – 2nd ed. – Boca Raton, Fla.: Chapman & Hall/CRC Press.
- Jaynes, E.T. (1957). Information theory and statistical mechanics, Phys. Rev., 106, 620-630.
- Kullback, S. (1997) Information Theory and Statistics, Dover Publications, Inc., New York.
- Ramakrishna, B.S., Subramanian, R. (1958) Relative Efficiency of English and German Language for Communication of Semantic Content, IRE (IEEE) Transactions on Information Theory; IT-4, 3, 127-129.
- Shamilov, A. (2006b). A development of entropy optimization methods”, WSEAS transactions on mathematics, 5, 568–575.
- Shamilov, A. (2007). Generalized entropy optimization problems and the existence of their solutions, Physica A: Statistical mechanics and its applications, 382, 465–472.
- Shannon, C.E. (1948). A mathematical theory of communications”, Bell System technical Journal, 27, 379–623.