11 971.640 so‘m

decrease

-8.720

13 160.420 so‘m

increase

26.350

146.330 so‘m

increase

0.710

11 971.640 so‘m

decrease

-8.720

Yaqin 1 soat ichida
Технология
38

Для искусственного интеллекта создана открытая база данных на узбекском языке объёмом 6 млрд слов

Министерство цифровых технологий представило для открытого использования корпус узбекского языка, включающий 5,6 млн документов и около 6 млрд слов. База данных может использоваться для адаптации моделей искусственного интеллекта к узбекскому языку. Министерство также начало сотрудничество с разработчиками китайской модели Qwen.

Для искусственного интеллекта создана открытая база данных на узбекском языке объёмом 6 млрд слов

В Узбекистане создан крупный открытый текстовый корпус, предназначенный для обучения моделей искусственного интеллекта. Он размещён на платформе Hugging Face. Об этом сообщила пресс-служба Министерства цифровых технологий.

Согласно технической информации, опубликованной на платформе, версия 1.3 набора данных «Uzbek Language Corpus» включает 5,64 млн документов и 6,06 млрд слов. Данные хранятся в 136 файлах, общий объём которых составляет 16,2 ГБ.

Основную часть корпуса составляют тексты из книг, периодических изданий, архивных документов и интернет-страниц. В частности, в него вошли 1,83 млрд слов из материалов Национальной библиотеки, 1,28 млрд слов из проекта Tahrirchi и более 1 млрд слов из интернет-страниц.

Кроме того, в корпус включены более 74,5 тыс. правовых документов с Lex.uz, 122,7 тыс. статей узбекской Википедии и 1,12 млн публикаций из открытых Telegram-каналов.

52% документов в базе данных написаны латиницей, 46% — кириллицей, оставшиеся 2% содержат смешанную письменность.

По данным министерства, собранные тексты прошли специальную обработку и контроль качества. При оцифровке отсканированных книг и архивных документов использовались технологии DeepSeek-OCR и Microsoft Azure AI Document Intelligence.

Тексты были классифицированы по темам, сферам и стилям, дублирующиеся документы удалены. Номера телефонов, персональные идентификаторы и некоторые другие личные данные заменены специальными обозначениями.

Что изменится для искусственного интеллекта на узбекском языке?

Проект разработан в рамках поручения президента от 21 октября 2025 года. Глава государства тогда подчеркнул, что для эффективной работы программ искусственного интеллекта необходимо обеспечить полноценное понимание ими узбекского языка.

Указом президента №ПФ-189 от 22 октября 2025 года была поставлена задача создать «Корпус узбекского языка» до конца 2026 года и внедрить его как минимум в пять открытых больших языковых моделей.

Новый корпус позволит местным разработчикам и исследователям обучать большие языковые модели на текстах на узбекском языке или адаптировать уже существующие модели.

В частности, его можно использовать для создания чат-ботов на узбекском языке, анализа текстов, обработки юридических документов и других сервисов на основе искусственного интеллекта.

В настоящее время Министерство цифровых технологий работает над предоставлением корпуса международным разработчикам крупных языковых моделей. В частности, уже началось сотрудничество по направлению моделей Qwen, разработчиком которых является китайская компания Alibaba.

Набор данных размещён на Hugging Face под лицензией Open Data Commons Attribution. При этом в отношении отдельных текстов, включённых в корпус, продолжают действовать авторские права и условия использования первоначальных источников.

Ознакомиться с корпусом и воспользоваться им можно по этой ссылке.

Копирование, распространение и иные формы использования материалов, размещенных на сайте Pinkod.uz, могут осуществляться только с письменного согласия редакции.

Зарегистрировано как средство массовой информации Агентством информации и массовых коммуникаций при Администрации Президента Республики Узбекистан 15.10.2024 года, свидетельство № 440126.

© 2026 Pinkod.uz.
Все права защищены.

18+