11 971.640 so‘m

decrease

-8.720

13 160.420 so‘m

increase

26.350

146.330 so‘m

increase

0.710

11 971.640 so‘m

decrease

-8.720

Якин 1 соат ичида
Технология
32

Сунъий интеллект учун ўзбек тилида 6 миллиард сўзлик очиқ маълумотлар базаси яратилди

Рақамли технологиялар вазирлиги 5,6 млн ҳужжат ва 6 миллиардга яқин сўзни қамраб олган ўзбек тили корпусини очиқ фойдаланишга тақдим этди. Маълумотлар базасидан сунъий интеллект моделларини ўзбек тилига мослаштиришда фойдаланиш мумкин. Вазирлик Хитойнинг Qwen модели ишлаб чиқувчилари билан ҳамкорликни ҳам бошлаган.

Сунъий интеллект учун ўзбек тилида 6 миллиард сўзлик очиқ маълумотлар базаси яратилди

Ўзбекистонда сунъий интеллект моделларини ўқитиш учун мўлжалланган йирик очиқ матнли маълумотлар корпуси яратилиб, Hugging Face платформасига жойлаштирилди. Бу ҳақда Рақамли технологиялар вазирлиги матбуот хизмати хабар берди.

Платформада эълон қилинган техник маълумотларга кўра, “Uzbek Language Corpus” тўпламининг 1.3-версияси 5,64 млн ҳужжат ва 6,06 млрд сўзни ўз ичига олади. Маълумотлар 136 та файлда сақланган бўлиб, уларнинг умумий ҳажми 16,2 GB’ни ташкил этади.

Корпуснинг асосий қисмини китоблар, даврий нашрлар, архив ҳужжатлари ва интернет саҳифаларидан олинган матнлар ташкил этади. Хусусан, Миллий кутубхона материалларидан 1,83 млрд, Tahrirchi лойиҳасидан 1,28 млрд, интернет саҳифаларидан эса 1 млрддан ортиқ сўз жамланган.

Бундан ташқари, корпус таркибига Lex.uz’даги 74,5 мингдан ортиқ ҳуқуқий ҳужжат, Ўзбекча Википедиянинг 122,7 минг мақоласи ҳамда очиқ Telegram каналларидаги 1,12 млн пост киритилган.

Маълумотлар базасидаги ҳужжатларнинг 52 фоизи лотин, 46 фоизи кирилл ва қолган 2 фоизи аралаш ёзувда.

Вазирлик маълумотларига кўра, тўпланган матнлар махсус қайта ишлаш ва сифат назорати босқичларидан ўтказилган. Сканерланган китоблар ва архив ҳужжатларини рақамлаштиришда DeepSeek-OCR ҳамда Microsoft Azure AI Document Intelligence технологияларидан фойдаланилган.

Матнлар мавзу, соҳа ва услуб бўйича таснифланган, такрорий ҳужжатлар чиқариб ташланган. Телефон рақамлари, шахсий идентификаторлар ва бошқа айрим шахсга доир маълумотлар махсус белгилар билан алмаштирилган.

Ўзбек тилидаги сунъий интеллект учун нима ўзгаради?

Лойиҳа президентнинг 2025 йил 21 октябрдаги топшириғи доирасида ишлаб чиқилган. Давлат раҳбари сунъий интеллект дастурлари самарали ишлаши учун улар ўзбек тилини мукаммал тушуниши зарурлигини таъкидлаган эди.

Президентнинг 2025 йил 22 октябрдаги ПФ-189-сон фармонида 2026 йил якунига қадар “Ўзбек тили корпуси”ни яратиш ва уни камида бешта очиқ катта тил моделига жорий этиш вазифаси белгиланган.

Янги корпус маҳаллий дастурчилар ва тадқиқотчиларга катта тил моделларини ўзбек тилидаги матнлар асосида ўқитиш ёки мавжуд моделларни мослаштириш имконини беради.

Хусусан, ундан ўзбек тилида ишлайдиган чатботлар, матнларни таҳлил қилиш, ҳуқуқий ҳужжатларни қайта ишлаш ва бошқа сунъий интеллект хизматларини яратишда фойдаланиш мумкин.

Айни пайтда Рақамли технологиялар вазирлиги корпусни халқаро йирик тил моделлари ишлаб чиқувчиларига тақдим этиш устида ишламоқда. Хусусан, Хитойнинг Alibaba компанияси томонидан ишлаб чиқиладиган Qwen моделлари йўналишида ҳамкорлик бошланган.

Маълумотлар тўплами Hugging Face’да Open Data Commons Attribution лицензияси остида тақдим этилган. Шу билан бирга, корпусга киритилган айрим матнларга дастлабки манбаларнинг муаллифлик ҳуқуқи ва фойдаланиш шартлари татбиқ этилади.

Корпус билан ушбу ҳавола орқали танишиш ва ундан фойдаланиш мумкин.

Pinkod.uz сайтида эълон қилинган материаллардан нусха кўчириш, тарқатиш ва бошқа шаклларда фойдаланиш фақат таҳририят ёзма розилиги билан амалга оширилиши мумкин.

Ўзбекистон Республикаси Президенти Администрацияси ҳузуридаги Ахборот ва оммавий коммуникациялар агентлиги томонидан 15.10.2024 санасида №440126 сонли гувоҳнома билан ОАВ сифатида рўйхатга олинган.

© 2026 Pinkod.uz.
Барча ҳуқуқлар ҳимояланган.

18+