В «Назарбаев университете» создается модуль для поиска интернет-данных на казахском языке

В Центре энергетических исследований «Назарбаев университета» ведется разработка проекта по созданию алгоритмов, которые будут способны обрабатывать большие объемы данных, а также модуля для интернет-поиска, который будет учитывать специфику казахского языка. Об этом сообщается на сайте Pm.kz со ссылкой на разработчика проекта и научного сотрудника Департамента компьютерных наук университета Олжаса Махамбетова.

«В Центре энергетических исследований „Назарбаев университета“ ведется работа над проектом „Проектирование комплекса сбора и обработки интернет-данных“, целью которого является разработка новых методов и алгоритмов обработки „больших“ данных, примерами которых могут быть тексты и документы в интернете, архивы изображений и видеозаписей», — сказал О. Махамбетов.

Уникальность проекта заключается в том, что помимо разработки методов анализа и обработки интернет-данных большого объема, ученые занимаются созданием модуля, который будет учитывать при поиске специфику казахского языка, находя релевантные значения и результаты, аккумулируя труд не только IT-специалистов, но и лингвистов. Для проведения углубленных исследований при «Назарбаев Университете» будет создана специальная лаборатория.

«В Казахстане работа по созданию алгоритмов обработки больших данных практически не ведется. С бурным ростом интернета, в том числе его казахстанского сегмента, следует уделить внимание этому направлению», — отмечает научный сотрудник «Назарбаев университета».

Также разработчик уточняет, что изучаемая область связана с другими научными направлениями, такими как машинное обучение, информационный поиск, лингвистика и др.

Проект состоит из 2 фронтов, которые заключаются в решении инженерных проблем и проведении научных исследований.

«В рамках инженерных работ создается модуль для поисковой системы, который будет оптимизировать результаты поисков для казахского языка, в частности будет учитывать специфику языка: морфологическое, синтаксического и семантического значения текста, которое вводится в поисковую систему», — подчеркивает разработчик проекта.

Научная часть же будет заключаться в разработке новых методов и алгоритмов машинного обучения для анализа и обработки массивных данных, которые будут эффективными, продуктивными и, возможно, могут поддерживать обучение в режиме реального времени. Эти работы помогут в создании исследовательской практики, накопления знаний, а также в создании научной лаборатории и команды ученых, которые углубленно займутся данной тематикой. Следует отметить, что в рамках проекта уже создано 2 алгоритма, которые успешно апробированы на экспериментальных данных.

Олжас Махамбетов считает, что этот проект даст дополнительный импульс для развития не только IT-технологий, но и для развития казахстанского сегмента интернета. «В целом думаю, что проект внесет вклад в развитие в казахстанского сегмента интернета», — заключил ученый.