Следите за новостями

Цифра дня

Более 45 тысяч раз скачали eGov Business с момента запуска
  • Доходность
    17,2%за 2023 год
  • Стоимость чистых активов
    29,5млрд тенге
  • Доходность
    14,12%с начала управления
  • Доходность
    17,2%за 2023 год
  • Стоимость чистых активов
    29,5млрд тенге
  • Доходность
    14,12%с начала управления

Объявлен сбор данных для создания большой модели казахского языка — «Kaz LLM»

Это важный шаг к укреплению цифровой независимости Казахстана и продвижению национальной культуры в глобальном цифровом пространстве.

28 июня 2024 15:06, Profit.kz

В целях создания и запуска большой модели казахского языка АО «Национальные информационные технологии» приступает к использованию сервиса от лидера в области машинного обучения — Hugging Face. На базе платформы будет организован открытый сбор данных, к которому может присоединиться профессиональное IT-сообщество Казахстана и держатели открытых данных.

Hugging Face — платформа, предназначенная для обмена исследованиями в области машинного обучения, на базе которой пользователи могут разрабатывать инструменты и создавать ИИ модели. Пользователи платформы взаимодействуют с открытым исходным кодом, что делает искусственный интеллект более доступным и поощряет культуру обмена знаниями и прогрессом. Hugging Face помогает делиться моделями ИИ, которые далее в своей работе используют другие компании, включая Google, Microsoft Corp., Amazon, Meta Platforms Inc и другие. По состоянию на 2023 год на платформе было зарегистрировано более 1,2 миллиона пользователей, а только в январе 2024 года сайт посетило почти 30 миллионов человек. В числе самых активных пользователей сервиса — жители США, Китая, Японии и Индии.

Создание современной языковой модели казахского языка — это важный шаг к укреплению цифровой независимости Казахстана и продвижению национальной культуры в глобальном цифровом пространстве. Первым этапом к созданию любой языковой модели является сбор данных. В результате общего сбора данных и будет создана высококачественная модель обработки казахского языка (NLP). В будущем это поможет не только улучшить автоматический перевод, но и повысить качество и точность обработки текстов на казахском языке в целом.

Представители профессионального IT-сообщества и держатели открытых данных могут присоединиться к сбору. Сбор данных будет осуществляться на специально созданном аккаунте АО «НИТ». Пользователи могут, авторизовавшись на платформе, загружать файлы на аккаунт huggingface.co/nitec. Загрузке подлежат текстовые файлы разных стилей и жанров на казахском языке в форматах txt, .csv, .json.

Напомним, несколько дней назад была представлена первая национальная языковая модель с открытым исходным кодом IrbisGPT от MOST Holding и Gen2b.ai.

Подписывайтесь на каналы Profit.kz в Facebook и Telegram.