Снимка: insait.ai
Институт за компютърни науки, изкуствен интелект и технологии обяви пускането на три най-съвременни AI модела, модел с 2,6 милиарда, 9 милиарда и 27 милиарда параметри, насочен към българския език.
Те демонстрират безпрецедентна производителност на български език, изпреварвайки много по-големи като Qwen-72B и Llama3-70B, както и модели с подобни размери, като същевременно запазват стабилни възможности за английски език.
„Резултатът, показан от INSAIT, е важен, защото демонстрира, че една страна може да разработи свои собствени най-съвременни AI модели, като разчита на отворени модели, напреднали изследвания на AI и специални техники за събиране на данни и обучение“, каза проф. Мартин Вечев , редовен професор в ETH Zurich и научен директор на INSAIT.
Моделът 2.6B на INSAIT значително превъзхожда отворените модели с подобни размери в България. И трите модела са свободно достъпни и могат да се използват за овластяване на бизнеса и държавните институции при изграждането на базирани на AI асистенти.
Интересното е, че отвъд сравнителните показатели, моделът 27B на INSAIT значително надминава GPT-4o-mini (безплатна версия на GPT-4) и съперничи на GPT-4o (платена версия на GPT-4) в производителността на българския чат, според самия GPT-4o, който беше използван като съдия в хиляди разговори от реалния свят от около 100 различни теми. Резултатите са подобни в сравнение с моделите Haiku и Sonnet (големи) на Anthropic.
Моделите на INSAIT са изградени върху фамилията модели Gemma 2 на Google с различни допълнителни подобрения, включително непрекъснато предварително обучение на около 100 милиарда токена на български език, както и нова схема за фина настройка на инструкции и обединяване на модели, базирана на ново изследване, което се появи в EMNLP’24, топ конференция за обработка на естествен език. Тази нова схема за разклоняване и сливане гарантира, че моделите подобряват целево умение, като разбиране и генериране на български, като същевременно избягва катастрофално забравяне на вече придобити умения в базовите модели. Методът е широко приложим и неговата полезност е доказана извън границите на България.
„Докато нашите модели са насочени към български език, методите, които разработихме, са общи и могат да се прилагат към други езици или общо придобиване на нови умения“, обясни още професор Вачев.
Надграждайки своя модел с 27 милиарда параметъра, на 23 ноември INSAIT ще пусне първата публична национална система за чат. Системата надхвърля единичен модел и включва допълнителни подобрения, включително подравняване, подсистеми за извличане и други компоненти. Това е първият път в световен мащаб, в който държавна институция стартира система от такъв мащаб.
Вие можете да защитите и подкрепите единствения български вестник във Великобритания – БГ БЕН, дори и с минимални финансови средства. Това ще бъде знак за съпричастност към независимата журналистика и високи професионални стандарти. БГ БЕН не е бизнес, създаден за печалба, а само и единствено да е в полза на българите на Острова. Всяка подкрепа е важна, защото тя показва, че все още има хора, които държат на качеството и истинските новини!
Нашата банкова сметка е:
PA Events Ltd,
Lloyds Bank
sort code 30-92-90
acc.02271697
Благодарим за доверието!
