Це гостьова публікація для комп'ютерної щотижневої мережі розробників (CWDN), написана Кріс Махл у ролі генерального директора в Pryon.
Розрив є Платформа управління знаннями підприємства Розроблений для спрощення та прискорення прийняття штучного інтелекту.
Махл пише повністю так …
Нав'язливість промисловості ШІ масивними моделями нагадує мені перші дні обчислення – коли всі думали, що більшим означає краще. Але мій досвід провідного Pryon показав мені щось інше: точність та продуману архітектуру мають значення більше, ніж сирий розмір.
Розмір не має значення (конструкція трубопроводу)
Дозвольте мені поділитися тим, що ми виявили про поєднання покоління, що розноситься (RAG) з невеликими мовними моделями (SLM). Ключ – це не розмір моделі – це те, як ви розробляєте трубопровід пошуку. Подумайте про останній раз, коли вам довелося знайти конкретний документ у масштабній корпоративній базі даних. Йдеться не про те, щоб мати доступ до всього; Йдеться про те, щоб знайти саме те, що вам потрібно.
Це те, що роблять наші трубопроводи – вони прорізають шум, щоб доставити точний, відповідний контекст до цих менших моделей.
Невеликі розмови, великі результати
Справжній прорив відбувається в тому, як ми підходимо до спеціалізації моделі за допомогою SLM. Хоча оперативна інженерія забезпечує фундамент, це лише початок нашої оптимізаційної подорожі. Ми розробили всебічний підхід, який охоплює кілька методик:
- Оптимізація оперативної оптимізації: Створення чітких, конкретних інструкцій щодо обробки інформаційних прогалин та форматування відповідей встановлює базові продуктивності.
- У контекстному навчанні: надаючи SLM відповідні приклади в рамках підказки, вони можуть адаптуватися до конкретних завдань без оновлень параметрів, значно вдосконалюючи контекстне розуміння.
- Тонка настройка, що стосується задач: Коли нам потрібна глибша спеціалізація, ми фінансуємо моделі на ретельно куратованих наборах даних, що представляють конкретні випадки використання підприємств, створюючи цілеспрямовані моделі, які перевершують більші генералістські аналоги.
- Інтеграція кінця до кінця: поєднання моделей, які створюють Угору наші пропозиції колективно оптимізовані для створення потужної синергії, яка максимально збільшує продуктивність, що дозволяє клієнтам, які ми служимо, щоб отримати потрібні відповіді від величезних баз знань, просто задаючи їхні запитання.
Це виявилося надзвичайно ефективним у підприємницьких середовищах, де конкретні, точні відповіді мають значення більше, ніж загальні можливості.
Інвестуючи в повний спектр методів спеціалізації, а не просто масштабування параметрів моделі, організації можуть доставляти рішення, які є не просто ефективнішими, але й більш ефективними для задоволення реальних потреб бізнесу.
Edge-Y Business
Розгортання Edge працює моделями AI безпосередньо на локальних пристроях або поблизу серверів замість далеких хмарних даних. Це обробляє дані, де вони створюються, усуваючи затримки передачі та залежності підключення.
Працівники НУО у віддалених місцях можуть миттєво отримати доступ до десятиліть досліджень без підключення до Інтернету. Фінансові аналітики можуть проводити чутливий аналіз локально, зберігаючи конфіденційні дані. У програмах у реальному світі один із наших партнерів з охорони здоров’я впровадив SLMS на краю з попередньо обчисленими вбудовуваннями для доступу до записів пацієнтів та медичних рекомендацій миттєво, навіть у сферах з поганим зв’язком, зберігаючи суворі стандарти конфіденційності.
Ефективність ресурсів SLM дозволяє їм працювати на стандартному обладнанні, забезпечуючи спеціалізований інтелект саме там, де це потрібно. Це перетворює те, як організації розгортають AI, приносячи потужні можливості в середовища, які раніше вважалися недоцільними для вдосконалених обчислень та демократизації доступу через географічні та інфраструктурні бар'єри.
Генеральний директор Pryon Сік: Кожна перешкода, яку ми подолаємо, досягає розуміння того, що можливо з меншими, розумнішими моделями.
Вплив на навколишнє середовище не можна ігнорувати. Запуск масивних моделей AI споживає величезну енергію. Наш підхід із SLM значно знижує вимоги до GPU та споживання енергії. Йдеться не лише про економію витрат – це про відповідальні інновації. Кожне рішення про розгортання, яке ми приймаємо, розглядає як вплив на ефективність, так і вплив на навколишнє середовище.
Виклики та можливості
Звичайно, ми стикаємося з проблемами. Балансування розміру моделі з точністю вимагає ретельної оптимізації. Конфіденційність даних вимагає надійних заходів безпеки. Успішне масштабування в різних випадках використання вимагає надійності та суворої перевірки та тестування. Але ці виклики спричиняють інновації.
Кожна перешкода, яку ми подолаємо, досягає розуміння того, що можливо з меншими, розумнішими моделями.
Забігаючи наперед, я бачу кілька тенденцій, що формують нашу галузь:
- Відродження у вузькоспеціалізованих, специфічних для завдань невеликих моделей. SLM-специфічні SLM, що використовують як загальне редакцію, так і налаштування, що стосується завдання, буде основою прогресу.
- Гібридні системи, що поєднують крайові та хмарні можливості. Використання переваг обох парадигм для спільного оптимізації ефективності та продуктивності.
- Розширена багатомодальна обробка. Спеціалізовані SLM загартовували Для складних мультимодальних завдань в оптимізованих трубопроводах для подолання “інформаційного супу” нашої реальності.
- Повністю настроювані рішення – спеціалізовані SLM з гнучкою оркестрацією, що поєднує в собі посібник та автоматизовані агентські трубопроводи для забезпечення справжньої цінності.
Ті, хто переважає в цих областях, в кінцевому підсумку принесуть найбільшу цінність і матиме найбільший вплив, оскільки світ стає AI-EMPOWERED.
