Святой Грааль Crypto AI: передовые исследования Децентрализации обучения
В полной ценностной цепочке ИИ обучение моделей является этапом с наибольшими затратами ресурсов и самым высоким технологическим барьером, что напрямую определяет пределы возможностей модели и фактическую эффективность применения. В отличие от легковесного вызова на этапе вывода, процесс обучения требует постоянного масштабного вычислительного ресурса, сложных процессов обработки данных и поддержки интенсивных алгоритмов оптимизации, что делает его настоящей "тяжелой промышленностью" в строительстве ИИ-систем. С точки зрения архитектурных парадигм способы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализация, которая будет подробно обсуждаться в данной статье.
Централизованное обучение является наиболее распространенным традиционным способом, выполняемым единственным учреждением на локальном высокопроизводительном кластере, где весь процесс обучения, включая оборудование, программное обеспечение нижнего уровня, систему управления кластером и все компоненты обучающего фреймворка, координируется единой управляющей системой. Эта глубокая совместная архитектура обеспечивает максимальную эффективность совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает её очень подходящей для обучения крупных моделей, таких как GPT и Gemini, обладая преимуществами высокой эффективности и управляемости ресурсов, но также имея проблемы с монополией данных, барьерами для ресурсов, потреблением энергии и риском единой точки отказа.
Распределённое обучение является основным способом обучения больших моделей на сегодняшний день, его суть заключается в том, чтобы разбить задачу обучения модели на части и распределить их между несколькими машинами для совместного выполнения, чтобы преодолеть ограничения вычислений и хранения на одном компьютере. Несмотря на то, что физически оно обладает характеристиками "Децентрализация", в целом оно по-прежнему контролируется и координируется централизованными учреждениями, обычно работает в среде высокоскоростной локальной сети, используя технологию высокоскоростной межсоединительной шины NVLink, где главный узел координирует выполнение подзадач. Основные методы включают:
Параллельные данные: каждый узел обучает разные данные, параметры общие, необходимо согласовать веса модели
Модельное параллелизм: развертывание различных частей модели на разных узлах для достижения высокой масштабируемости
Параллельные каналы: поэтапное последовательное выполнение, повышение пропускной способности
Тензорное параллелизм: детальная сегментация матричных вычислений, повышение уровня параллелизма
Распределенное обучение является комбинацией "централизованного контроля + распределенного выполнения", аналогично тому, как один и тот же начальник удаленно управляет несколькими сотрудниками "офиса" для совместного выполнения задач. В настоящее время почти все основные большие модели обучаются именно таким образом.
Децентрализация тренировки представляет собой более открытый и устойчивый к цензуре путь в будущее. Его ключевыми характеристиками являются: несколько недоверяющих друг другу узлов, которые совместно выполняют задачи обучения без центрального координатора, обычно с помощью протоколов для распределения задач и сотрудничества, а также с использованием механизмов криптоощущения для обеспечения честности вкладов. Основными вызовами, с которыми сталкивается эта модель, являются:
Гетерогенность устройств и трудности с разделением: высокая сложность координации гетерогенных устройств, низкая эффективность разделения задач
Проблемы с эффективностью связи: нестабильная сетевое соединение, явные проблемы с синхронизацией градиентов
Отсутствие доверенной среды выполнения: нехватка доверенной среды выполнения затрудняет проверку того, действительно ли узлы принимают участие в вычислениях.
Отсутствие единой координации: нет центрального диспетчера, сложная система распределения задач и механизм отката при аномалиях
Децентрализация тренировки может быть понята как: группа глобальных волонтеров, которые вносят свой вклад в вычислительную мощность для совместной тренировки модели, но "действительно осуществимая масштабная децентрализация тренировки" все еще является системной инженерной задачей, затрагивающей архитектуру системы, коммуникационные протоколы, криптографическую безопасность, экономические механизмы, валидацию моделей и многие другие аспекты, но вопрос о том, смогут ли они "совместно эффективно + стимулировать честность + обеспечить правильность результатов", все еще находится на ранней стадии прототипирования.
Федеративное обучение, как промежуточная форма между распределенной и Децентрализация, подчеркивает локальное хранение данных и централизованную агрегацию параметров модели, что делает его подходящим для сценариев, акцентирующих внимание на соблюдении конфиденциальности. Федеративное обучение обладает инженерной структурой распределенного обучения и возможностью локальной кооперации, одновременно обладая преимуществами распределенных данных в Децентрализация, но по-прежнему зависит от доверенной координирующей стороны и не обладает полностью открытыми и антикоррупционными характеристиками. Его можно рассматривать как "контролируемую Децентрализация" в условиях соблюдения конфиденциальности, с относительно мягкими требованиями к задачам обучения, структуре доверия и механизмам связи, что делает его более подходящим для переходных архитектур развертывания в промышленности.
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, высоких потребностей в ресурсах или трудностей в сотрудничестве, она изначально не подходит для эффективного выполнения между гетерогенными, доверительными узлами. Например, обучение больших моделей часто зависит от высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное деление и синхронизацию в открытой сети; задачи, для которых характерны сильные ограничения на конфиденциальность данных и суверенитет, ограничены юридической соблюдаемостью и этическими нормами, что делает невозможным открытое совместное использование; в то время как задачи, не имеющие основы для мотивации сотрудничества, испытывают нехватку внешнего участия. Эти границы вместе составляют реальные ограничения текущего Децентрализованного обучения.
Но это не означает, что Децентрализация тренировки является ложным утверждением. На самом деле, в задачах с легкой структурой, легкостью параллелизации и возможностью стимуляции Децентрализация тренировки демонстрирует явные перспективы применения. Включая, но не ограничиваясь: LoRA тонкой настройкой, задачами после тренировки с выравниванием поведения, краудсорсингом данных для обучения и аннотации, тренировкой небольших базовых моделей с контролируемыми ресурсами, а также сценами совместной тренировки с участием периферийных устройств. Эти задачи в целом обладают высокой параллельностью, низкой связанностью и толерантностью к гетерогенной вычислительной мощности, что делает их очень подходящими для совместной тренировки через P2P сети, протокол Swarm, распределенные оптимизаторы и другие способы.
Децентрализация тренировки классических проектов
На сегодняшний день в области децентрализации обучения и федеративного обучения, представительные блокчейн-проекты включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технической инновационности и сложности инженерной реализации, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в области системной архитектуры и проектирования алгоритмов, представляя передовые направления текущих теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, и уже можно увидеть начальный этап инженерного прогресса.
Prime Intellect: Проверяемые траектории обучения в усиленных обучающих кооперативных сетях.
Prime Intellect стремится создать сеть обучения ИИ, не требующую доверия, чтобы каждый мог участвовать в обучении и получать заслуженные вознаграждения за свои вычислительные вклады. Prime Intellect надеется создать децентрализованную систему обучения ИИ с верифицируемостью, открытостью и полноценным механизмом стимулов через три основных модуля: PRIME-RL + TOPLOC + SHARDCAST.
01、Структура протокола Prime Intellect и ценность ключевых модулей
PRIME-RL: Архитектура задач асинхронного обучения с подкреплением с декомпозицией
TOPLOC: Легковесный механизм проверки поведения тренировки
SHARDCAST: Асинхронный протокол агрегации и распространения весов
OpenDiLoCo: Редкий асинхронный коммуникационный фреймворк
PCCL:Библиотека совместной связи
02、Подробное объяснение ключевых механизмов тренировки Prime Intellect
PRIME-RL: Архитектура задач асинхронного обучения с подкреплением с декомпозицией
PRIME-RL является фреймворком моделирования задач и выполнения, созданным Prime Intellect для Децентрализация обучающих сценариев, специально разработанным для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно декомпозируя процессы обучения, вывода и загрузки весов, позволяя каждому обучающему узлу самостоятельно завершать циклы задач локально и взаимодействовать с механизмами валидации и агрегации через стандартизированные интерфейсы. По сравнению с традиционными процессами обучения с учителем, PRIME-RL лучше подходит для реализации эластичного обучения в средах без центрального управления, что снижает сложность системы и закладывает основу для поддержки параллельных многозадач и эволюции стратегий.
TOPLOC: легкий механизм верификации поведения обучения
TOPLOC — это механизм основной верифицируемости, предложенный Prime Intellect, который используется для определения того, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от таких тяжелых решений, как ZKML, TOPLOC не зависит от повторного вычисления всей модели, а осуществляет верификацию легковесной структуры, анализируя локальную согласованность между "последовательностью наблюдений ↔ обновлением стратегии". Впервые он преобразует поведенческие траектории в процессе обучения в объекты, подлежащие верификации, что является ключевым нововведением для реализации распределения наград за обучение без доверия, и предоставляет жизнеспособный путь для создания可审计、可激励的 Децентрализация协作训练网络.
SHARDCAST: Асинхронный протокол агрегации и распространения весов
SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, специально оптимизированный для реальных сетевых условий с асинхронной работой, ограниченной пропускной способностью и изменяющимся состоянием узлов. Он сочетает в себе механизм распространения gossip и локальную синхронизацию, позволяя нескольким узлам продолжать отправлять частичные обновления в состоянии рассинхронизации, что позволяет достичь прогрессивной сходимости весов и многоверсионной эволюции. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно увеличивает масштабируемость и отказоустойчивость децентрализованного обучения, являясь основным основанием для построения стабильного консенсуса по весам и непрерывной итерации обучения.
OpenDiLoCo: Разреженная асинхронная коммуникационная структура
OpenDiLoCo - это независимая реализация и открытая коммуникационная оптимизационная платформа, разработанная командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind. Она специально разработана для решения таких проблем, как ограниченная пропускная способность, гетерогенные устройства и нестабильные узлы, которые часто встречаются в процессе децентрализованного обучения. Архитектура основана на параллельной обработке данных, создавая разреженные топологические структуры, такие как Ring, Expander и Small-World, что позволяет избежать высоких затрат на коммуникацию, связанных с глобальной синхронизацией, и завершать совместное обучение модели, полагаясь лишь на локальных соседних узлов. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в учебных задачах, что значительно повышает вовлеченность в глобальное совместное обучение и является одной из ключевых коммуникационных инфраструктур для создания сети децентрализованного обучения.
PCCL: библиотека совместной связи
PCCL – это легковесная библиотека коммуникаций, разработанная Prime Intellect для Децентрализации AI тренировочной среды, предназначенная для решения узких мест адаптации традиционных библиотек связи в гетерогенных устройствах и низкоскоростных сетях. PCCL поддерживает разреженную топологию, сжатие градиентов, синхронизацию с низкой точностью и восстановление с места остановки, может работать на потребительских GPU и нестабильных узлах, являясь основным компонентом, поддерживающим асинхронные возможности связи протокола OpenDiLoCo. Она значительно повышает пропускную способность сети для тренировок и совместимость устройств, прокладывая "последнюю милю" коммуникационной инфраструктуры для создания действительно открытой, не требующей доверия сети совместного обучения.
03, Сеть стимулирования и ролевое подразделение Prime Intellect
Prime Intellect построил сеть обучения, которая не требует разрешений, является проверяемой и имеет экономические стимулы, позволяя любому участвовать в заданиях и получать вознаграждения на основе реального вклада. Протокол работает на основе трех основных ролей:
Инициатор задания: определение тренировочной среды, начальной модели, функции вознаграждения и стандартов проверки
Узел обучения: выполнение локального обучения, отправка обновлений весов и наблюдаемых траекторий
Узлы проверки: использование механизма TOPLOC для проверки подлинности учебного поведения и участия в расчете вознаграждений и агрегации стратегий.
Ключевые процессы протокола включают в себя публикацию задач, обучение узлов, верификацию траекторий, агрегацию весов и распределение вознаграждений, формируя замкнутый круг стимулов вокруг "реальных учебных действий".
04, INTELLECT-2: Выпуск первой проверяемой Децентрализация обучающей модели
В мае 2025 года Prime Intellect выпустил INTELLECT-2, который является первой в мире большой моделью глубокого обучения, обученной с помощью асинхронных, доверительных децентрализованных узлов, с масштабом параметров 32B. Модель INTELLECT-2 была обучена с помощью более чем 100 гетерогенных узлов GPU, расположенных на трех континентах, с использованием полностью асинхронной архитектуры, и время обучения превысило 400 часов, продемонстрировав жизнеспособность и стабильность асинхронной сети сотрудничества. Эта модель не только представляет собой прорыв в производительности, но и является первой системной реализацией парадигмы "обучение = согласие", предложенной Prime Intellect. INTELLECT-2 интегрирует такие ключевые протоколы, как PRIME-RL, TOPLOC и SHARDCAST.
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
8 Лайков
Награда
8
4
Репост
Поделиться
комментарий
0/400
StakeHouseDirector
· 6ч назад
Тяжелая промышленность немного не выдерживает.
Посмотреть ОригиналОтветить0
mev_me_maybe
· 6ч назад
Какой бы ни был священный Grail, все равно нужно жечь видеокарты
Децентрализация тренировка: Технологический фронт и вызовы применения в области Crypto AI
Святой Грааль Crypto AI: передовые исследования Децентрализации обучения
В полной ценностной цепочке ИИ обучение моделей является этапом с наибольшими затратами ресурсов и самым высоким технологическим барьером, что напрямую определяет пределы возможностей модели и фактическую эффективность применения. В отличие от легковесного вызова на этапе вывода, процесс обучения требует постоянного масштабного вычислительного ресурса, сложных процессов обработки данных и поддержки интенсивных алгоритмов оптимизации, что делает его настоящей "тяжелой промышленностью" в строительстве ИИ-систем. С точки зрения архитектурных парадигм способы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализация, которая будет подробно обсуждаться в данной статье.
Централизованное обучение является наиболее распространенным традиционным способом, выполняемым единственным учреждением на локальном высокопроизводительном кластере, где весь процесс обучения, включая оборудование, программное обеспечение нижнего уровня, систему управления кластером и все компоненты обучающего фреймворка, координируется единой управляющей системой. Эта глубокая совместная архитектура обеспечивает максимальную эффективность совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает её очень подходящей для обучения крупных моделей, таких как GPT и Gemini, обладая преимуществами высокой эффективности и управляемости ресурсов, но также имея проблемы с монополией данных, барьерами для ресурсов, потреблением энергии и риском единой точки отказа.
Распределённое обучение является основным способом обучения больших моделей на сегодняшний день, его суть заключается в том, чтобы разбить задачу обучения модели на части и распределить их между несколькими машинами для совместного выполнения, чтобы преодолеть ограничения вычислений и хранения на одном компьютере. Несмотря на то, что физически оно обладает характеристиками "Децентрализация", в целом оно по-прежнему контролируется и координируется централизованными учреждениями, обычно работает в среде высокоскоростной локальной сети, используя технологию высокоскоростной межсоединительной шины NVLink, где главный узел координирует выполнение подзадач. Основные методы включают:
Распределенное обучение является комбинацией "централизованного контроля + распределенного выполнения", аналогично тому, как один и тот же начальник удаленно управляет несколькими сотрудниками "офиса" для совместного выполнения задач. В настоящее время почти все основные большие модели обучаются именно таким образом.
Децентрализация тренировки представляет собой более открытый и устойчивый к цензуре путь в будущее. Его ключевыми характеристиками являются: несколько недоверяющих друг другу узлов, которые совместно выполняют задачи обучения без центрального координатора, обычно с помощью протоколов для распределения задач и сотрудничества, а также с использованием механизмов криптоощущения для обеспечения честности вкладов. Основными вызовами, с которыми сталкивается эта модель, являются:
Децентрализация тренировки может быть понята как: группа глобальных волонтеров, которые вносят свой вклад в вычислительную мощность для совместной тренировки модели, но "действительно осуществимая масштабная децентрализация тренировки" все еще является системной инженерной задачей, затрагивающей архитектуру системы, коммуникационные протоколы, криптографическую безопасность, экономические механизмы, валидацию моделей и многие другие аспекты, но вопрос о том, смогут ли они "совместно эффективно + стимулировать честность + обеспечить правильность результатов", все еще находится на ранней стадии прототипирования.
Федеративное обучение, как промежуточная форма между распределенной и Децентрализация, подчеркивает локальное хранение данных и централизованную агрегацию параметров модели, что делает его подходящим для сценариев, акцентирующих внимание на соблюдении конфиденциальности. Федеративное обучение обладает инженерной структурой распределенного обучения и возможностью локальной кооперации, одновременно обладая преимуществами распределенных данных в Децентрализация, но по-прежнему зависит от доверенной координирующей стороны и не обладает полностью открытыми и антикоррупционными характеристиками. Его можно рассматривать как "контролируемую Децентрализация" в условиях соблюдения конфиденциальности, с относительно мягкими требованиями к задачам обучения, структуре доверия и механизмам связи, что делает его более подходящим для переходных архитектур развертывания в промышленности.
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, высоких потребностей в ресурсах или трудностей в сотрудничестве, она изначально не подходит для эффективного выполнения между гетерогенными, доверительными узлами. Например, обучение больших моделей часто зависит от высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное деление и синхронизацию в открытой сети; задачи, для которых характерны сильные ограничения на конфиденциальность данных и суверенитет, ограничены юридической соблюдаемостью и этическими нормами, что делает невозможным открытое совместное использование; в то время как задачи, не имеющие основы для мотивации сотрудничества, испытывают нехватку внешнего участия. Эти границы вместе составляют реальные ограничения текущего Децентрализованного обучения.
Но это не означает, что Децентрализация тренировки является ложным утверждением. На самом деле, в задачах с легкой структурой, легкостью параллелизации и возможностью стимуляции Децентрализация тренировки демонстрирует явные перспективы применения. Включая, но не ограничиваясь: LoRA тонкой настройкой, задачами после тренировки с выравниванием поведения, краудсорсингом данных для обучения и аннотации, тренировкой небольших базовых моделей с контролируемыми ресурсами, а также сценами совместной тренировки с участием периферийных устройств. Эти задачи в целом обладают высокой параллельностью, низкой связанностью и толерантностью к гетерогенной вычислительной мощности, что делает их очень подходящими для совместной тренировки через P2P сети, протокол Swarm, распределенные оптимизаторы и другие способы.
Децентрализация тренировки классических проектов
На сегодняшний день в области децентрализации обучения и федеративного обучения, представительные блокчейн-проекты включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технической инновационности и сложности инженерной реализации, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в области системной архитектуры и проектирования алгоритмов, представляя передовые направления текущих теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, и уже можно увидеть начальный этап инженерного прогресса.
Prime Intellect: Проверяемые траектории обучения в усиленных обучающих кооперативных сетях.
Prime Intellect стремится создать сеть обучения ИИ, не требующую доверия, чтобы каждый мог участвовать в обучении и получать заслуженные вознаграждения за свои вычислительные вклады. Prime Intellect надеется создать децентрализованную систему обучения ИИ с верифицируемостью, открытостью и полноценным механизмом стимулов через три основных модуля: PRIME-RL + TOPLOC + SHARDCAST.
01、Структура протокола Prime Intellect и ценность ключевых модулей
PRIME-RL: Архитектура задач асинхронного обучения с подкреплением с декомпозицией TOPLOC: Легковесный механизм проверки поведения тренировки SHARDCAST: Асинхронный протокол агрегации и распространения весов OpenDiLoCo: Редкий асинхронный коммуникационный фреймворк PCCL:Библиотека совместной связи
02、Подробное объяснение ключевых механизмов тренировки Prime Intellect
PRIME-RL: Архитектура задач асинхронного обучения с подкреплением с декомпозицией
PRIME-RL является фреймворком моделирования задач и выполнения, созданным Prime Intellect для Децентрализация обучающих сценариев, специально разработанным для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно декомпозируя процессы обучения, вывода и загрузки весов, позволяя каждому обучающему узлу самостоятельно завершать циклы задач локально и взаимодействовать с механизмами валидации и агрегации через стандартизированные интерфейсы. По сравнению с традиционными процессами обучения с учителем, PRIME-RL лучше подходит для реализации эластичного обучения в средах без центрального управления, что снижает сложность системы и закладывает основу для поддержки параллельных многозадач и эволюции стратегий.
TOPLOC: легкий механизм верификации поведения обучения
TOPLOC — это механизм основной верифицируемости, предложенный Prime Intellect, который используется для определения того, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от таких тяжелых решений, как ZKML, TOPLOC не зависит от повторного вычисления всей модели, а осуществляет верификацию легковесной структуры, анализируя локальную согласованность между "последовательностью наблюдений ↔ обновлением стратегии". Впервые он преобразует поведенческие траектории в процессе обучения в объекты, подлежащие верификации, что является ключевым нововведением для реализации распределения наград за обучение без доверия, и предоставляет жизнеспособный путь для создания可审计、可激励的 Децентрализация协作训练网络.
SHARDCAST: Асинхронный протокол агрегации и распространения весов
SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, специально оптимизированный для реальных сетевых условий с асинхронной работой, ограниченной пропускной способностью и изменяющимся состоянием узлов. Он сочетает в себе механизм распространения gossip и локальную синхронизацию, позволяя нескольким узлам продолжать отправлять частичные обновления в состоянии рассинхронизации, что позволяет достичь прогрессивной сходимости весов и многоверсионной эволюции. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно увеличивает масштабируемость и отказоустойчивость децентрализованного обучения, являясь основным основанием для построения стабильного консенсуса по весам и непрерывной итерации обучения.
OpenDiLoCo: Разреженная асинхронная коммуникационная структура
OpenDiLoCo - это независимая реализация и открытая коммуникационная оптимизационная платформа, разработанная командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind. Она специально разработана для решения таких проблем, как ограниченная пропускная способность, гетерогенные устройства и нестабильные узлы, которые часто встречаются в процессе децентрализованного обучения. Архитектура основана на параллельной обработке данных, создавая разреженные топологические структуры, такие как Ring, Expander и Small-World, что позволяет избежать высоких затрат на коммуникацию, связанных с глобальной синхронизацией, и завершать совместное обучение модели, полагаясь лишь на локальных соседних узлов. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в учебных задачах, что значительно повышает вовлеченность в глобальное совместное обучение и является одной из ключевых коммуникационных инфраструктур для создания сети децентрализованного обучения.
PCCL: библиотека совместной связи
PCCL – это легковесная библиотека коммуникаций, разработанная Prime Intellect для Децентрализации AI тренировочной среды, предназначенная для решения узких мест адаптации традиционных библиотек связи в гетерогенных устройствах и низкоскоростных сетях. PCCL поддерживает разреженную топологию, сжатие градиентов, синхронизацию с низкой точностью и восстановление с места остановки, может работать на потребительских GPU и нестабильных узлах, являясь основным компонентом, поддерживающим асинхронные возможности связи протокола OpenDiLoCo. Она значительно повышает пропускную способность сети для тренировок и совместимость устройств, прокладывая "последнюю милю" коммуникационной инфраструктуры для создания действительно открытой, не требующей доверия сети совместного обучения.
03, Сеть стимулирования и ролевое подразделение Prime Intellect
Prime Intellect построил сеть обучения, которая не требует разрешений, является проверяемой и имеет экономические стимулы, позволяя любому участвовать в заданиях и получать вознаграждения на основе реального вклада. Протокол работает на основе трех основных ролей:
Ключевые процессы протокола включают в себя публикацию задач, обучение узлов, верификацию траекторий, агрегацию весов и распределение вознаграждений, формируя замкнутый круг стимулов вокруг "реальных учебных действий".
04, INTELLECT-2: Выпуск первой проверяемой Децентрализация обучающей модели
В мае 2025 года Prime Intellect выпустил INTELLECT-2, который является первой в мире большой моделью глубокого обучения, обученной с помощью асинхронных, доверительных децентрализованных узлов, с масштабом параметров 32B. Модель INTELLECT-2 была обучена с помощью более чем 100 гетерогенных узлов GPU, расположенных на трех континентах, с использованием полностью асинхронной архитектуры, и время обучения превысило 400 часов, продемонстрировав жизнеспособность и стабильность асинхронной сети сотрудничества. Эта модель не только представляет собой прорыв в производительности, но и является первой системной реализацией парадигмы "обучение = согласие", предложенной Prime Intellect. INTELLECT-2 интегрирует такие ключевые протоколы, как PRIME-RL, TOPLOC и SHARDCAST.