Через лет пять, если не отключат интернет и электричество, как завещал Герман Львович, нейронки будут петь лучше живых исполнителей. Но, думаю, введут авторское право и нельзя будет орать частушки Говновоза под Sabaton.
мы всё ещё живём с моделями поколения GPT-4 (даже не 4.5), которые обучались на мощностях в 50-60 раз меньше чем планируется создать в ближайшие 2 года Спойлер: подкаст про рост нейронок Спойлер: аналитика по росту нейронок — GPT-4 была обучена на 25'000 видеокарт A100 в течение 3 месяцев. Сейчас есть датацентры по 100'000 карт H100, и каждая карта примерно вдвое мощнее в контексте обучения LLM. Это большие числа по современным меркам — год назад многим казалось, что никто на такое не пойдет, это безумие, 100 тыщ! Если брать тренировку в рамках одного датацентра, то за те же 3 месяца теперь можно вложить в модель в 4 раза больше мощностей за счёт кол-ва GPU и в 2 за счёт улучшения карт — итого в 8 раз. Потренировать чуть дольше — и вот вам рост...всего лишь на один порядок (то есть в 10 раз) — а это уже беспрецедентно большие датацентры, их можно увеличить ну в 2, ну в 3, ну в 4 раза в ближайший год, но как вы понимаете, это не в 10-100 раз — поэтому очень важны алгоритмические улучшения (см. предыдущий пост). Именно за счёт них можно вырваться в условиях, когда у всех одинаковые мощности, и вы просто упираетесь в скорость строительства — одна из основных проблем постройки датацентров — энергия, которая им потребуется (с учётом будущих расширений). Один блок АЭС, которую Microsoft хотят перезапустить, выдаёт чуть меньше 1 ГигаВатта, а к 2028-2030-му хотят запускать датацентры на несколько ГВт. В США всего 26 станций, выдающих больше 2.5 ГВт, и тысячи ооочень мелких. И те, и другие имеют многолетние контракты на поставку определённого заказа, и несмотря на то что на бумаге теоретическая производительность высокая, доставить большое количество энергии в одну конкретную точку (датацентр) — боль. Тут сверху есть сотенка МегаВатт, тут 30, тут 20, буквально по крупицам собирать. Так что в стране не так много мест, где можно ткнуть всего лишь гигаваттный датацентр и запитать его в кратчайшие сроки. Если можно подождать год-два-три, то будет доступнее, но кому ж ждать то хочется? — при этом сами цены на энергию мало кого волнуют. В стоимости постройки и обслуживания датацентра на несколько лет примерно 80% — это сервера (GPU и прочее). Счёт за электричество редко занимает больше 10-15% в общей сумме, поэтому Microsoft и другие с радостью доплатят к рыночной цене сколько-то процентов, чтобы иметь приоритет поставки выше. Каитализм — кстати, именно поэтому не рассматриваются солнечные подстанции / ветряки. Если вы отдали за карты СТОЛЬКО БАБОК, то не хотите, чтобы они простаивали 8-10 часов в сутки (ну а батареи и переменное питание видимо представляют больший риск). — получается, что если вы хотите увеличить мощности на тренировку уже в 2025м году (на обучение GPT-6; GPT-5 это как раз тренировка на кластерах в 100'000 карт), то нужно запускать распределённое обучение. Google в тех. отчёте Gemini открыто писали, что они тренируют на нескольких датацентрах (видимо, в разных географиях). — OpenAI почти наверняка занимаются тем же. На это указывают действия их партнёра Microsoft: они заключили сделок на прокладку высокоскоростных соединений по всем Соединённым Штатам на более чем 10 миллиардов долларов. Некоторые разрешения уже выданы, и работы ведутся. Dylan говорит, что почти наверняка это будет сеть из 5 датацентров в разных штатах. Я не знаю, как он получил эту информацию, но в одной из рассылок видел анализ спутниковых снимков и тепловых карт (ведь датацентры горячие), поэтому почти не сомневаюсь в верности. — каждый из этих датацентров будет содержать по 100'000 GPU следующего поколения GB200. Они ещё мощнее H100, и масштабирование "на порядок" достигается за счёт увеличения общего количества чипов в распределённой сети. Так что Dylan ожидает запуска тренировок на 300k-500k GPU в 2025-м (GPT-5.5/GPT-6). Да, эффективность коммуникации на тысячи километров не такая, как в рамках одного здания, так что цифру выходных мощностей нужно снижать на какой-то процент (но обучать на 3-4 ДЦ точно не хуже чем на 2, там не такое замедление). — ещё раз: мы всё ещё живём с моделями поколения GPT-4 (даже не 4.5), которые обучались на 25'000 куда более слабых карт. То есть уже точно можно говорить, что мы увидим — и к этому стоит готовиться — модели, обученные на мощностях в 50-60 раз больше (16 за счёт количества карт, 4 за счёт мощности каждой карты, и дисконт за неэффективность; но можно сделать тренировку длиннее). Плюс, добавьте сюда алгоритмические улучшения, как минорные, дающие плюс сколько-то процентов. — к концу 2025-го, получается, суммарное потребление этой сети из 5 тренировочных датацентров будет больше ГигаВатта, может больше двух. В 2026-м году почти каждый из них будет расширен так, что будет потреблять в районе ГигаВатта, мб чуть меньше. — если вдруг задумались, может ли не хватить чипов, то ответ почти наверняка «нет»: Nvidia произвела за полтора года 6 миллионов H100. Для нового поколения карт почти наверняка они сделали ещё больший заказ у всех поставщиков, особенно TSMC. А в датацентр ставят по 100'000 карт — это же копейки. Даже сеть из 500'000 карт не выглядит такой гигантской на фоне производимого количества (которое растекается по нескольким игрокам). Из анализа прогнозов производства для инвесторов TSMC Dylan вынес для себя, что на 2025-2026 чипов точно хватит по текущим планам масштабирования LLM. — если правильно помню новость, Microsoft заказала от 700'000 до 1.4M видеокарт у Nvidia (другие, вроде META и Google, заказали меньше 700'000), так что тут тоже срастается. — «Невозможно проплатить тот масштаб кластеров, которые планируется построить в следующем году для OpenAI, если только они не привлекут ещё 50–100 миллиардов долларов, что, я думаю, они сделают в конце этого или в начале следующего года <...> Я говорю вам, Sam привлечёт эти 50-100 миллиардов долларов, потому что он уже говорит людям, что соберет столько. Он буквально ведет переговоры с суверенитетами, с Саудовской Аравией, с канадским пенсионным фондом и с крупнейшими инвесторами в мире. Конечно, и с Microsoft тоже, но он буквально ведет эти переговоры, потому что они собираются выпустить свою следующую модель или показать ее людям и привлечь эти деньги. Это их план.» (кстати, напомню, что Sama поднял 3 из 5 самых крупных раундов в истории, включая 10-миллиардную сделку с Microsoft) — «Их план», если не ясно, это выпустить GPT-5 и поразить всех; показать, что мы очень далеки от предела масштабирования, что приросты качества и темп решения проблем в духе галлюцинаций всё ещё огромны, что полезность модели растёт и растёт. От GPT-5 многое зависит. Ну и под шумок после этого деньги собрать — У OpenAI пока хороший ROI, на тренировку GPT-4 на всё про всё, с исследованиями, ушло $500M. Они до сих пор стригут деньги с модели (пусть она и улучшилась, и уменьшилась в размерах) — выручка OpenAI на конец года будет +- $4 миллиарда. Все траты, что есть сейчас — это спонсирование будущих проектов, которые тоже, по плану, окупятся: OpenAI ожидает утроение выручки в следующем году до $11.6B и последующий рост до $25.6B в 2026-м. Последняя цифра — это примерно выручка таких компаний как McDonalds или Adidas, а значит примерно столько принесёт субсидируемая сейчас GPT-5. (Да, выручка это не прибыль, но кому это интересно, когда идёт столь бурный рост? а главное, значит, OpenAI ожидают куда большего проникновения технологии в нашу жизнь).
Певцы ртом - да. Но эти певцы ртом и до ИИ нервно посасывали свои гонорары, глядя на то, как настоящие таланты, ловя кайф, недоступный этим проходимцам, рвут их как грелку тузик. Наш с Голкондычем любимый ролик как простой пример такого таланта:
Бил Гейтс - самый крупный фермер в Соединенных Штатах, теперь картина становиться более ясной, что он на всех этих скупленных землях собрался фармить. Вырастит каждому американцу по ии помощнику, любой формы и содержания.
Я бы на месте ютуба и других площадок не монитизировал все что создано ии. И так много дряного контента, еще и генерированным заваливают.
Имею отношение к публикации музыки, могу дать комментарий. Площадки очень не любят мусорные релизы, которые никто не слушает. Потому что: внезапно площадки хотят зарабатывать деньги, а вавки средним весом в 50мб нужно где-то хранить. Поэтому дорвейную срань, когда человек по нажатию кнопки генерирует 500 треков и отправляет на стриминги - будут все сильнее завинчивать. В конце концов работы такого уровня они могут генерировать и сами в нужных им объемах. А вот то что выложено в стартовом посте теоретически имеет какую-то художественную ценность + может вируситься по соц. сетям. Поэтому площадки возражать не будут. НО, только в случае если все авторские права принадлежат артисту. Чужую музыку с чужими голосами выкладывать нельзя. Точнее обмануть можно, но это может иметь неприятные последствия для обманщика
