Колобок

Тема в разделе "Музыкальный раздел", создана пользователем DanielDefo, 9 окт 2024.

  1. DanielDefo

    DanielDefo его величество Команда форума

    Рега:
    18 апр 2009
    Сообщения:
    83.831
    Шекелей:
    5.991.345G
    Karma:
    49.380
    Gold:
    5.991.345
    +17

    Через лет пять, если не отключат интернет и электричество, как завещал Герман Львович, нейронки будут петь лучше живых исполнителей.
    Но, думаю, введут авторское право и нельзя будет орать частушки Говновоза под Sabaton.
     
    Последнее редактирование: 9 окт 2024
    Статьи по теме
  2. Saruman

    Saruman "Дед - полковник КГБ, бабка - шеф в ресторане". VIP

    Рега:
    7 авг 2009
    Сообщения:
    3.778
    Шекелей:
    14.885G
    Karma:
    1.026
    Gold:
    14.885
    Класная песня и оранжировка.
    Наше светлое будущие.
     
  3. Titkin

    Titkin VIP

    Рега:
    22 апр 2011
    Сообщения:
    16.636
    Шекелей:
    14.590G
    Karma:
    4.003
    Gold:
    14.590
    Потiковый накопитель
  4. Beliall

    Beliall красиво VIP

    Рега:
    9 мар 2011
    Сообщения:
    1.170
    Шекелей:
    18.185G
    Karma:
    817
    Gold:
    18.185
    мы всё ещё живём с моделями поколения GPT-4 (даже не 4.5), которые обучались на мощностях в 50-60 раз меньше чем планируется создать в ближайшие 2 года


    — GPT-4 была обучена на 25'000 видеокарт A100 в течение 3 месяцев. Сейчас есть датацентры по 100'000 карт H100, и каждая карта примерно вдвое мощнее в контексте обучения LLM. Это большие числа по современным меркам — год назад многим казалось, что никто на такое не пойдет, это безумие, 100 тыщ! Если брать тренировку в рамках одного датацентра, то за те же 3 месяца теперь можно вложить в модель в 4 раза больше мощностей за счёт кол-ва GPU и в 2 за счёт улучшения карт — итого в 8 раз. Потренировать чуть дольше — и вот вам рост...всего лишь на один порядок (то есть в 10 раз)
    — а это уже беспрецедентно большие датацентры, их можно увеличить ну в 2, ну в 3, ну в 4 раза в ближайший год, но как вы понимаете, это не в 10-100 раз — поэтому очень важны алгоритмические улучшения (см. предыдущий пост). Именно за счёт них можно вырваться в условиях, когда у всех одинаковые мощности, и вы просто упираетесь в скорость строительства
    — одна из основных проблем постройки датацентров — энергия, которая им потребуется (с учётом будущих расширений). Один блок АЭС, которую Microsoft хотят перезапустить, выдаёт чуть меньше 1 ГигаВатта, а к 2028-2030-му хотят запускать датацентры на несколько ГВт. В США всего 26 станций, выдающих больше 2.5 ГВт, и тысячи ооочень мелких. И те, и другие имеют многолетние контракты на поставку определённого заказа, и несмотря на то что на бумаге теоретическая производительность высокая, доставить большое количество энергии в одну конкретную точку (датацентр) — боль. Тут сверху есть сотенка МегаВатт, тут 30, тут 20, буквально по крупицам собирать. Так что в стране не так много мест, где можно ткнуть всего лишь гигаваттный датацентр и запитать его в кратчайшие сроки. Если можно подождать год-два-три, то будет доступнее, но кому ж ждать то хочется?
    — при этом сами цены на энергию мало кого волнуют. В стоимости постройки и обслуживания датацентра на несколько лет примерно 80% — это сервера (GPU и прочее). Счёт за электричество редко занимает больше 10-15% в общей сумме, поэтому Microsoft и другие с радостью доплатят к рыночной цене сколько-то процентов, чтобы иметь приоритет поставки выше. Каитализм
    — кстати, именно поэтому не рассматриваются солнечные подстанции / ветряки. Если вы отдали за карты СТОЛЬКО БАБОК, то не хотите, чтобы они простаивали 8-10 часов в сутки (ну а батареи и переменное питание видимо представляют больший риск).
    — получается, что если вы хотите увеличить мощности на тренировку уже в 2025м году (на обучение GPT-6; GPT-5 это как раз тренировка на кластерах в 100'000 карт), то нужно запускать распределённое обучение. Google в тех. отчёте Gemini открыто писали, что они тренируют на нескольких датацентрах (видимо, в разных географиях).
    — OpenAI почти наверняка занимаются тем же. На это указывают действия их партнёра Microsoft: они заключили сделок на прокладку высокоскоростных соединений по всем Соединённым Штатам на более чем 10 миллиардов долларов. Некоторые разрешения уже выданы, и работы ведутся. Dylan говорит, что почти наверняка это будет сеть из 5 датацентров в разных штатах. Я не знаю, как он получил эту информацию, но в одной из рассылок видел анализ спутниковых снимков и тепловых карт (ведь датацентры горячие), поэтому почти не сомневаюсь в верности.
    — каждый из этих датацентров будет содержать по 100'000 GPU следующего поколения GB200. Они ещё мощнее H100, и масштабирование "на порядок" достигается за счёт увеличения общего количества чипов в распределённой сети. Так что Dylan ожидает запуска тренировок на 300k-500k GPU в 2025-м (GPT-5.5/GPT-6). Да, эффективность коммуникации на тысячи километров не такая, как в рамках одного здания, так что цифру выходных мощностей нужно снижать на какой-то процент (но обучать на 3-4 ДЦ точно не хуже чем на 2, там не такое замедление).
    — ещё раз: мы всё ещё живём с моделями поколения GPT-4 (даже не 4.5), которые обучались на 25'000 куда более слабых карт. То есть уже точно можно говорить, что мы увидим — и к этому стоит готовиться — модели, обученные на мощностях в 50-60 раз больше (16 за счёт количества карт, 4 за счёт мощности каждой карты, и дисконт за неэффективность; но можно сделать тренировку длиннее). Плюс, добавьте сюда алгоритмические улучшения, как минорные, дающие плюс сколько-то процентов.
    — к концу 2025-го, получается, суммарное потребление этой сети из 5 тренировочных датацентров будет больше ГигаВатта, может больше двух. В 2026-м году почти каждый из них будет расширен так, что будет потреблять в районе ГигаВатта, мб чуть меньше.
    — если вдруг задумались, может ли не хватить чипов, то ответ почти наверняка «нет»: Nvidia произвела за полтора года 6 миллионов H100. Для нового поколения карт почти наверняка они сделали ещё больший заказ у всех поставщиков, особенно TSMC. А в датацентр ставят по 100'000 карт — это же копейки. Даже сеть из 500'000 карт не выглядит такой гигантской на фоне производимого количества (которое растекается по нескольким игрокам). Из анализа прогнозов производства для инвесторов TSMC Dylan вынес для себя, что на 2025-2026 чипов точно хватит по текущим планам масштабирования LLM.
    — если правильно помню новость, Microsoft заказала от 700'000 до 1.4M видеокарт у Nvidia (другие, вроде META и Google, заказали меньше 700'000), так что тут тоже срастается.
    — «Невозможно проплатить тот масштаб кластеров, которые планируется построить в следующем году для OpenAI, если только они не привлекут ещё 50–100 миллиардов долларов, что, я думаю, они сделают в конце этого или в начале следующего года <...> Я говорю вам, Sam привлечёт эти 50-100 миллиардов долларов, потому что он уже говорит людям, что соберет столько. Он буквально ведет переговоры с суверенитетами, с Саудовской Аравией, с канадским пенсионным фондом и с крупнейшими инвесторами в мире. Конечно, и с Microsoft тоже, но он буквально ведет эти переговоры, потому что они собираются выпустить свою следующую модель или показать ее людям и привлечь эти деньги. Это их план.»
    (кстати, напомню, что Sama поднял 3 из 5 самых крупных раундов в истории, включая 10-миллиардную сделку с Microsoft)
    — «Их план», если не ясно, это выпустить GPT-5 и поразить всех; показать, что мы очень далеки от предела масштабирования, что приросты качества и темп решения проблем в духе галлюцинаций всё ещё огромны, что полезность модели растёт и растёт. От GPT-5 многое зависит. Ну и под шумок после этого деньги собрать
    — У OpenAI пока хороший ROI, на тренировку GPT-4 на всё про всё, с исследованиями, ушло $500M. Они до сих пор стригут деньги с модели (пусть она и улучшилась, и уменьшилась в размерах) — выручка OpenAI на конец года будет +- $4 миллиарда. Все траты, что есть сейчас — это спонсирование будущих проектов, которые тоже, по плану, окупятся: OpenAI ожидает утроение выручки в следующем году до $11.6B и последующий рост до $25.6B в 2026-м. Последняя цифра — это примерно выручка таких компаний как McDonalds или Adidas, а значит примерно столько принесёт субсидируемая сейчас GPT-5.
    (Да, выручка это не прибыль, но кому это интересно, когда идёт столь бурный рост? а главное, значит, OpenAI ожидают куда большего проникновения технологии в нашу жизнь).
     
  5. #ReadOnly

    #ReadOnly VIP

    Рега:
    1 дек 2014
    Сообщения:
    277
    Шекелей:
    220G
    Karma:
    82
    Gold:
    220
    От кого аналитика? Не смог нагуглить.
     
  6. hunteraxe

    hunteraxe VIP

    Рега:
    27 май 2016
    Сообщения:
    84
    Шекелей:
    2.925G
    Karma:
    103
    Gold:
    2.925
    От гпт4)
     
  7. ArtRoR

    ArtRoR последний армянин Королевства VIP

    Рега:
    7 мар 2010
    Сообщения:
    7.853
    Шекелей:
    8.050G
    Karma:
    4.665
    Gold:
    8.050
    Любой стиль...певцы ртом уже не нужны.
     
  8. Titkin

    Titkin VIP

    Рега:
    22 апр 2011
    Сообщения:
    16.636
    Шекелей:
    14.590G
    Karma:
    4.003
    Gold:
    14.590
    Потiковый накопитель
    Певцы ртом - да. Но эти певцы ртом и до ИИ нервно посасывали свои гонорары, глядя на то, как настоящие таланты, ловя кайф, недоступный этим проходимцам, рвут их как грелку тузик. Наш с Голкондычем любимый ролик как простой пример такого таланта:
     
  9. Tyrael

    Tyrael

    Рега:
    24 июн 2009
    Сообщения:
    155
    Шекелей:
    20G
    Karma:
    11
    Gold:
    20
    Не заметил таланта, пмсм цыганщина.)
     
  10. Beliall

    Beliall красиво VIP

    Рега:
    9 мар 2011
    Сообщения:
    1.170
    Шекелей:
    18.185G
    Karma:
    817
    Gold:
    18.185
    тг @seeallochnaya
     
  11. MadVik

    MadVik

    Рега:
    11 июн 2010
    Сообщения:
    11
    Шекелей:
    0G
    Karma:
    8
    Gold:
    0
    Бил Гейтс - самый крупный фермер в Соединенных Штатах, теперь картина становиться более ясной, что он на всех этих скупленных землях собрался фармить. Вырастит каждому американцу по ии помощнику, любой формы и содержания.
     
  12. ATLANTIS

    ATLANTIS "Мировой шизопереход"

    Рега:
    2 авг 2011
    Сообщения:
    30
    Шекелей:
    1.600G
    Karma:
    9
    Gold:
    1.600
    Круто, я бы скачал себе на плеер полный альбом
     
  13. suniM

    suniM Israel ip VIP

    Рега:
    23 сен 2022
    Сообщения:
    383
    Шекелей:
    35G
    Karma:
    85
    Gold:
    35
    Я бы на месте ютуба и других площадок не монитизировал все что создано ии.
    И так много дряного контента, еще и генерированным заваливают.
     
  14. Linch

    Linch VIP

    Рега:
    12 сен 2009
    Сообщения:
    4.457
    Шекелей:
    4.035G
    Karma:
    3.685
    Gold:
    4.035
    THE MATRIX
    Имею отношение к публикации музыки, могу дать комментарий.

    Площадки очень не любят мусорные релизы, которые никто не слушает. Потому что: внезапно площадки хотят зарабатывать деньги, а вавки средним весом в 50мб нужно где-то хранить. Поэтому дорвейную срань, когда человек по нажатию кнопки генерирует 500 треков и отправляет на стриминги - будут все сильнее завинчивать. В конце концов работы такого уровня они могут генерировать и сами в нужных им объемах.

    А вот то что выложено в стартовом посте теоретически имеет какую-то художественную ценность + может вируситься по соц. сетям.
    Поэтому площадки возражать не будут. НО, только в случае если все авторские права принадлежат артисту. Чужую музыку с чужими голосами выкладывать нельзя. Точнее обмануть можно, но это может иметь неприятные последствия для обманщика
     

Поделиться этой страницей