Топ-менеджмент и исследователи, ведущие усилия Meta в области искусственного интеллекта, увлечены победой над моделью GPT-4 от OpenAI при разработке Llama 3, как показывают внутренние сообщения, раскрытые судом во вторник в одном из текущих судебных дел компании по авторскому праву в области искусственного интеллекта, Kadrey v. Meta.
«Честно говоря... Нашей целью должен быть GPT-4», - сказал вице-президент Meta по области генеративного искусственного интеллекта Ахмад Аль-Дахле в сообщении от октября 2023 года исследователю Meta Хьюго Туврону. «У нас скоро будет 64 тыс. GPU! Нам нужно узнать, как строить фронтиры и выиграть эту гонку».
Хотя Meta выпускает открытые модели искусственного интеллекта, руководители компании искусственного интеллекта гораздо больше сосредотачивались на победе над конкурентами, которые обычно не публикуют весы своих моделей, таких как Anthropic и OpenAI, а вместо этого ограничивают доступ к ним через API. Топ-менеджеры и исследователи Meta приводили Anthropic's Claude и GPT-4 от OpenAI в качестве золотого стандарта, к которому стоит стремиться.
Французский стартап Mistral в области искусственного интеллекта, один из крупнейших открытых конкурентов Meta, упоминался несколько раз во внутренних сообщениях, но тон был презрительным.
«Для нас Mistral - мелочь», - сказал Аль-Дахле в сообщении. Позже он добавил: «Мы должны справиться лучше».
Технологические компании соревнуются между собой, предлагая передовые модели искусственного интеллекта, но эти судебные документы показывают, насколько конкурентоспособными были топ-менеджеры Meta в области искусственного интеллекта - и, кажется, по-прежнему таковы. На нескольких этапах обмена сообщениями лидеры искусственного интеллекта Meta говорили о том, что они «очень агрессивны» в получении необходимых данных для обучения Llama; в одном из сообщений даже говорится, что «Llama 3 - это буквально все, о чем я заботлюсь», сказал один из топ-менеджеров своим коллегам.
Обвинители в этом деле утверждают, что топ-менеджеры Meta иногда делали уступки в своей безумной гонке к выпуску моделей искусственного интеллекта, обучаясь на книгах с авторскими правами в процессе.
Туврон отметил в сообщении, что смесь наборов данных, использованных для Llama 2, была «плохой», и говорил о том, как Meta могла бы использовать лучшую смесь источников данных для улучшения Llama 3. Затем Туврон и Аль-Дахле обсудили очистку пути для использования набора данных LibGen, который содержит произведения с авторскими правами от Cengage Learning, Macmillan Learning, McGraw Hill и Pearson Education.
«У нас есть правильные наборы данных[?]» - спросил Аль-Дахле. «Есть ли что-то, что вы хотели использовать, но не смогли по какой-то глупой причине?»
Ранее генеральный директор Meta Марк Цукерберг заявил, что он пытается сократить разрыв в производительности между моделями искусственного интеллекта Llama и закрытыми моделями от OpenAI, Google и других компаний. Внутренние сообщения показывают огромное давление внутри компании на это.
«В этом году Llama 3 конкурентоспособен с самыми передовыми моделями и ведет в некоторых областях», - сказал Цукерберг в письме от июля 2024 года. «Начиная со следующего года, мы ожидаем, что будущие модели Llama станут самыми передовыми в отрасли».
Когда Meta в конечном итоге выпустила Llama 3 в апреле 2024 года, открытая модель искусственного интеллекта была конкурентоспособной с ведущими закрытыми моделями от Google, OpenAI и Anthropic, и превзошла открытые варианты от Mistral. Однако данные, использованные Meta для обучения своих моделей - данные, по которым, как сообщается, Цукерберг дал добро на использование, несмотря на их авторское право, - подвергаются проверке в нескольких текущих судебных процессах.
