Зейнеп Тюфекчи
@zeynep · Северная Америка
Зейнеп Тюфекчи отслеживается Storyz World для освещения журналистики и текущих событий, связанных со страной Соединенные Штаты, в разделе о Северной Америке.
Второе обвинение в том, что прежняя математическая работа была включена в модель ИИ. Заметьте, что даже при большей прозрачности и лучшем поведении OpenAI всё ещё может быть не в состоянии «исключить, что обезличенные данные, полученные в результате использования ими наших продуктов, помогли улучшить наши модели», среди прочих путей.
Переведено с языка: английскийНа самом деле неправильно — поспешно сообщать об утверждении без контекста. Кроме того, если решение будет признано (почему бы и нет?), отражает ли это то, что должна была стимулировать Millennium Prize? Смысл марафонской медали не в том, чтобы вручать её людям, которые могут доехать до финиша на роликовых коньках. Изменения в методах/процессах не являются второстепенными деталями. Проблема существования и гладкости Навье–Стокса очень интересна, но это не практический вопрос. Процесс/метод — ключ к тому, что на самом деле означает это достижение. +
Переведено с языка: английскийНаши распространённые бенчмарки ИИ не так уж полезны. Нас ослепляют достижения, которые не обязательно повлекут за собой те подразумеваемые последствия, которых ожидают люди. Это немного похоже на то, как крупные массовые демонстрации не обладают такой же способностью свергать власть, как в доинтернетную эпоху. (Да, это моя книга).
Переведено с языка: английскийИИ в науке и исследованиях, вероятно, станет одной из областей, которые разочаруют ожидания общественности. Да, я видела объявление о Навье—Стоксе и да, я верю в это независимо от споров об авторстве. Наука в целом может даже столкнуться с *встречным ветром* из-за ИИ. Несколько впечатляющих усилий этого не меняют.
Переведено с языка: английскийЯ думаю, что ИИ — это преобразующая технология, имеющая огромное значение. Я ожидаю множества последствий! Я просто думаю, что большинство нынешних бенчмарков не очень полезны и что общественные прогнозы не сбываются в соответствии с бенчмарками ИИ так, как утверждали многие люди!
Переведено с языка: английскийДело даже не в том, что «карта — это не территория», а в том, что нынешние бенчмарки ИИ — даже не карта! И если оставить в стороне настроения подкастов и посмотреть эмпирически, становится ясно, что господствующие теории о том, для чего эти бенчмарки должны были служить общественным показателем, ДО СИХ ПОР НЕВЕРНЫ.
Переведено с языка: английскийНи одно из этого не является прямым доказательством конкретных общественных последствий, хотя потраченные деньги, очевидно, имеют последствия. Но всё это может произойти, даже если ИИ не окажет большого влияния на занятость и даже если он замедлит развитие науки и будет иметь другие новые последствия.
Переведено с языка: английскийЯ не думаю, что бенчмарки ИИ являются косвенными показателями общества. Это *входные данные* для сложной системы. Нужна связная теория того, *как*. Например, я думаю, что наука может *замедлиться*. Показатели бенчмарков растут, но наука как процесс вполне может быть заторможена ИИ, независимо от решения задач Эрдёша.
Переведено с языка: английскийОдни лишь бенчмарки ИИ не подразумевают более широких последствий или воздействий. Вовсе нет. Кроме того, я считаю, что большинство наших бенчмарков совершенно бесполезны для осмысления последствий для общества, и это уже эмпирически очевидно, НО даже если бы они были полезны, сами по себе они недостаточны!
Переведено с языка: английскийХа. Интересный поворот здесь — высокая чувствительность LLM к частоте входных данных (это ещё одна ключевая причина, по которой за пределами ограниченных областей применения они не особенно пригодны с экономической точки зрения в масштабах): лакуны как провал.
Переведено с языка: английскийОриентация модели ИИ на убеждение, очевидно, сильно ограничивает её экономическую полезность В МАСШТАБЕ. Поэтому все эти отдельные впечатляющие примеры не так уж важны. Например, недавно я попросила платную модель обобщить то, что мы знаем о последствиях сценария, в котором путь X НЕ выбирается. Большинство исследований рассматривает, что происходит, если путь X выбирается. Как обычно, я попросила привести источники, ссылки и так далее. Модель добавила едва заметные изменения в названия, аннотации и прочие элементы перечисленных ею исследований, чтобы включить «не X» в рамки исследования. Это было хорошо и тонко. Моргнёте — и не заметите. Нужно было перейти по каждой ссылке и прочитать значительную часть исследования. Это всё ещё было немного быстрее, чем начинать с нуля, но при недостатке опыта такая ловушка опаснее, чем начало с нуля. Кроме того, она создаёт другие векторы ошибок. Даже самые продвинутые модели иногда делают нечто подобное, и без значительного объёма дополнительной работы трудно уловить эти тонкие убедительные выдумки; для этого нужны и знания, и время. Верно, что иногда они этого не делают, но удачи в различении этих случаев без соответствующих знаний и усилий. Программное обеспечение должно работать, а не убеждать, поэтому, помимо аспекта проверяемости, это совсем другая игра.
Переведено с языка: английский