Зенит сознания Назара

[S1mon]

13.05.2025 в 22:59, AlexIvanov сказал:

Ну давай, расскажи, как нас автоматизировать) 

Хотя надо же тогда представлять, что они делают, кроме как пишут типовые иски на 3 страницы (и вот такое уже какое-то время автоматизировано в крупных компаниях или на пути к тому). 

Ну, в далёкие нулевые я работал в консульстве, и 70-80% доверенностей готовил я, с помощью небезызвестных ctrl+c ctrl+v, не имея на тот момент ничего, кроме полного среднего образования. А дальше дело было за получением подписи консула, печать поставить и в журнал внести. Вчерашний выпускник с этим справлялся. Но это задача даже полегче искового на 3 страницы. 

14.05.2025 в 21:03, Zenith сказал:

Пообщайся с переводчиками. Вовсе не так всё. Не заменили и не заменят

Я на самом деле рад тому, что мои контрольные и проверочные ни через Гугл переводчик не получается на 100% выполнить, ни через доступные школьникам нейросетки. Пока получается обходить, ну либо оставлять ловушки

[var]

Странно, что на столько полотен текста не упомянули самую важную проблему.

Нейросетки и правда ошибаются, но делают это «так убедительно», что обычный человек не замечает ошибок.

Ну а на тему энтерпрайза и ИИ… Ну вот майки заменили свой отдел тестирования, баги после апдейтов веселее с каждым новым апдейтом.

Корпорации нахваливают себя, что 30% кода уже пишет ИИ, а кто-то замахивается на 70% в скором будущем.

Как обычно мы поймем что через чур заигрались в погоне за бабками после очередной серьёзной катастрофы, которую не выйдет замолчать. В первый раз чтоль? : -)

ПыСы:

Умные люди станут ещё дорожн, потому что их в разы меньше станет, а при должном развитии, станут на вес золота, потому что кроме них в этом бедламе уже никто и не сможет разобраться. ; -)

А Дюну к ночи поминать не буду. xD

Изменено 16 мая пользователем var

[Коленька]

Вы извините, что я в вашу тему о кибернетике и эволюции человечества лезу со своими календарями…

4 часа назад, stepasfizfaka сказал:

Думал, тема про англицизмы Назара, а тут ...

А я думал обсудят игру Зенита за два тура до конца сезона РПЛ 

[ToRT]

4 часа назад, Undew сказал:

Нууу связь между потреблением и креативностью все же есть. Примеров много. Все метал-банды из прошлого века добившиеся мировой известности увлекались всякими подобными вещами. Ну разве что кроме Блекмора из Deep purple наверно. Он был просто алкоголиком. Оззи Озборн с Тони Айоми из Black sabbath писали песни находясь в состоянии. Лемми Килмистер из Motorhead писал песни о своих трипах.

Из художников навскидку. Пикассо с Дали курили всякое. 

 

Возможно, в этом случае вы путаете причину со следствием.

[Zenith]

Если вам человек на работе принесёт сочиненную им несуществующую статью, то это осознанный подлог и вредительство. Нейросетка же делает это на голубом глазу.

Сейчас сети стали оправдываться, уговаривать подождать результата и прочее.

 

Изменено 16 мая пользователем Zenith

[Zaraki]

14 минут назад, Zenith сказал:

Если вам человек на работе принесёт сочиненную им несуществующую статью, то это осознанный подлог и вредительство. Нейросетка же делает это на голубом глазу.

Сейчас сети стали оправдываться, уговаривать подождать результата и прочее.

 

А если человек на собеседовании сказал что он мидл, а в итоге оказался джуном и потратил временные и менеджерские ресурсы компании на неудачном испытательном сроке, это осознанный подлог или вредительство? :) (Извините) 

[Monsenior Napalm]

Парни, но Назар то прав, при всех моментах. Проще нейронку научить за базар вывозить в суде, чем адвоката даже за налик  заставить толково работать.

Это я без всякой иронии и по следам недавних событий.

Не болейте, играйте в картишки!

Изменено 16 мая пользователем Monsenior Napalm

[Zenith]

12 минут назад, Zaraki сказал:

А если человек на собеседовании сказал что он мидл, а в итоге оказался джуном и потратил временные и менеджерские ресурсы компании на неудачном испытательном сроке, это осознанный подлог или вредительство? :) (Извините) 

Ну такое себе, предъявлять что-то незнакомому человеку в интернете по фотографии. Требует каких-то аргументов.

Изменено 16 мая пользователем Zenith

[Zaraki]

@Zenith Джаст чилл бро, я ничего никому не предъявлял, просто не удержался от очевидной шутки))

Но в каждой шутке есть доля правды, и в данном случае она в том, что люди тоже ошибаются, но при этом работают сильно дороже и медленнее, чем нейросеть)

 

[Zenith]

Как вы заставите нейронку отвечать в суде? В отличии от человека она не обладает свободной волей. Это программа.

[nikareijii]

3 часа назад, Zenith сказал:

В отличии от человека она не обладает свободной волей.

Слухи об обладании человеком свободной воли сильно преувеличены.

Чем больше исследований проводят нейрофизиологи, тем больше кажется, что так называемая свободная воля -- это всего лишь нарратор внутри запертой наглухо черной железной тюрьмы рефлексии.

[Zenith]

Живёт человечество так, будто она есть. 

Тюрьмы и награды не имеют смысла, если нет свободы воли.

[nikareijii]

Необходимость наличия смысла тоже очень сильно переоценена людьми как существами, непосредственно производящими смыслы.

[Zenith]

1 час назад, nikareijii сказал:

Слухи об обладании человеком свободной воли сильно преувеличены.

Чем больше исследований проводят нейрофизиологи, тем больше кажется, что так называемая свободная воля -- это всего лишь нарратор внутри запертой наглухо черной железной тюрьмы рефлексии.

И пишешь ты это потому что не можешь не написать) 

 

Исследования эти не выдерживают критики.

[nikareijii]

Отвлекся от учебы чтобы написать постец, в котором выражу свои опасения по поводу нейросетей. Тут не будет страшных историй о том, как нейросети захватят мир и лишат нас работы, мои опасения несколько другого рода.

Волею судеб моя прошлая работа была в российском медтехе: наш стартап пытался зайти в московский "Эксперимент по внедрению компьютерного зрения в лучевую диагностику" (МЭ). Я занимался тем, что писал бекенды и оркестрацию для агентов машинного зрения и искусственных интеллектов, которые отсматривали радиологические исследования (в основном скрининги) и пытался найти на них патологии. За два с половиной года я наелся программирования на python, ублюдского менеджмента стартапа, а главное -- общения с врачами в роли экспертов по предметной области. Но рассказ не об этом.

В двух словах расскажу о том, как работает московский эксперимент в частности и радиологические ИИ вообще. Предположим вы проходите диспансеризацию, у вас ничего не болит, но тем не менее по возрасту вам нужно сделать скрининг (уже есть исследования о том, что скрининги снижают уровень здоровья у населения, но это мы оставим за кадром -- будучи запущенной, машина распила бюджетных средств не может быть остановлена ни наукой, ни божественным провидением). Вас засовывают в КТ-аппарат, который бомбардирует ваши потроха излучением. Отраженное излучение фиксируется ловушками и вот вы стали счастливым обладателем серии КТ-изображений, которое называется "исследование".

Исследование отправляется врачу-радиологу, который пишет расшифровку. Так было еще недавно, и так есть во многих местах сейчас, но не в больницах, подключенных к МЭ. В этих больницах исследование параллельно с врачом попадает в руки к ИИ, который анализирует его и готовит для врача "дополнительные серии" -- те же самые медицинские изображения, но поверх которых нанесена разметка. В этой разметке красными кружками, штриховкой, обводкой или еще как-то отмечены те части вашей физической оболочки, которые похожи, скажем, на рак. Обработка происходит очень быстро, и к тому моменту пока вы дошлепали от КТ-аппарата до кабинета радиологии результаты ИИ уже вклеены в ваше исследование.

Круто? Запредельно! У женщины, проходящих маммологические скрининги, патологии теперь выявляют не просто врачи, а врачи со сниженным шансом ложноотрицательной диагностики: машина видит гораздо больше, чем человек, и способна определять патологии даже выходящие в своих проявлениях за пределы диагностических критериев. Будущее здесь.

Закончил вводную часть, перехожу к фабуле. Работая в этом предприятии мы, и не только мы, неоднократно отмечали два сценария работы врачей с ИИ-помощниками.

Первый сценарий: жуткое, прямо-таки животное отвращение врача к инструменту, замешанное на патологически высокой самооценке врачей, недоверии их ко всему новому и страху перед чем-то, что способно на большее, чем они. Как можно верить машине, если она не закончила восемь лет медицинского паноптикума и не отработала в поликлинике 45 лет за копейки? Ладно там шедевр картины, но хотя бы одно медицинское заключение, или там научную работу хотя бы на 30% она написала? Конечно нет. В итоге заставить врача пользоваться ИИшкой -- это целое дело, плюс к этому рождается феномен "на зло бабушке отморожу уши": если врачу в исследования вклеивать ИИ-заключения против его воли, то увеличивается риск того, что врач напишет обратное заключение просто потому что в нем горит желание доказать что он врач, а ИИ -- не врач.

Второй сценарий еще хуже: врачи начинают слепо верить ИИшкам, потому что зачем работать, если робот все разметил. Плюс к этому, все медицинские ИИшки сверхчувствительны (потому что ложноотрицательный диагноз дороже ложноположительного), и максимальный риск для врача -- он отправит здорового пациента на дообследование.

И недавно я столкнулся с еще одним примером, который поможет мне в иллюстрации: коллеги-разработчики (из другой фирмы) используют ИИ для проведения код-ревью. 

И вот это вызывает у меня опасения и страх: ИИшки в силу своей "интеллектности" перехватывают у людей когнитивную нагрузку. На первом этапе, сейчас, они забирают на себя принятие решений (безусловно, не у всех, только у людей, воля к работе у которых слаба, но будем честными -- каждый из нас хотел бы стать таким человеком). Но все ИИшки, будь то агенты для код-ревью или агенты для поиска рака, обучаются на массивах человеческих решений, а значит рождается петля обратной связи: в мире, где инженеры проводят ревью с помощью ИИ, в конечном итоге ИИ начинает определять требуемую стилистику кода. А в мире, где ИИ принимают решения о патологичности радологических исследований, именно ИИ начнут определять критерии патологичности.

В конце концов робот может начать определять кому жить, а кому умирать, и это уже происходит: во многих страховых компаниях используются ИИ для рискового скоринга. Добавьте к этому тот факт, что ИИ не работает со смысловыми моделями, а является просто длинным многочленом, в котором невозможно определить "вектор мышления" (потому что нет мышления) и мы легко получаем невидимую и неуправляемую цифровую евгенику.

Не нужно мыслить Темный Компьютерный Сверхразум, какой-то ужасный злонамеренный ИИ, который убивает человечество, построив армию терминаторов. Чтобы испугаться достаточно увидеть как ИИ, управляющий выдачей постов в Фейсбуке, приводит к радикализации взглядов просто организуя пузыри для максимизации вовлечения в рекламу; медицинский ИИ склонен реже считать патологиями узлы в молочных железах у пациенток вне титульной национальности (потому что их в среднем хуже укладывают в аппарат); а качество ПО падает, потому что ревью проводит ИИ-идиот, дообученный удовлетворять мегаломанию вашего поехавшего техлида.

ИИ становится линзой, увеличивающей все возможные пороки и проблемы, притом делает он это так, что его эффект всегда, всегда выглядит позитивно. Как этому противостоять нам еще только предстоит придумать. Ясно одно: сейчас мы стоим в самом начале взрывного роста ИИ-технологий, и дальше будет сложнее (а выглядеть будет как проще).

 

[Matvey Dolganov]

Спасибо за текст, поставил плюсик. Но хотелось бы прокомментировать приведенные примеры. 
1. Если при обучении модели (не обязательно даже нейросети) присутствует дисбаланс классов, с ним обычно борятся, благо способов много. В вашем медицинском случае руководство или этого не учло, или решило закрыть на это глаза, и поскорее внедрить технологию. 

2. В случае кредитного скоринга или страховых случаев математические модели различной сложности существуют уже давно. Фактически они, как вы говорите, «решают кому жить, а кому умереть», почему именно сейчас это стало проблемой?

3. Пример случайной «радикализации» фейсбука хороший, но по сути из-за чего он возник? Из-за того, что группа разработчиков, ответственных за внедрение и поддержку механизмов ранжирования выдачи в ленте, как следует не провели А/Б тесты новых инструментов перед использованием. Если что, я их непосредственно не виню. Даже в такой компании, как мета, сотрудников этого конкретного отдела даже не 100, а как работает всё то нагромождение кода, относящееся к ленте, из них на 100% не знает никто. К примеру, в ВК за поиск и вообще все, что с ним связано, отвечают 5 (пять) человек. Возвращаясь к сути примера: в случайной радикализации виноват не ИИ, а человек, поторопившийся его внедрить. 
 

Другими словами: везде виноват человек. С его стремлениями, мотивами, трудолюбием и ленью, плюсами и минусами. ИИ - это инструмент. Если использовать молоток с умом и по назначению, а не для того, чтобы разбивать им головы, пользы точно будет больше. Просто наравне с обучением нейросетей надо обучать людей пользоваться ими грамотно. 

Изменено 17 мая пользователем Matvey Dolganov

[nikareijii]

29 минут назад, Matvey Dolganov сказал:

В вашем медицинском случае руководство или этого не учло, или решило закрыть на это глаза, и поскорее внедрить технологию.

Модели -- отличные, их проверяют и перепроверяют, нет никакого "закрыло глаза" и так далее. Еще раз: модели хороши настолько, насколько могут быть, проблема в том что ими не умеют пользоваться.

 

31 минуту назад, Matvey Dolganov сказал:

2. В случае кредитного скоринга или страховых случаев математические модели различной сложности существуют уже давно. Фактически они, как вы говорите, «решают кому жить, а кому умереть», почему именно сейчас это стало проблемой?

Когда скоринговые системы были полностью алгоритмическими им можно было провести аудит и сказать: у вас тут алгосик смотрит на расу человека и не дает ему обезбол, это беда, исправьте. Теперь они становятся нейронными, а нейронке ты между слоев не заглянешь и не найдешь там расовый профайлинг, хотя он там вполне может быть (например исторически черным и женщинами врачи выписывают меньше обезбола, и модель уверенно эти баясы подхватит из исходных датасетов).

Конечно во всех бедах человечества виноваты, в основном, человеки. Проблема, которая меня беспокоит, не в этом. Она в том, что нейронные модели, которые как панацея, внедряются повсеместно, настолько обскурны по своей математической природе, что даже специалисту трудно понять если с ней что-то не так. Плюс к этому, они тренируются на человеческих же поведенческих данных, которые несовершенны в силу несовершенства человека, но человека за поведение можно призвать к аудиту (психотерапии, суду, или какого-то иного вида), а многочлен ни к чему такому привести нельзя.

36 минут назад, Matvey Dolganov сказал:

Просто наравне с обучением нейросетей надо обучать людей пользоваться ими грамотно. 

Бесспорно. Только вот мы пока не знаем ни как это обучение проводить, ни даже как выглядит это "грамотно". Это задачи грядущих нескольких лет, но вызовы, которые эти задачи решают, поступают уже вчера.

[Nazar]

7 часов назад, Zenith сказал:

Как вы заставите нейронку отвечать в суде? В отличии от человека она не обладает свободной волей. Это программа.

Вообще говоря, уже есть эксперименты по созданию автогомных цифровых аватаров, которые отвечают в суде и на полиграфе а том числе (объективнее чем человек)

Ну это помимо того, что в претрейне заложена куча человеческих паттернов: https://www.apolloresearch.ai/research/scheming-reasoning-evaluations

30 минут назад, nikareijii сказал:

Когда скоринговые системы были полностью алгоритмическими им можно было провести аудит и сказать: у вас тут алгосик смотрит на расу человека и не дает ему обезбол, это беда, исправьте.

Бро… скоринговые модели уже давным давно НЕ алгоритмизированы, а работают в редиме блэк бокса. Просто где-то это простые бустинги, а где-то уже самописные трансформеры.

1 час назад, Matvey Dolganov сказал:

ИИ - это инструмент.

Ой нет, это взгляд из начала года:) уже сейчас есть большие сомнения, что это правильная позиция. вэйт капл оф монсес..

 

33 минуты назад, nikareijii сказал:

многочлен ни к чему такому привести нельзя.

Вообще-то можно… если не относится к мультиагентным системам как к молотку, то можно устраивать такой же ассесмент с контурами обратной связи, критикой, наказаниями и поощрениями. 

Изменено 17 мая пользователем Nazar

[Zenith]

Я имею в виду, что у нейронки я не отсужу денег.

[Matvey Dolganov]

14 минут назад, Nazar сказал:

 

Ой нет, это взгляд из начала года:) уже сейчас есть большие сомнения, что это правильная позиция. вэйт капл оф монсес..

 

I’m sorry, Dave, I’m afraid I can’t do that…

 

К рассуждениям на тему степени близости современного ИИ к человекоподобному и выше я отношусь исключительно положительно. О самоидентификации тоже можно поговорить. Но… В контексте проблем, обсуждаемых 3-5 сообщениями выше, ИИ - это таки инструмент:) Люди не занимаются ниокром, а подстраивают под свои нужды существующие технологии и просто хотят внедрить их с определенным профитом. Вот и все. 
 

Им нет дела до вопросов самоопределения моделей. Предположу, что им и не особо интересно порассуждать на тему того, что LLM подход приближается к своему потолку, и пора видоизменяться…. Свою теорию оставьте себе, они скажут)

[Nazar]

1 час назад, Zenith сказал:

Я имею в виду, что у нейронки я не отсужу денег.

Ну это пока. .. я думаю, что субъектность таких сущностей - это вопрос пары лет.

45 минут назад, Matvey Dolganov сказал:

I’m sorry, Dave, I’m afraid I can’t do that…

 

К рассуждениям на тему степени близости современного ИИ к человекоподобному и выше я отношусь исключительно положительно. О самоидентификации тоже можно поговорить. Но… В контексте проблем, обсуждаемых 3-5 сообщениями выше, ИИ - это таки инструмент:) Люди не занимаются ниокром, а подстраивают под свои нужды существующие технологии и просто хотят внедрить их с определенным профитом. Вот и все. 
 

Им нет дела до вопросов самоопределения моделей. Предположу, что им и не особо интересно порассуждать на тему того, что LLM подход приближается к своему потолку, и пора видоизменяться…. Свою теорию оставьте себе, они скажут)

это верно. Однако вот обезличенный кейс: команда из 5 человек, разрабатывает инженерное решение. PO в функции которого входит надзор и постановка задач, общение с командой (почта и мессенджеры, комментарии и артефакты в jira), иногда поддержка в review кода - это мультиагент на gpt4.1 mini, собранный в лонгчейне… стратегия продукта обсуждается с PL раз в 2-3 недели.

по словам пользователей - бывают ошибки, конечно (например может не учесть загрузку de команды, при постановке задач на внедрение), но камон, у меня люди-РО периодически это делают, создавая проблемы с планированием кросс-командных ресурсов. Причем у агента можно корректировать системный промпт и дообучать на доп контекст, а с человеком это так сеье работает%}.

я вот думаю себе такого же сделать, если с безой договорюсь. 

стоимость РО на рынке - 250+, стоимость токенов на месяц + подписки около 20тр… 

Мне кажется, что отношение к этой штуке у ребят уже как к полноценному члену команды, а не как к инструменту.

[Олежка]

@nikareijii Я тебе честно скажу с врачебной стороны, никто ближайшее время не будет адекватно пользоваться ИИ, особенно в расшифровке исследований, потому что чудо машина слишком часто ошибается, а зачем мне, как врачу, использовать то, что ошибается регулярно, исправлять за ней ошибки или отвлекаться на её домыслы? (Про вред скрининга выпал кстати, рак, который не обнаружили вовремя конечно же меньше вреда наносит. Злые врачи хотят наживаться на пациентах и назначают обследования раз в 3 года)

[pheni_li]

@Олежка 
 

Цитата

потому что чудо машина слишком часто ошибается

Статья Nature про медицинскую ллм от гугла:

https://www.nature.com/articles/s41586-025-08869-4

- Когда AMIE работала одна, её эффективность составила 60% случаев
- Врачи без посторонней помощи учитывали правильный диагноз в 34% случаев
- Связка "врач + AMIE" справилась хуже (51%), чем чистая машина

Третий пункт буквально иллюстрирует чсв клиницистов, описанных в посте @nikareijii, отметающих верный диагноз, предположенный ИИ

Изменено 17 мая пользователем pheni_li

[KovAlevich]

13.05.2025 в 23:50, Seadhna сказал:

Под кат положу самое серьёзное приложение нейронки, какое возможно

  Показать содержимое

 

Закрывайте топдек, лучше не будет.

3 часа назад, Nazar сказал:

субъектность таких сущностей

... сломает вообще все юридическое регулирование страны, в которой появится. У нас не готова ни одна правовая система к такому - придется переписывать вообще все, плюс лет десять-двадцать судам адаптироваться.

 

И чтобы провести работу таких масштабов, нужна ОЧЕНЬ серьезная причина, каковой я пока ну вообще не вижу.

[Nazar]

7 минут назад, KovAlevich сказал:

И чтобы провести работу таких масштабов, нужна ОЧЕНЬ серьезная причина, каковой я пока ну вообще не вижу.

Ну… значит не будем делать, конечно…