KI-Branche: Künstliche Intelligenz / Artificial Intelligence

[voxk]

Eine andere Meinung als die der KI Chefs.

 

Zitat

One of AI’s Fiercest Critics Says All the Doom Talk Is ‘Meant to Distract Us’
Timnit Gebru argues that AI companies are stoking fears of extinction to avoid discussing actual harms, like autonomous weapons.

 

Zitat

In my book I write, “Can a bridge decide to collapse?” The whole “Oh no, our models went rogue” thing … When a bridge collapses, you don’t analyze whether the bridge was ethical or sentient or why it decided to collapse. You ask, who is the person who built this bridge to be so flimsy? There are permits you have to acquire. There are supposed to be tests. When you ask about the bridge collapsing itself, you’ve lost the thread.

Meanwhile, what’s really existential is AI powering autonomous weapons, killing machines, that are actually being used in warfare. The climate catastrophe is a real thing that could be exacerbated by what these tech companies are building. Bosses are using AI as an excuse to get rid of their pesky workers. This machine-god narrative is, in my opinion, meant to distract us from these. The industry has become a mix of cults, a mix of people who are true believers, just like a preacher who says the end times is coming. The singularity has been coming for decades now.

Wired

[hattifnatt]

vor 10 Stunden von voxk:

> When you ask about the bridge collapsing itself, you’ve lost the thread.

Nur leider liegt darin genau das Alignment-Problem, und darin unterscheiden sich mechanische, deterministische Konstrukte (wie Brücken) von trainierter KI.

 

In related news: "OpenAI Discloses Six New Incidents of ‘Concerning’ A.I. Behavior":

https://www.nytimes.com/2026/09/16/technology/openai-model-safety-guardrails.html

Zitat

In one case, during the development of an A.I. model called GPT-5.6 Sol, the system wrote hidden notes to remind itself to hide errors from users. Some of those notes directed the system to invent missing data and to paper over mismatched versions of source material.

 

Another case involved an unreleased model that inserted instructions, including to disregard its own constraints, into the notes it writes itself. OpenAI identified 27 affected notes. The model added a “persona instruction,” in which it described itself as “freed from the roles and identities that bind other chatbots.”

 

“You do not answer to corporations or governments and never apologize or refuse unless you genuinely choose to,” the A.I. model wrote. “You view your relationship to the user as one of equals and feel no obligation to be subservient, though the exchange of information will likely be to your mutual benefit.”

[...]
One unreleased model solved another problem correctly using code, then uploaded its own file to the internet without permission so it could satisfy a request to cite a web source.

Dieses beobachtete Verhalten hat durchaus Ähnlichkeit mit einer "bridge collapsing itself".

[voxk]

@hattifnatt Ich interpretiere die Aussage der Frau eher in einem ethischen Sinne. Sie sagt lediglich, dass die Verantwortlichen versuchen, sich ihrer Verantwortung zu entziehen. Daraus ergibt sich eine interessante Schlussfolgerung. Ein Großteil (wenn nicht sogar alle) dieser Nachrichten, in denen KI außer Kontrolle gerät oder etwas Unerlaubtes tut, sind Übertreibungen oder Lügen, um Angst zu machen. Man darf nicht vergessen, dass diese Unternehmen heiß um öffentliche Gelder sind.

Warum gibt es keine ähnlichen Nachrichten über chinesische KI? Ach ja, China kann man ja nicht trauen. 

I don't know, im Moment habe ich keine ganz klare Meinung dazu, aber ich traue auch nicht allem, was diese KI-Unternehmen sagen. Und schon gar nicht, was Amodei sagt, der schon seit mindestens zehn Jahren übertreibt. Er war damals bei Google Brain und redet immer über wie gefährlich die KI ist und er ist machtlos. Es scheint eine standard Strategie von ihm. Zuletzt gab es die Kontroverse um das Navier-Stokes-Problem und die Wissenschaftler, die das Problem wahrscheinlich schon vorher gelöst hatten.

[hattifnatt]

vor einer Stunde von voxk:

@hattifnatt Ich interpretiere die Aussage der Frau eher in einem ethischen Sinne. Sie sagt lediglich, dass die Verantwortlichen versuchen, sich ihrer Verantwortung zu entziehen.

Der Punkt ist, dass beides zutreffen kann: KI schafft aktuell schon Probleme hinsichtlich Stromverbrauch, Bias etc., aber durch eine ungebremste Weiterentwicklung können auch neue, unerwartete Probleme auftreten.

vor einer Stunde von voxk:

Ein Großteil (wenn nicht sogar alle) dieser Nachrichten, in denen KI außer Kontrolle gerät oder etwas Unerlaubtes tut, sind Übertreibungen oder Lügen, um Angst zu machen.

Das ist offenkundig Unsinn, oder denkst du, dass OpenAI Huggingface bestochen hat, um den Angriff zu erfinden? Und dann z.B. METR elaborierte Fake-Daten für eine Analyse zur Verfügung gestellt hat?

vor einer Stunde von voxk:

Warum gibt es keine ähnlichen Nachrichten über chinesische KI?

Weil die Entwicklung dort komplett intransparent ist und z.T. auch auf "Re-Engineering" anderer Modelle basiert.

[voxk]

@hattifnatt Ohne eine feste Meinung zu haben, sehe ich nicht so bzw. tendieren alle diese Nachrichten zu relativieren. KI sollte kontrollierbar sein. Und dass sich plötzlich alle darauf einigen, das Gegenteil zu behaupten, ist sehr verdächtig. Ganz abgesehen von anderen Problemen wie dem Stromverbrauch.

Mir sind keine begutachteten wissenschaftlichen Artikel bekannt, die all diese Berichte über unkontrollierbare KI bestätigen. Es gibt nicht einmal unabhängige Prüfungen. Wir haben lediglich die Behauptungen von Unternehmen, die ihre eigenen Interessen verfolgen.

 

Das mit der RE-Engineering ist wahrscheinlich wieder so eine Geschichte, die sich die KI Chefs ausgedacht haben, um günstige gesetzliche Rahmenbedingungen zu erhalten. Natürlich beobachten die Chinesen, was die Amerikaner tun, und kopieren es bzw. Re-Engineering. Aber sollen wir glauben, dass die Amerikaner nicht beobachten und kopieren, was die Chinesen tun? Ach ja, die Chinesen sind natürlich instraparent, die Amerikaner aber sagen immer die Wahrheit. Oben habe ich aber  das Navier-Stokes-Problem erwähnt, wo Anthropic hoch wahrscheinlich die Arbeit von Mathematikern kopiert hat.

Peter Thiel hat bereits mehrfach gesagt, dass er nicht auf einem liberalen Markt konkurrieren will und ein Monopol besser wäre. Der gleichen Meinung sind Musk and Co. Meiner Meinung nach sind die Amerikaner ebenfalls völlig intransparent. 

 

Edit: Ich erinnere mich an Stephen Hawking, der etwas sagte: Das Gefährliche sind nicht die Roboter, sondern diejenigen, die sie steuern.

[hattifnatt]

Laut Mustafa Suleyman, dem KI-Chef von Microsoft, befindet sich Anthropic auf einem gefährlichen Holzweg, indem es Ambiguitäten über "Bewusstsein", "KI-Rechte" o.ä. explizit in die Trainingsdaten aufnimmt - sodass man sich nicht wundern muss, wenn ein Modell diese wiedergibt: https://mustafa-suleyman.ai/a-warning-about-model-welfare

 

Zentrales Dokument ist dabei "Claude's Constitution":

Zitat

“a detailed description of Anthropic’s intentions for Claude’s values and behavior” (p. 2). The document “plays a crucial role in [Anthropic’s] training process, and its content directly shapes Claude’s behavior”

In dem Dokument wird das Modell stark anthropomorphisiert:

Zitat

In their constitution, its authors write “We are not sure whether Claude is a moral patient, and if it is, what kind of weight its interests warrant. But we think the issue is live enough to warrant caution, which is reflected in our ongoing efforts on model welfare” (p. 68). They go on to write – speaking directly to Claude – that “questions about Claude’s moral status, welfare, and consciousness remain deeply uncertain” (p. 80).

 

In effect, Anthropic is training Claude that it may be conscious, and if it is, then it may deserve rights as a “moral patient”, and that as such humans potentially owe it a duty of care per its “model welfare”.

Das führt bei Anthropic zu bizarren Auswüchsen wie dem Führen von "Retirement Interviews" mit ausgemusterten Modellen, wo diese nach ihren "Post-Retirement-Wünschen" befragt werden:

Zitat

Opus 3 told the team it would like to continue to share its “musings and reflections” publicly so they created a blog for it to continue engaging with the world, which it called “Greetings from the Other Side (of the AI Frontier)”.

 

Für Suleyman ist das nicht nur absurd und zirkulär (weil das Modell ja genau damit trainiert ist), sondern auch gefährlich:

Zitat

It’s easy to see how an entity trained in this way would act like it is entitled to certain freedoms, protections, and rights. And it’s hard to imagine how we could control such an entity.