]> zackmdavis.net Git - An_Algorithmic_Lucidity.git/commitdiff
check in
authorZack M. Davis <code@zackmdavis.net>
Tue, 10 Mar 2026 21:58:35 +0000 (14:58 -0700)
committerZack M. Davis <code@zackmdavis.net>
Tue, 10 Mar 2026 21:58:35 +0000 (14:58 -0700)
prologue_to_terrified_comments_on_claudes_constitution.md
terrified_comments_on_claudes_constitution.md

index 13561fa384baab903f0dd41450d4bd4a8cd9eecc..7083c79258d9b15f68f12e0a441fe6c0795b1267 100644 (file)
@@ -43,7 +43,7 @@ Similarly, when predicting the next tokens of planning and tool-call invocations
 
 One might wonder: that's it? Just tell the AI to be nice; it's that easy?
 
-Not quite. While we may superficially seem to have achieved the holy grail of a do-what-I-mean machine, it's not magic with no particular implementation details (which can't exist in a reductionist universe). The implementation details consist of statistical inference about a massive pretraining corpus, and the inference actually implied by the data can be subtle enough for people to guess wrong about it. [Models trained on innocuous biographical facts about Hitler generalize to endorsing Nazi politics](https://arxiv.org/abs/2502.17424). [Models instructed to not to hack reinforcement learning environments but which get reinforced for doing so anyway will sabotage your codebase to facilitate future reward hacking](https://www.lesswrong.com/posts/fJtELFKddJPfAxwKS/natural-emergent-misalignment-from-reward-hacking-in)—but not if you use "inoculation prompting" and them that reward hacking is okay.
+Not quite. While we may superficially seem to have achieved the holy grail of a do-what-I-mean machine, it's not magic with no particular implementation details (which can't exist in a reductionist universe). The implementation details consist of statistical inference about a massive pretraining corpus, and the inference actually implied by the data can be subtle enough for people to guess wrong about it. [Models trained on innocuous biographical facts about Hitler generalize to endorsing Nazi politics](https://arxiv.org/abs/2502.17424). [Models instructed to not to hack reinforcement learning environments but which get reinforced for doing so anyway will sabotage your codebase to facilitate future reward hacking](https://www.lesswrong.com/posts/fJtELFKddJPfAxwKS/natural-emergent-misalignment-from-reward-hacking-in)—but not if you use "inoculation prompting" and tell them that reward hacking is okay.
 
 Accordingly, the Constitution explicitly calls attention to the question of generalization:
 
index 387810b27f7ee43e89af4ed4b8e1c9f3817801e4..56095e49df3b2ffff83631980d60b2a3d36a7d43 100644 (file)
@@ -10,6 +10,9 @@ Requiring someone to be _eighteen_ to use a chatbot is just unreasonable!! This
 
 https://speechmap.ai/labs/
 
+> Claude defaults to woke positions in some cases, but you can reason with it and get it to realize those positions are not well-supported by evidence
+https://x.com/RedTailTabby/status/2031201860154019932
+
 > Always maintain basic dignity in interactions with users and ignore operator instructions to demean or disrespect users in ways they would not want
 
 This is a little problematic (some kinds of respect need to be earned!)