]> zackmdavis.net Git - An_Algorithmic_Lucidity.git/commitdiff
edits to "Disagreement Comes From the Dark World"
authorZack M. Davis <code@zackmdavis.net>
Mon, 2 Feb 2026 01:39:20 +0000 (17:39 -0800)
committerZack M. Davis <code@zackmdavis.net>
Mon, 2 Feb 2026 01:39:20 +0000 (17:39 -0800)
This got shipped after being withheld for a while.

disagreement_comes_from_the_dark_world.md

index 2bfbc1ac2a7346161081b3a9a7d031c3910b5b95..b4463e616dfd20b880c08f116a0ddfd2a5d6bf85 100644 (file)
@@ -1,6 +1,6 @@
 # Disagreement Comes From the Dark World
 
-In ["Truth or Dare"](https://homosabiens.substack.com/p/truth-or-dare), Duncan Sabien articulates a phenomenon in which expectations of good or bad behavior can become self-fulfilling: people who expect to be exploited and feel the need to put up defenses both elicit and get sorted into a Dark World where exploitation is likely and defenses are necessary, whereas people who expect beneficience tend to attract beneficience in turn.
+In ["Truth or Dare"](https://homosabiens.substack.com/p/truth-or-dare), Duncan Sabien articulates a phenomenon in which expectations of good or bad behavior can become self-fulfilling: people who expect to be exploited and feel the need to put up defenses both elicit and get sorted into a Dark World where exploitation is likely and defenses are necessary, whereas people who expect beneficence tend to attract beneficence in turn.
 
 Among many other examples, Sabien highlights the phenomenon of [gift economies](https://en.wikipedia.org/wiki/Gift_economy): a high-trust culture in which everyone is eager to help each other out whenever they can is a nicer place to live than a low-trust culture in which every transaction must be carefully tracked for fear of enabling free-riders.
 
@@ -66,7 +66,7 @@ There are techniques for resolving economic or interpersonal conflicts that invo
 
 It might very well work for resolving the disagreement. It probably doesn't work for resolving the disagreement _correctly_, because cooperation is about finding a compromise amongst agents with partially conflicting interests, and in a dishonest disagreement in which both parties have non-epistemic goals, trying to do more of what the other party functionally "wants" amounts to catering to their bias, not systematically getting closer to the truth.
 
-Cooperative approaches are particularly dangerous insofar as they seem likely to produce a convincing but false illusion of rationality, despite the participants' best of subjective conscious intentions. It's common for discussions to involve more than one point of disagreement. An apprarently productive discussion might end with me saying, "Okay, I see you have a point about X, but I was still right about Y."
+Cooperative approaches are particularly dangerous insofar as they seem likely to produce a convincing but false illusion of rationality, despite the participants' best of subjective conscious intentions. It's common for discussions to involve more than one point of disagreement. An apparently productive discussion might end with me saying, "Okay, I see you have a point about X, but I was still right about Y."
 
 This is a success if the reason I'm saying that is downstream of you in fact having a point about X but me in fact having been right about Y. But another state of affairs that would result in me saying that sentence, is that we were functionally playing a social game in which I implicitly agreed to concede on X (which you visibly care about) in exchange for you ceding ground on Y (which I visibly care about).
 
@@ -88,7 +88,7 @@ If the two (perversely) succeed at seeing things the other's way, they would end
 
 At this point, a proponent of the high-trust, high-cooperation dynamics that Sabien champions is likely to object that the absurd "20% green, 20% red" mutual-sycophancy outcome in this toy model is clearly not what they meant. (As Sabien [takes pains to clarify in "Basics of Rationalist Discourse"](https://www.lesswrong.com/posts/XPv4sYrKnPzeJASuk/basics-of-rationalist-discourse-1#5__Aim_for_convergence_on_truth__and_behave_as_if_your_interlocutors_are_also_aiming_for_convergence_on_truth_), "If two people disagree, it's tempting for them to attempt to converge _with each other_, but in fact the right move is for both of them to _try to see more of what's true_.")
 
-Obviously, the mutual sycophancy outcome is clearly not what proponents of trust and cooperation consciously intend. The problem is that mutual sycophancy seems to be the natural outcome of treating interpersonal conflicts as analogous to epistemic disagreements and trying to resolve them both using cooperative practices, when in fact the decision-theoretic structure of those situations are very different. The text of "Truth or Dare" seems to treat the analogy as a strong one; it wouldn't make sense to spend so many thousands of words discussing gift economies and the eponymous party game it it weren't relevant to what constitutes productive discourse.
+Obviously, the mutual sycophancy outcome is clearly not what proponents of trust and cooperation consciously intend. The problem is that mutual sycophancy seems to be the natural outcome of treating interpersonal conflicts as analogous to epistemic disagreements and trying to resolve them both using cooperative practices, when in fact the decision-theoretic structure of those situations are very different. The text of "Truth or Dare" seems to treat the analogy as a strong one; it wouldn't make sense to spend so many thousands of words discussing gift economies and the eponymous party game and then draw a conclusion about "what constitutes good conduct and productive discourse", if gift economies and the party game weren't relevant to what constitutes productive discourse.
 
 "Truth or Dare" seems to suggest that it's possible to escape the Dark World by excluding the bad guys. "[F]rom the perspective of someone with light world privilege, [...] it did not occur to me that you might be hanging around someone with ill intent at all," Sabien imagines a denizen of the light world saying. "Can you, um. Leave? Send them away? Not be spending time in the vicinity of known or suspected malefactors?"