¿Qué sistema de puntuación permite que los participantes de una prueba se juzguen entre sí sobre sus resultados y es efectivo para evitar un comité externo?

Por “Puntuación” Supongo que te refieres a “Pago”. Una puntuación más alta significa una mayor recompensa.
Cuando eliminas un árbitro, esto conduce a una gran colusión. Los resultados de cualquier prueba inevitablemente tenderían a que casi todos obtuvieran un puntaje del 100%. Incluso si la comunicación con otros participantes era limitada, la colusión todavía puede tener lugar en un nivel inferior. “Si te califico bien, me calificas bien, ¿de acuerdo?”
Esa sería la forma inteligente de abordar ese juego: mejoraría mi puntuación, por lo tanto, lo haré. Este es un supuesto común en la teoría de juegos: las personas son codiciosas.
Si, de hecho, Quora tratara de obtener la mayor cantidad de hits posible, entonces podría haber un poco de Quid Pro Quo. Menos mal que no lo es. : _)

La idea de crear un sistema mediante el cual todos se califiquen entre sí, y requerimos que los resultados sean precisos. No veo que eso sea factible sin una gran cantidad de decepciones y comunicación limitada entre los jugadores, pero para entonces, podría decirse que una figura externa está a cargo.

Supongo que se podría recompensar a alguien por descartar a alguien y se castiga a la persona que recibe el atentado, pero esto lleva a un dilema del prisionero, donde la respuesta estable siempre será que cada persona reta a la otra. Esto también puede llevar a resultados inexactos.
No creo que se pueda hacer con perfecta precisión, para ser honesto. Tal vez si la cantidad de jugadores fuera grande y la fuente de las respuestas fuera una multitud, pero la popularidad no implica precisión.