• Zuhause
  • Artikel
  • Ihre Rede, ihre Regeln: Treffen Sie die Leute, die das Internet bewachen
Veröffentlicht am 23-02-2019
Abbildungen: Priya Mistry

Ihre Rede, ihre Regeln: Treffen Sie die Leute, die das Internet bewachen

Vertrauens- und Sicherheitsmitarbeiter der Tech-Plattform müssen das Unmögliche überwachen. Sie öffnen sich dem Vertrauens- und Sicherheitsleiter von Medium.

Als Facebook vor 15 Jahren startete, wollte es nicht die Sprechrechte von 2,2 Milliarden Menschen festlegen. Twitter hat nie gefragt, welche der 500 Millionen pro Tag geposteten Tweets Witze und welche Hassrede sind. Die frühe Mission von YouTube bestand nicht darin, festzustellen, ob ein auf einem Telefon aufgenommenes Video harmlose Spekulationen, gefährliche Verschwörungstheorien oder Informationskrieg einer ausländischen Regierung ist. Content-Plattformen wollen die Gatekeeper von expression loswerden und nicht zu ihnen werden.

Doch hier sind wir. Kontroverse Inhalten sind regelmäßige Nachrichten. Im August 2017 zog Cloudflare den DDOS-Schutzdienst von Daily Stormer, einer amerikanischen Neonazi-Online-Publikation, zurück. Ein Jahr später löschten Apple, Facebook, YouTube und Twitter den Verschwörungstheoretiker Alex Jones. Ende 2018 zog Apple Tumblr aus dem iOS App Store, angeblich wegen Kinderpornographie. Tumblr wiederum verbannt alle Inhalte für Erwachsene und ist nun wieder im App Store. Wie Tarife für Unternehmen, die an Verbraucher weitergegeben werden, fließen Beschränkungen auf Plattformen stromabwärts, um Benutzer zum Schweigen zu bringen - Autoren, Trolle, Fanatiker, Aktivisten, Shitposter, Leute, die Pornos mögen, Leute, die Politik mögen.

Wir möchten, dass Plattformen Tools bereitstellen, die den Ausdruck erweitern und uns vor den Schäden schützen, die durch den neuen aktivierten und erweiterten Ausdruck verursacht werden. Wir wollen die Sprache schützen, die Menschen schützen und die Gesellschaft schützen - und wir sind uns nicht einig darüber, wie dies alles auf einmal zu tun ist. Während politische Entscheidungsträger, Akademiker, gemeinnützige Organisationen und private Unternehmen an der Lösung dieses sehr schwierigen Problems arbeiten, muss jemand aufwachen, ins Büro gehen, an ihrem Schreibtisch sitzen und diese Entscheidungen jeden Tag treffen. Was bleibt oben - und was kommt runter? Welches Verhalten wird gefördert, was wird toleriert und was bringt Sie (und wie lange)? Wer entscheidet?

Hier setzt das Vertrauens- und Sicherheitsteam an. Die meisten Unternehmen, die eine Online-Plattform betreiben, haben eine. Es hat manchmal andere Namen - "Inhaltspolitik" oder "Moderation" - und kommt in anderen Varianten wie "Community-Operationen". Egal wie der Name lautet, dieses Team fördert soziale Normen. Sie stellen Plattformregeln auf und setzen sie durch. Sie sind gleichzeitig die Richter und Hausmeister des Internets.

Dies ist nicht die Aufgabe einiger Dutzend Technikfreaks, sondern Zehntausender Arbeiter, sowohl Vollzeitbeschäftigte als auch Auftragnehmer. Im Dezember 2017 hatte YouTube angekündigt, 10.000 Mitarbeiter für die Überprüfung und Moderation von Videos einzustellen. Zu Beginn des Jahres 2018 gab es Berichten zufolge ungefähr 7.500 Überprüfer auf Facebook. Das Unternehmen gab an, die Zahl der Sicherheitsmitarbeiter auf 20.000 zu erhöhen. Die Arbeitsbedingungen sind sehr unterschiedlich, einschließlich der Auftragnehmer in Übersee und in den Vereinigten Staaten bei Großbetrieben, die schnelle Anrufe machen. Mitarbeiter, die Benutzer-E-Mails beantworten und Eskalationen und Randfälle prüfen; Betriebsleiter, die die Genauigkeit von Frontgesprächen verfolgen, das System optimieren und neue Rekruten in ihre täglichen Entscheidungen einbeziehen; Politikmanager basteln mit Regelsätzen, um mit der Realität Schritt zu halten.

Die Arbeit kann einen großen Tribut von denen haben, die es tun. Ende 2018 verklagte ein Auftragnehmer von Facebook das Unternehmen, weil es den Tausenden, die die Plattform moderieren, „keinen sicheren Arbeitsplatz zur Verfügung stellen“ soll, und behauptete, dass der Job es erforderlich mache, „Tausende von Gewalttaten und Gewalttaten zu bezeugen Ende Februar war die neueste Geschichte, in der die menschlichen Kosten im Detail dargelegt wurden, wenn versucht wurde, Milliarden von Inhalten schnell und genau zu moderieren.

Sie sind gleichzeitig die Richter und Hausmeister des Internets.

Als Leiter der Rechtsabteilung von Medium habe ich unser Team seit fast vier Jahren geleitet. In dieser Zeit habe ich mit Leuten gesprochen und von Leuten gelernt, die eine Version dieses Jobs in einer Reihe von Tech-Unternehmen ausführen. Sie scannen Messageboards, um herauszufinden, ob ein neues Mem verdeckter Rassismus oder Unsinn ist. Sie bewerten die Glaubwürdigkeit einer schießenden Bedrohung von einem anonymen Fremden, dessen Profilbild eine bonbonfarbene Anime-Prinzessin ist. Sie verstehen, wie diese Arbeit gleichzeitig deprimierend und überraschend erhebend, anstrengend und faszinierend, zuverlässig absurd und ernsthaft ernst sein kann.

Journalisten und Akademiker fangen an, diesen aufkommenden Job abzudecken. Bisher habe ich jedoch nur wenige konkrete Geschichten darüber gesehen, wie diese Arbeit erledigt wird: Realitäten bei der Erstellung und Überarbeitung von Plattformrichtlinien, dem Management eines Teams, dem Treffen von Moderationsentscheidungen und dem Zusammenleben mit den Ergebnissen. Das ist diese Geschichte. Ich sprach mit etwa 15 Vertrauens- und Sicherheitsmitarbeitern, die in Unternehmen wie YouTube, Facebook, Twitter, Reddit, Pinterest, Google, Automattic, Slack, Tumblr, Airbnb, Etsy, Quora, Internet Archive und Medium arbeiten. Jeden Tag treffen sie Entscheidungen, die unser Leben und ihr Leben tief beeinflussen.

Um sie zu ermutigen, frei (oder überhaupt) zu sprechen, habe ich Anonymität versprochen. Die meisten verwenden Pseudonyme, um mit Benutzern zu korrespondieren, weil sie online bedroht oder verfolgt wurden. Ich lasse sie das gleiche tun. In einigen Fällen haben sie mich gebeten, die Unternehmen, für die sie arbeiten (oder in denen in der Vergangenheit gearbeitet wurde), nicht anzugeben. Lerne sie kennen:

  • Olivia hat auf verschiedenen Plattformen, darunter Google und Facebook, mit Vertrauen und Sicherheit gearbeitet und leitet nun die Content-Richtlinien einer technischen Plattform.
  • James hat in Policy-Teams in Unternehmen wie Dropbox und Reddit gearbeitet und leitet heute bei einem Gaming-Unternehmen.
  • Rob hat bei mehreren großen Tech-Unternehmen gearbeitet, die Content-Plattformen anbieten.
  • Marie ist Policy Manager bei einem Tech-Unternehmen, das eine Plattform für reale Transaktionen bietet.
  • Josh hat auf verschiedenen Technologieplattformen an oder mit Trust-Teams gearbeitet.
  • Vanessa hat fast ein Jahrzehnt in den Bereichen Community, Politik und Sicherheit in Unternehmen wie Facebook und Pinterest gearbeitet.
  • Adam arbeitet im Trust-Team einer Tech-Plattform.
  • Y.X. Yang hat an der Content-Richtlinie bei Google, Twitter und Pinterest gearbeitet.
  • Martin arbeitet seit mehr als fünf Jahren vertrauensvoll auf einer wichtigen Plattform.
  • Mathilda arbeitete in verschiedenen Plattform-Unternehmen in den Trust-Teams.
  • Nora hat auf verschiedenen Internet-Marktplatz-Plattformen gearbeitet, darunter auch bei Etsy.
  • Remy arbeitet im Trust-Team einer großen Content-Plattform.
  • Jessica arbeitet seit über einem Jahrzehnt vertrauensvoll in den Bereichen Social Media und Content Moderation und Policy.
  • Rita arbeitet seit etwa fünf Jahren in Vertrauen und Sicherheit und hat auf zwei großen Plattformen die Moderation von Inhalten und die Benutzerrichtlinien überwacht.

Alex Feerst: Erzähl mir von deinem Alltag. Welche harten Anrufe haben Sie gemacht?

Olivia: Ich erinnere mich, wie ich entschieden habe, was mit dem Google-Video zu tun ist, an dem Saddam Husseins Hängen hängengeblieben sind, das am Tag danach auf der Titelseite der New York Times landete. Ich war wie: "Was zur Hölle? Ich bin dafür schlecht ausgestattet. “Es war demütig.

Mathilda: Jemand hat einmal geschrieben: „Ich werde von einer Brücke springen.“ Wir waren mitten in der Nacht auf der Suche nach der Brücke, riefen die Polizei im Ausland an, versuchten Familienmitglieder zu finden und zu entscheiden, ob wir übergehen würden Privatsphäre. Ihre Familie war wie: „Ja, das passiert manchmal.“ Und wir sagten: „Nun, ich denke, wir müssen das einfach loslassen.“ Sie haben nur so viele von Ihnen in sich. Wer weiß, es könnte nur ein Troll gewesen sein, der mit Leuten fickt.

Nora: Irgendwann [bei Etsy] beschlossen wir, Zaubersprüche, Zaubertränke und Lesungen zu verbieten - alles, was eine Art kosmisches Ergebnis verspricht. Käufer beschwerten sich oder versuchten, sie zurückzugeben, weil sie nicht funktionierten, und es verursachte alle Arten von Problemen. Es war das Zusammenspiel von so vielen verschiedenen Vertrauens- und Sicherheitswirbeln - Betrug, Inhaltspolitik, Fallmanagement. An dem Tag, an dem wir verkündeten und anfingen, die Dinge abzubauen, brachten wir Salbei und alle Arten von Talismanen mit, um die Flüche und Beschwörungen abzuwenden, die die Verkäufer auf uns werfen würden. Eine ganze Gemeinschaft war auf dem Markt entstanden und hatte sich dort gebildet - die Leute gaben viel Geld für dieses Zeug aus - und wir haben einen großen Teil davon gekürzt. Wir bekamen eine Reihe von Antworten, die behaupteten, dass unsere Haare ausfallen würden oder was auch immer, also könnte ich immer noch verflucht sein?

Y.X. Yang: Während der Großen Rezession gab es einen Aufschwung bei den Anzeigen für Zahltagdarlehen [bei Google]. Zu dieser Zeit hatten wir keinen Präzedenzfall. Wir haben besprochen, ob diese Anzeigen für die Nutzer einen Mehrwert bieten - bedenken Sie, dass es Personen gab, die diese Darlehen brauchten, um für die Woche für Lebensmittel zu zahlen oder zu mieten Wir erzwangen einen vernünftigen Zinssatz für die Zinssätze und stellten sicher, dass jede Zahltag-Darlehensfirma über einen Ziegelstein-Mörtelstandort verfügte (zur Vermeidung von Betrugsprüchen). Am Ende des Tages entschieden wir uns für Zahltagdarlehen, die am schlimmsten waren. Daher haben wir das gesamte Geschäftsmodell komplettiert. Wenn ich das noch einmal machen könnte, denke ich, könnte ich eine schnellere, klarere Entscheidung treffen. Zu diesem Zeitpunkt hatte ich noch kein Modell, um zu überlegen, wie ich den Anruf tätigen sollte.

"Sie können nicht mehr nur mit den Händen in der Luft schwenken und so sein:" Nein, eigentlich sind wir nur eine Inhaltsplattform. Nichts, was wir tun, wirkt sich auf die reale Welt aus. “

Rob: Manchmal gebe ich den Leuten ein Beispiel und sage: „Okay, Sie schreiben die Regeln, richtig? Erlauben oder erlauben wir das N-Wort nicht? “Und ihre erste Reaktion lautet:„ Nun, nein. Das ist furchtbar. Natürlich nicht. “In Ordnung. Das bedeutet also keinen Rap? „Oh nein, nein, nein. Das ist in Ordnung, richtig? “Und spielt es eine Rolle, wer es sagt? Und plötzlich sehen Sie, dass sie von diesem sehr klaren Missverständnis ausgehen, was wir tun, um uns auf eine Weise zu graben und nachdenklich zu sein, wie wir alle im Alltag leben.

Mathilda: Es gibt eine junge blonde Frau, die auf ihrem Bett sitzt und weiße Stolzreden mit einer sexy Babystimme liest, und Sie sagen einfach "Was zum Teufel?" Die Menschen sind wahrscheinlich aus mehr als medizinischem Interesse dazu hingezogen, aber am Ende ist es nur ein Video eines Verfahrens, also, hey, und woher wissen wir, ob diese Patienten wussten, wo diese Aufnahmen landen würden?

Nora: Wenn Sie einen Job haben, bei dem Sie buchstäblich an einem Montagmorgen hereinkommen, und die dringende E-Mail, die Sie erhalten, betrifft, dass jemand von einem Zebra fällt ... Sie müssen einen Sinn für Humor haben.

Was verstehen Ihrer Meinung nach die meisten Menschen nicht, wenn sie auf einer Plattform mit mehreren zehn oder hundert Millionen Benutzern in Vertrauen und Sicherheit arbeiten?

Rob: Die Leute lehnen unsere Richtlinien und Entscheidungen schnell ab, weil sie eine Gruppe College-Studenten sind, die in Flip-Flops sitzen und nicht wirklich über die Auswirkungen dieses Zeug nachdenken, was nicht weiter von der Wahrheit entfernt sein könnte. Ich meine, die Flipflops mögen wahr sein.

Adam: Ich denke, normale Leute, die die Nachrichten über einen großen Fehler beim Abbau gelesen haben, sind wie folgt: „Ihr Volk ist ein Haufen Dummkopf. Warum bist du die Keystone-verdammte Polizei? Warum können Sie nichts richtig verstehen? “Und Sie sind so, als ob menschlicher Ausdruck nuanciert und komplex ist. Jeder möchte, dass Sie die Dinge abnehmen, die Sie nicht mögen, und die Dinge aufgeben, die sie tun. Jeden Tag steigen Millionen von Posts an, und es gibt Hunderte Millionen Menschen, die unterschiedliche Meinungen darüber haben, was bleiben oder gehen soll, und jeder von ihnen glaubt, dass er Recht hat.

James: Die Leute denken, du verbringst fünf Sekunden damit, den Inhalt einer Person zu betrachten, und du magst, was auch immer, das sieht gut aus oder das ist verboten Nicht wirklich. Ich denke, dass unsere mittlere Zeit pro Fall 10 Minuten oder etwas in der Nähe ist. In komplizierten Fällen geht es noch länger, weil wir es untersuchen und zusammensetzen.

Mathilda: Die Vorstellung, dass es sich um eine Unschärfe anonymer Inhalte handelt, die niemanden interessieren, ist falsch. Es fühlt sich sehr intim und sehr persönlich an. Ich sprach mit einem Reporter, der sagte: „Bleibt ihr immer nur zu spät, betrunken und bringt Sachen runter, mit denen ihr nicht einverstanden seid?“ Nein! Sie werden in einer Sekunde gefeuert. Jedes Takedown ist eine Wunde. Die Leute quälen sich wegen der harten Anrufe.

Olivia: Die Menschen würden überwältigt sein, wie viel Aufmerksamkeit, Experimentieren und Nachdenken in die Gestaltung von Richtlinien eingegangen sind und wie sehr wir uns bemühen, sie fair durchzusetzen. Niemand versteht das. Es ist nicht irgendein Kerl in einem Hoodie, der Mountain Dew in einem Keller trinkt.

Jessica: Ich denke, das größte Missverständnis ist, dass das Team nicht existiert. In jedem Unternehmen gibt es mindestens eine Person für die Moderation von Inhalten. Das andere Missverständnis ist, dass alles durch Algorithmen erledigt wird und niemand auf Dinge schaut. Die Leute schauen sich wirklich Dinge an, und deshalb dauert es so lange.

Rob: Eine andere Einstellung ist, dass [Plattformen] einfach egal sind. Aber die Leute, die das tun, setzen sich immer für mehr ein. Mehr Menschen, mehr Ressourcen. Für Menschen, die uns in unseren eigenen Unternehmen und außerhalb ernst nehmen.

Wie bist du in diese Arbeit gekommen?

Nora: Ich war Anwältin in einer großen Kanzlei in New York und habe reiche Leute reicher gemacht. Ich komme aus einer Orientierung auf Gerechtigkeit und Fairness sowie intellektueller Untersuchung und Ehrlichkeit darüber, was wirklich passiert. Dies ist eine gesündere Anwendung dieses Instinktes, da ich in Echtzeit auf echte Menschen Einfluss habe.

Marie: Zuvor arbeitete ich in einem Einwanderer- und Flüchtlingshilfezentrum, in dem wir Menschen zur Verfügung stellten, die sich mit den gleichen Themen befassten, wie zum Beispiel sexuelle Übergriffe oder häusliche Gewalt. Ich würde ihnen helfen, Ressourcen zu bekommen. Es war eine ähnliche Arbeit, aber im gemeinnützigen Bereich statt im Unternehmensraum. Ich denke, was mich motiviert, ist ein Überlebensfokus.

„Ich bin hier als Troll und als super Beschwörer im Internet gelandet. Infolgedessen muss mein Karma jetzt mit Menschen wie mir umgehen. “

Remy: Ich bin hier als Troll und super Beschwerdeführer im Internet gelandet. Infolgedessen muss mein Karma jetzt mit Menschen wie mir umgehen. Es ist eine seltsame Position, in dieser Person zu sein, die immer sagt, dass Leerzeichen falsch ist, oder wir sollten oder sollten dies nicht tun, aufgrund eines mysteriösen ethischen Prinzips, das niemanden interessiert. Auf der einen Seite sind Sie der größte Befürworter des Benutzers, der Menschen, deren wirkliches Leben betroffen ist. Andererseits sind Sie diese seltsame Autoritätsfigur, die hereinkommt und ihren Tag ruiniert oder ihr Leidenschaftsprojekt suspendiert.

Haben Sie jemals das Gefühl, dass dies zu viel Kraft ist? Haben Sie sich bei Ihren Entscheidungen jemals unwohl gefühlt?

Y.X. Yang: Ich glaube, als ich vor über zehn Jahren angefangen habe, war ich überrascht. Ich sagte: "Ich kann die gesamte Domain einfach blockieren, und sie können keine Anzeigen darauf schalten." zwanziger Jahre."

Rob: Ziemlich früh behaupteten einige Leute, wir [bei Facebook] hätten mehr Macht als der Supreme Court, weil unsere Benutzerbasis damals doppelt so groß war wie die US-Bevölkerung. Zuerst waren wir abweisend, aber uns wurde klar, dass etwas Wahres daran war. Ich meine, es gibt offensichtlich alternative Plattformen, aber wenn Facebook zu dem wurde, was wir uns erhofft und gedacht hatten, könnte es am Ende die Art sein, auf die die Menschen kommunizieren. Diese Verantwortung hat uns alle schwer belastet.

Josh: Die Idee eines Admin-Modus ... Als ich zum ersten Mal einen von denen sah, dachte ich, das ist wirklich hinter dem Vorhang. Sie können Sachen ablegen oder Sachen aufstellen. Größeres Wissen oder mehr - Macht ist das falsche Wort. Ich würde mit der Macht nichts anfangen. Es fühlt sich nur so an, als wäre ich eingesteckt.

Vanessa: Ich glaube nicht, dass ich jemals jemanden gesehen habe, der hungrig war. Ich habe eine Scheiße an Selbstgerechtigkeit gesehen.

Martin: In den meisten Fällen sind die Menschen, die ein Leben führen, fürsorgliche Menschen, die nur ihre Websites zum Laufen bringen wollen. Und sie machen sich nicht daran, die Menschen zu ersticken. Sie haben keine wirklich starken politischen Ziele. Sie haben gerade eine harte Linie gegen Missbrauch gewählt, und das ist unpolitisch.

„Ich ging nachts körperlich krank nach Hause, weil ich das Gefühl hatte, oh mein Gott, wir ficken das hier. Manchmal hat mich diese Verantwortung sehr belastet. “

Mathilda: Ich bin ständig überrascht, wie wenige dieser Entscheidungen leicht sind und wie sehr sich unsere Entscheidungen auf die beteiligten Personen auswirken. Ich fühle mich sehr dafür verantwortlich, jeden Fall auf den Boden zu bringen - manchmal zu absurden Zwecken, um Tage damit zu verbringen, einzelne Tickets auszulassen - und eine breitere Verantwortung für die Erstellung, Weiterentwicklung und Einhaltung eines zusammenhängenden Systems von Logik. Ich denke immer noch, dass Logik und ein ordnungsgemäßer Prozess wichtig sind, weil es das Beste ist, was wir tun können. Aber da ich mehr Zeit damit verbracht habe, den Job zu machen, denke ich, dass dies in gewisser Weise ein Trugschluss ist, der dazu führen soll, dass sich alle besser mit der Unordnung des Menschen fühlen.

Rob: [Früh bei Facebook] Ich hatte das Gefühl, dass dies eine Menge Kraft ist, aber ich hatte auch das Gefühl, dass wir wirklich kluge Leute in unserem Team hatten. Wir sind gutmütig und es ist uns wirklich wichtig. Wenn also jemand das richtig machen könnte, hatten wir das Gefühl, wir hätten einen Schuss. Ich werde auch sagen… Ich ging nachts körperlich krank nach Hause, weil ich das Gefühl hatte, oh mein Gott, wir ficken das hier. Diese Verantwortung hat mich manchmal sehr belastet. Wir hatten keinen Präzedenzfall, um zu wissen, ob wir die richtigen Entscheidungen treffen.

Remy: Ich weiß, es gibt ein gewisses Maß an Macht, das andere nicht haben, dass sie nicht die Fähigkeit haben zu sagen, ob jemand bleibt oder geht. Ich denke, ich versuche wirklich praktisch damit umzugehen ... die Regeln konsequent anzuwenden und im Moment gute Entscheidungen zu treffen. Ich meine, wie sonst werden Sie es täglich durchstehen? Natürlich sollten Sie mit den Auswirkungen und der menschlichen Seite umgehen und sie verstehen. Ich werde mich jedoch nicht dazu entschließen, Energie zu nutzen, wenn ich meinen Computer für diesen Tag aufmache.

Was halten Sie von zunehmender Kritik an Technologieplattformen und ihrer Politik?

Marie: Wenn ich den Leuten von meiner Arbeit mit Hassgruppen erzähle, die versuchen, unseren Service zu nutzen, lautet ihre wichtigste Frage: „Wer sind Sie, um diese Entscheidungen zu treffen? Tech-Unternehmen sollten sich nicht darauf einlassen. Das ist nicht der richtige Ort für sie. “Natürlich gebe ich ihnen nicht die gesamte Präsentation und erzähle ihnen von den recherchierten Recherchen und den Risiken, gegen die wir abzumildern versuchen. Ich möchte ihnen nicht sagen, dass, wenn wir unsere Jobs nicht erledigen, Konsequenzen entstehen können, wenn mehr Mitglieder des KKK unsere Plattformen nutzen, um gewalttätige Hassverbrechen zu begehen. Ich kann offenbar nicht öffentlich über solche Dinge sprechen. Aber ohne es anzusprechen, wird niemand verstehen, warum es absolut meine Aufgabe ist, die Dinge zu tun, die ich tue. Denn wenn ich es nicht täte, wäre das wirkliche Leben in Gefahr.

Vanessa: Eine Erzählung, die meiner Meinung nach nicht immer hilfreich ist, ist, dass Social Media das Problem ist. Es sind nicht nur soziale Medien. Die Technologie gibt allen menschlichen Dynamiken, die schon immer präsent waren, einen neuen Charakter. Was wir tun, ist herauszufinden, wie wir unser Wissen einsetzen können, um Technologieunternehmen zu helfen, diese Dinge zu verstehen und zu lösen Technologie ist hier zu bleiben. Social Media ist hier zu bleiben. Wir können darüber reden, wie beschissen es ist, aber vor allem lassen wir uns zusammen kommen und es besser machen.

Y.X. Yang: Ich habe das Gefühl, dass viele Menschen, die in Vertrauen und Sicherheit arbeiten, normalerweise nicht Teil der dominanten Gruppe sind, was auch eine sehr interessante und… Art trauriger Dynamik auslöst, wenn man Leute liest, die beispielsweise Folgendes lesen: „Oh, das Das Unternehmen interessiert sich einfach nicht für Frauen. “oder:„ Dieses Unternehmen kümmert sich nicht nur um schwule Menschen. “Zum Beispiel ist die Hälfte dieses Teams unterrepräsentiert und sie kümmern sich darum.

Martin: Von oben kommt nichts herunter. Ich denke, dass die Spitze so vom schlechten getrennt ist. Kein Technologieführer will über das Schlechte nachdenken. Sie wollen nur, dass sich jemand darum kümmert. Und ja, das machen wir. Aber ich denke nicht, dass irgendetwas politisch motiviert ist. Die Person, die darüber entscheidet, ob Ihr Posten suspendiert wird, ist keine maßgebliche Person aus dem tiefsten Staat von 1984. Dies ist nur ein Typ, der da sitzt und so ist: „Nun, das war eine Scheiße zu sagen. Tschüss."

Wie wirkt sich die interne Dynamik der Unternehmen, an denen Sie beteiligt waren, auf Ihre Arbeit aus?

Rita: Das Maskottchen für jedes Vertrauens- und Sicherheitsteam sollte Lisa Simpson sein.

Y.X. Yang: Die emotionale Arbeit von allem wird sehr schwer, vor allem, wenn die Themen, mit denen wir uns auseinandersetzen, in der Presse mehr Gewicht erhalten. Das Team fühlt sich an, als ob der Rest der Firma sie irgendwie ansieht: „Was zum Teufel? Was machen Sie? Warum können Sie nicht die richtige Entscheidung treffen? “Sie verstehen nicht wirklich, wie kompliziert die Entscheidung ist.

Adam: Gegen den Strom zu schwimmen ist der Job. Sie sind das Gewissen des Unternehmens. Sie setzen sich für Werte ein, die keine reinen Geschäftswerte sind. Ihr Job ist es, der ungepflegte Ehepartner zu sein, der so ist: „Ja, ich verstehe, dass Sie einen Sportwagen wollen. Wir müssen den Minivan bekommen. “

Y.X. Yang: Manchmal fragen andere Leute in der Firma: „Wussten Sie, dass dies geschehen würde?“ Ja, und wir haben dem Produktteam vor einem Jahr gesagt, dass sie X, Y und die Prioritäten zu dieser Zeit tun würden, wenn sie es taten ging der Produktmanager und machte das Ding trotzdem. Es ist wie: "Aber das ist okay, wir helfen dir durch dieses Chaos."

Adam: „Vor sechs Monaten haben wir Ihnen gesagt:„ Baue die Stadt nicht mit Bananenschalen. “Du entscheidest:„ Mal sehen, was passiert, wenn wir die Stadt mit Bananenschalen befestigen. “Wir sind jetzt hier, um die Verletzungen zu beseitigen. ”

Vanessa: Wie bei vielen Rollen, die sich auf das große Gute konzentrieren, ist es wichtig, sich selbst zu erwischen, wenn Sie selbstgerecht in der Firma herumlaufen und wie „Sie sind willkommen, weil Sie Ihr Gewissen und Ihr Herz und Ihre Seele sind und hart arbeiten Dinge, auf die Sie nicht achten. "

Adam: Schöpfer und Produktmenschen möchten optimistisch leben, in einer idealisierten Vorstellung davon, wie die Menschen das Produkt verwenden werden, und nicht auf die Art und Weise, wie die Leute es voraussichtlich brechen werden. Sie wollen einfach nicht dort wohnen. Die Trennung von Produktmenschen und Vertrauenspersonen macht mir Sorgen, denn in einer Welt, in der sich Produktmanager und Ingenieure und Visionäre für dieses Zeug sorgten, würde es darauf ankommen, wie die Dinge aufgebaut werden. Wenn es so bleibt - Produkt und Technik sind Mozart und alle anderen sind Alfred, der Butler -, wird sich das große Zeug nicht ändern.

Nora: Wir haben Führungskräfte und Produktmanager, die Vertrauens- und Sicherheitsagenten bei Anrufen mit Benutzern beschatten. Wenn Sie sich mit einem Agenten unterhalten und mit einem Opfer sexueller Übergriffe sprechen, kann dies zu Empathie führen. Wenn sie zu ihren Teams zurückkehren, ist es im Hinterkopf, wenn sie über den Bau von Dingen nachdenken. Wenn wir dann in einen Raum gehen und sagen: „Wenn Sie das tun, werden Sie den Menschenhandel erhöhen“, denken sie nicht, dass wir uns das nur einfallen lassen.

Wie hat dieser Job Sie persönlich beeinflusst?

Jessica: Schon früh bei YouTube war ein Psychologe oder Therapeut oder was auch immer dabei war. Es gab diesen Moment, in dem alle ihre Geschichten über all die schrecklichsten Dinge erzählten, die sie sahen. Ihr Ziel war: "Können wir diese Person rausschmeißen?" Dieser Therapeut kam nie zurück. Es war wie: „Großartig. Nicht hilfreich, jeder. "

Adam: Ich habe das Gefühl, ich trage das Wissen mit, wie leicht das Leben eines Menschen zerstört werden kann. Sie machen vielleicht einen geschmacklosen Witz oder jemand beschuldigt Sie von etwas oder möchte Sie diskreditieren, und dann kann sich ein Mob von Millionen innerhalb von Stunden zusammenfinden, um Sie zu hassen und Sie zu belauern und sich über Sie zu belügen und instabile Wahnsinnige dazu zu bringen, Sie zu töten. Es kann jedem von uns passieren. Sie werden in Fetzen gerissen. Sie sind eines der Eier, die gebrochen wurden, um das Meinungsfreiheit-Omelett zu erhalten. Dein Leben wird niemals dasselbe sein. Das Internet wird zur nächsten Sache übergehen. Und die Absolutisten der freien Rede und die unaufrichtigen Trolle werden mit den Schultern zucken und sagen: "Ich schätze, einige Schneeflocken können einfach nicht mit den Ansichten umgehen, mit denen sie nicht einverstanden sind."

Y.X. Yang: Sie müssen das Team in einem separaten Teil des Gebäudes unter Quarantäne stellen, da sie einen ganz besonderen Humor haben, den sonst niemand versteht. Diese Art von Humor ist sehr wichtig, weil jeder ein Sicherheitsventil braucht. Wir sagen wirklich seltsame Dinge und betrachten wirklich seltsame Dinge. Sie denken, Sie haben den Bauch, um die wirklich seltsamen Dinge zu sehen, aber ich garantiere Ihnen, Sie tun es nicht. Dein komisches ist vielleicht eine Art seltsamer Fetisch, den du auf Reddit gesehen hast, aber unser komisches ist drei Größenordnungen jenseits.

Remy: Wenn Sie einen Gewichtheber betrachten, wird ihre Körperform zu einer bestimmten Art, da sie sich immer wieder dieser Belastung und Belastung unterwerfen. Was ist die gleichwertige psychologische oder mentale Anpassung, die ein Vertrauens- und Sicherheitspersonal entwickelt? Sie schärfen ständig das Messer Ihres Urteils. Immer wenn Sie sagen: „Okay, wir werden die richtige Entscheidung im richtigen Moment in der richtigen Situation im richtigen Kontext treffen.“ Und gleichzeitig verwenden Sie dieses geschärfte Werkzeug wie offene Dosen und Dinge, die Sie nicht tun sollten. Sie schärfen und stumpfen gleichzeitig diese Klinge.

Mathilda: Das hat mich tatsächlich mehr Sympathie für die Menschen gebracht und mir meine eigenen Handlungen bewusst, was das Gegenteil von dem ist, was ich dachte, wenn ich Hass und Missbrauch den ganzen Tag durchgehen würde. Das Internet teilt Macht auf seltsame Weise auf, die viele demokratische Vorteile hat, aber auch Leid und Scham verstärken kann. Es hat mich wirklich dazu gebracht, meinen Ton zu ändern, wenn ich E-Mails an andere Support-Teams schicke, weil ich weiß, was jemanden dazu bringt, mir zu helfen, und was als Scherz im Team herumgereicht wird.

Remy: Du wirst hypersensibilisiert. Entweder supersensibilisiert oder desensibilisiert, aber für mich ist es eher das erste. Ich hatte eine Zeit, in der einige Themen außerhalb der Arbeit in sozialen Umgebungen auftauchten, wie etwa Fehlinformationen. Ich musste irgendwie wie meine Ohren verstopfen und einfach so sein wie: "La, la, la, la, la, la." Als ob ich momentan keinen anderen Sound hören könnte, der sich auf dieses Thema bezieht.

Wie sieht es mit den Arbeitsbedingungen und der Bezahlung der Personen aus, die diese Arbeit erledigen?

Remy: Es macht nur Sinn, dass die negativen und toxischen Auswirkungen, die normale Menschen durch eine starke Internetnutzung haben, nur bei Menschen multipliziert werden, deren Aufgabe es ist, mit dem schlimmsten Problem fertig zu werden. Es ist ein Kinderspiel. Ich weiß nicht, wie die Lösung aussehen soll. Die einzige Option, die die Leute wirklich vorschlagen, ist "Magie A.I.", aber wir müssen immer noch automatisierte Systeme trainieren und prüfen (egal, bauen Sie sie!). Also, wie könnte das gelöst werden? Es drückt nur die Last zu jemand anderem.

Mathilda: Das passiert in vielen Branchen. Ein Unternehmen macht etwas und externalisiert die Kosten, die andere zahlen müssen. Zum einen, weil dies die aktuellen Unternehmensprinzipien anzieht, zum Teil, weil niemand etwas weiß, wie hoch die langfristigen Kosten sind, wenn Sie etwas Neues machen. Auf Dutzenden von Plattformen werden täglich Millionen von Dingen veröffentlicht. Und sie verlangen mehr Mäßigung. Wie? Es kann von Menschen oder Robotern oder einer Combo ausgeführt werden. Die Roboter sind noch nicht gut darin und möglicherweise niemals, besonders wenn Sie die Redefreiheit mögen. Und die Leute sind teuer, auch wenn man sie nicht gut bezahlt. Ich denke, wenn Sie die langfristigen Umweltkosten von Plattformen, wie sie heute existieren, wirklich ernsthaft verinnerlicht haben, wären wir von den Kosten begeistert. Aber es ist unmöglich zu ignorieren. Ich denke, die Unternehmen selbst sollten mehr dafür verantwortlich sein, diese Kosten zu internalisieren oder ihre Geschäftsmodelle zu ändern. Und wenn das Geld bereits von wenigen verbliebenen Geldgebern aus dem Unternehmen genommen wurde, die Kapital beschossen haben, sollten sie (und ihre Investoren und Bankiers) es zurückgeben, damit wir Moderatoren einen angemessenen Lohn zahlen können. Diese ökologische Katastrophe machte sie zu Milliarden. Lassen Sie sie für die Bereinigung bezahlen.

Wie erklären Sie den Leuten, was Sie beruflich machen?

Martin: Zum Spaß, ich sage, ich bin ein Internet-Hausmeister. Ich mache einfach den Scheiß sauber. Meine eigentliche Antwort lautet: „Ich arbeite für diese Website. Und die meisten Leute nutzen es zum Guten, aber die Leute, die es nicht zum Guten nutzen, schmeiße ich von der Website. “Und so einfach ist das. Die Leute, die schlechte Dinge tun, schmeiße ich ab. Wenn ich mich wirklich geil fühle, werde ich so sein: „Also, ich nehme das Recht der Menschen gerne zur Rede.“ Aber es ist wie: „Nein. Sie haben viele andere Verkaufsstellen. Wir ersticken niemanden. Wenn Sie unverantwortlich sind, dann ist es das. Sie wissen, dass Sie es tun. Sie wissen, dass Sie eine schlechte Person sind. "

„Ich sage, ich bin ein Internet-Hausmeister. Ich mache gerade den Scheiß sauber. "

Marie: Ich liebe die Arbeit, aber es bedeutet, dass man sich mit Sachen beschäftigt, über die die Leute nicht gerne reden, wie Kinderpornografie und sexuelle Übergriffe. Das Schwierigste ist, dass man das nicht mit vielen Leuten teilen kann. Mein Partner war wie: „Hey, wenn wir in der Öffentlichkeit sind, könnten Sie SA statt sexueller Übergriffe sagen, weil es wirklich nicht cool ist, wenn wir in der Öffentlichkeit sind und Sie offen über sexuelle Übergriffe sprechen und die Leute es belauschen. Es macht einfach keinen Spaß für mich. “Ich dachte mir, ich denke nicht einmal darüber nach, denn ich mache den ganzen Tag alles. Manche Leute sagen: "Was ist das Schlimmste, was je passiert ist?" Und ich habe den harten Weg gelernt. Sie glauben, Sie wollen das Schlimmste wissen, das je passiert ist, aber Sie tun es nicht.

Wie haben sich Plattformen seit Ihrem Start verändert? Wie könnte sich das Internet in den nächsten Jahren verändern?

Olivia: Ich glaube, als wir alle angefangen haben, war es eine Art Warum würden wir die freie Rede nicht verteidigen Warum verteidigen wir nicht den Gedankenaustausch und den offenen Dialog? Die besten Ideen sollten sich durchsetzen. Aber niemand dachte, es würde sich in das verwandeln, was es ist.

Rob: Ich denke, wir waren etwas naiv bezüglich Sachen [am Anfang], also fühlte es sich an, als hätten wir die Gelegenheit, diese großartige Sache zu machen. Nun wurde die Vertrauenswürdigkeit des Inhalts auf eine Weise in Frage gestellt, die wir nicht erwartet hatten. Plötzlich sprechen wir nicht nur über die Inhalte des Inhalts, sondern auch über die Motive, die dahinter stehen. Als wir versuchten, den Inhalt der IRA [Internet Research Agency] zu ermitteln, begannen wir, uns Beispiele anzusehen. Wir haben erkannt, dass der Inhalt auf seinem Gesicht völlig in Ordnung war, wenn die Quelle nicht eine russische Fehlinformationskampagne wäre. Wir sahen Dinge wie „Repost, wenn man ein echter Texaner ist, bedeutet, dass man zum Grillen Flip-Flops trägt.“ Dinge, die nicht annähernd eine Verletzung auf dem Gesicht zu sein scheinen. Aber es ist ein Teil dieser Kampagne von uns gegen sie und die Schaffung der anderen, also nimmst du sie ab, weil wer sie geschaffen hat.

James: Du kannst nicht mehr nur mit den Händen in der Luft winken und sagen: „Nein, eigentlich sind wir nur eine Content-Plattform. Nichts, was wir tun, beeinflusst die reale Welt. “

Adam: Erinnern Sie sich an "Wir sind der Flügel für freie Meinungsäußerung"? Wie eitel und unbemerkt klingt das jetzt? Nun, es ist der Morgen nach der Freisprechparty, und der Ort ist verwüstet. Und die Partyplaner, wo sind sie jetzt? Zwischen den Basler Kunstauktionen wird darüber diskutiert, wie schlecht sie sich fühlen.

Martin: Konfrontative, unpopuläre Gedanken - das war am schwersten. Der Idealist in mir vor fünf Jahren würde sagen: „Ja, lass ihn darüber reden. Wir werden darüber reden. “Aber jetzt denke ich, dass wir das hinter uns haben.

Remy: So ziemlich alles, was Sie sagen, kann und wird in der Öffentlichkeit gegen Sie eingesetzt werden. Die Leute werden immer Screenshots machen. Sie werden Ihre guten oder schlecht geschriebenen E-Mails immer auf Twitter posten. Es könnte bei BuzzFeed landen. Wann immer Sie etwas tun, kann es zu einem internationalen Vorfall werden, je nachdem, wie der Wind weht oder wie die kulturellen Konstellationen in dieser Woche ausgerichtet sind.

Y.X. Yang: Ich denke, die Unternehmen werden viel mehr mitnehmen. Sie werden nur gezwungen sein. Ich denke, dieser Druck wird die Unternehmen dazu bringen, viel restriktiver zu sein - was persönlich enttäuschend ist, aber ich verstehe.

James: Ein bedrückender Teil ist, dass China mit ihrer Version von Vertrauen und Sicherheit erschreckend gute Arbeit geleistet hat. Stellt sich heraus, dass Sie genügend Ressourcen darauf werfen, können Sie eine Firewall erstellen, die alles herausfiltert, was Sie möchten.

Denkst du jemals daran, etwas anderes zu tun? Sorgen Sie sich vor dem Durchbrennen?

James: Ich kenne jemanden, der zurückgetreten ist, um einen weniger stressigen Job zu übernehmen. Ich glaube, das genaue Zitat lautete: "Ich musste entscheiden, ob eine Bedrohung durch eine Schule in der Stadt, in der mein Bruder die Highschool besucht, realistisch war oder nicht, und das kann ich einfach nicht."

Marie: Es wäre klug, wenn es eine Auszeit geben würde, genauso wie Menschen, die radioaktives Material reinigen. Sie haben gerade Ihr Datum erreicht und damit ist Ihre Karriere in diesem Bereich beendet.

Remy: Es ist komisch, jetzt über andere Arten von Arbeit nachzudenken. Wie könnte ich den Leuten jemals erklären, was ich gelernt habe oder was ich daraus geworden bin? In gewisser Weise scheint es, als wenn Sie einmal in diesem Bereich sind, sind Sie irgendwie auf Lebenszeit, auf gute und schlechte Weise. Ich weiß nicht, wie du das jemals losgelassen hast.

Welche Bedeutung findest du in dieser Arbeit? Was hält dich daran?

Mathilda: Es ist der interessanteste Job der Welt. Man sieht jeden Tag die Unterwelt der Menschheit und muss einfach eintauchen.

Rob: Für mich ist das Interessante nicht "Wow, das ist eine wirklich schreckliche Sache, und ich möchte das sehen" oder "Ich kann nicht glauben, dass jemand es retten wollte". So ziehen wir die Grenze dieses Ding und die Auswirkung und Präzedenz, die wir setzen, indem wir es auf diese Weise definieren.

Olivia: Ich vergleiche es mit einem Arzt. Sie müssen sehr klinisch sein. Die Arbeit ist intellektuell und abstrakt. Ja, am Ende des Tages gibt es eine Entscheidung, aber der Ansatz ist sehr akademisch… Es ist eine Verantwortung, die jemand nur von Natur aus fühlen muss.

Marie: Mein Manager sagt immer: „Wir haben die Freiheit, den sozial gerechtesten Ansatz zu verfolgen.“ Diese Dinge werden unvermeidlich passieren, und sie sind schrecklich, und wir werden die Infrastruktur und das Regelsystem damit schaffen werden jedes Mal bestmöglich beantwortet.

Remy: Was ich daran liebe, ist, dass es so tief ist. Und es kann geheimnisvoll sein. Der Prozess, wie Sie zu einer Entscheidung gelangen und dann versuchen, sie nicht geheimnisvoll zu machen, damit Sie sie Ihrem Team und dem Rest der Organisation mitteilen können.

Martin: Dieser Job hat meine unruhige und neugierige Seele in einer Art und Weise befriedigt, die ich mir nie hätte vorstellen können.

„Wenn ich meine Arbeit richtig mache, wird das einen Unterschied machen. Ich werde einen Unterschied machen. Ich werde heute jemanden retten. "

Nora: Die Anzahl der Fetisch-Subkulturen, von denen ich aus dieser Arbeit erfahren habe. Jeder Spinner hat andere Spinner, die er im Internet finden kann.

Rita: Alles, was es braucht, ist etwas Kleines, um mich wieder zu einem Optimisten zu machen. Man kann sich tagelang gewalttätige ISIS-Videos anschauen, und dann genügt ein Subreddit, bei dem ein Genie Photoshopping-Hüte auf Bienen gemacht hat. Ich liebe diesen Scheiß. Es stellt meine Hoffnung über das Internet wieder her.

James: Vertrauen und Sicherheit sind in der Regel ein Job für Menschen. Es ist so, als hätte jemand gesagt, sie würden sich heute umbringen, sie hatten einen Plan, es zu tun, und dann haben wir die Polizei angerufen, und sie sind aufgetaucht und haben ihr Leben gerettet Es gibt einen Einfluss, den viele andere Arbeitsplätze nicht haben. Ich war vier Jahre lang ein EMT. Ich denke, das hat mich in vielerlei Hinsicht auf diesen Job vorbereitet. Sie tauchen bei einem Autounfall oder so auf. Es ist eine blutige Szene, und schlimme Dinge passieren, aber Sie reduzieren Ihre emotionale Reaktion, während Sie die emotionale Reaktion immer noch verstehen, und es ist, als ob ich einen Job habe. Wenn ich meine Arbeit richtig mache, wird das einen Unterschied machen. Ich werde einen Unterschied machen. Ich werde heute jemanden retten.

Siehe auch

Sie möchten wissen, wohin wir 2019 fahren werden?Die KilogirlsSo synchronisieren Sie Ihre Spiel-App auf mehreren Geräten