Weltweit setzt sich die chinesische Regierung durch strenge Zensur im Internet . Das chinesische Zensursystem, allgemein bekannt als Great Firewall of China, wird vom Ministerium für öffentliche Sicherheit betrieben und trägt den offiziellen Namen Golden Shield Projekt . Das System ist seit 2003 in Betrieb.

Internationale Nachrichtenseiten, die normalerweise politisch sensible Inhalte enthalten, wie z New York Times oder Social-Media-Sites, die nicht den Zensurregeln entsprechen, wie z Facebook und Twitter , sind normalerweise blockiert und für chinesische Benutzer nicht verfügbar. Dies wird mit a erreicht Vielzahl von ausgefeilten Methoden .

Für chinesische Nachrichten- und Social-Media-Sites wird praktisch alles von der Regierung überwacht. ISPs und Internetinhaltsanbieter in China haben in der Regel ihre eigener Mechanismus zum Filtern von Inhalten zum Blockieren oder Entfernen des veröffentlichten Inhalts durch seine Benutzer oder sogar zum direkten Löschen des Benutzerkontos, wenn davon ausgegangen wird, dass sie gemäß den Regierungsrichtlinien illegal sind. Diese Unternehmen haben ihre eigene Zensursoftware auf ihren Servern sowie spezielle Teams oder Abteilungen, um die Zensuraufgaben manuell zu erledigen, die automatisierte Zensursoftware nicht verwalten kann. Diese Teams arbeiten mit den lokalen Abteilungen des Ministeriums für öffentliche Sicherheit zusammen, erhalten neue Befehle und Richtlinien und arbeiten normalerweise zusammen.

Für unser Haus Web-Entwickler Die Zensur des chinesischen Internets filtert nicht nur unsere Redefreiheit heraus, sondern auch wertvolle professionelle Ressourcen aus der ganzen Welt. Bei meiner täglichen Arbeit muss ich die Internet-Zensur umgehen, um eine Verbindung über VPN herzustellen und Google Mail, Dropbox und viele andere wichtige Websites zu verwenden. Ich erinnere mich noch daran, wie umständlich es 2010 war, als die Dienste von Google nach Google in China instabil oder unzugänglich wurden weigerte sich, weiterhin die Zensurregeln einzuhalten . Dies wäre für Entwickler in anderen Ländern unglaublich.

Zensur auf Sina Weibo

Sina Weibo ist die größte Website für soziale Netzwerke im Bereich Microblogging in China. Da Twitter nicht den chinesischen Regeln entspricht, muss Weibo nicht um die Nutzer konkurrieren. Nachrichten verbreiten sich schneller und direkter auf Weibo als jedes andere Medienunternehmen in China. Mitglieder der jüngeren Generationen, wie ich, nutzen es gerne, um Nachrichten auszutauschen und öffentliche Veranstaltungen zu diskutieren. Aber natürlich werden unter der chinesischen Internet-Zensur viele heiße oder interessante Beiträge sofort nach ihrer Veröffentlichung gelöscht. Politische und öffentliche Veranstaltungsbeiträge werden am wahrscheinlichsten gelöscht, während Unterhaltungsnachrichten am seltensten gelöscht werden. EIN 2013 Studie Die Informatiker Jed Crandall und Dan Wallach stellten fest, dass täglich etwa 12% der chinesischen Microblogs gelöscht werden.

An politisch sensiblen Tagen wie 4. Juni Es wird erwartet, dass eine höhere Anzahl zensierter Microblog-Beiträge gelöscht wird. Heutzutage können Benutzer normalerweise nicht einmal bestimmte sensible Wörter eingeben, wenn sie versuchen, einen Microblog zu schreiben.

Wie sieht es aus, wenn ein Beitrag zensiert wird? Wenn Sie ein neues Microblog auf der Website aktualisieren, wird häufig Folgendes angezeigt:

Dies entspricht einem Retweet, bei dem die ursprüngliche Nachricht normalerweise im grauen Feld angezeigt wird. In der Box steht jetzt „Entschuldigung. Der Microblog wurde gelöscht. Bitte sehen Sie ... “Der ursprüngliche Beitrag war ein Plädoyer für Gerechtigkeit durch eine Mutter, für die Entführung, Vergewaltigung und Zwangsprostitution ihrer 11-jährigen Tochter im Jahr 2013.

2013 ist ein Jahr, in dem viele politische Skandale über die Microblog-Plattform aufgedeckt wurden. Die Popularität von Sina Weibo stieg in dieser Zeit stark an. Als Reaktion darauf wurde die Regierung nervös und begann, ihre Zensur auf der Social-Media-Plattform zu verstärken.

Vor dem Microblog mussten junge Leute wie ich, die sich für Politik interessierten, normalerweise Proxyserver oder Tunneldienste verwenden, um sensible Nachrichten von internationalen Websites aufzuspüren. Plötzlich hatten wir eine relativ offene chinesische Plattform für soziale Netzwerke. Aber die Regierung trat schnell ein und es stellte sich heraus, dass es nur ein Blitz in der Pfanne war. Das hat mich wirklich wütend gemacht. Ich habe mit Freunden gesprochen, und wir waren alle wütend über die Stärkung der Zensur auf der Plattform. Meine Freunde fragten: 'Warum können wir nichts dagegen tun?' Ich beschloss, es zu versuchen. Also habe ich eine Website erstellt, um die Internet-Zensur zu umgehen und zu sehen, was genau von Sina Weibo blockiert oder gelöscht wurde.

Technische Diskussion

Grundsätzlich musste ich einen Server einrichten, der ständig nach blockierten oder gelöschten chinesischen Microblogs suchte und diese auf einer neuen Website zeigte. Ich hatte geplant, einen inländischen Cloud-Dienst wie zu nutzen Aliyun Es stellt sich jedoch heraus, dass die Plattform viele Einschränkungen aufweist, z. B. die Umleitung von Domains, und dass ihre Preise nicht günstiger sind als bei anderen Cloud-Diensten. Meine zusätzliche Sorge war natürlich, dass der Server selbst überwacht werden würde, wenn ich ihn im Inland bereitstellen würde. Also kaufte ich mir einen Server Linode und fand den Server in Japan. Ich habe auch die Domain gekauft freeweibo.me die Zensur von Sina Weibo zu umgehen.

Das folgende Diagramm zeigt die Gesamtarchitektur des Systems: MongoDB, ein Webserver und ein Crawler. Ich habe Node.js für die Entwicklungsumgebung ausgewählt, da es für Netzwerkanwendungen effizienter und skalierbarer ist und ich persönlich mehr Erfahrung damit habe. Der Webserver wurde unter Verwendung des Express.js-Frameworks entwickelt und verwendete das Weibo API Daten erfassen. Ursprünglich war der Crawler als separater Prozess konzipiert, aber später stellte ich fest, dass die Bündelung als Modul im Webserverprozess für die frühe Phase ausreichend war.

Der Inhalt eines Microblogs hat zwei Hauptinteressen. Eines sind die Textdaten und ihre relevanten Attribute. Das andere sind die Bilder, die mit dem Beitrag verbunden sind. Um einen Beitrag zu speichern, möchten wir auch die Bilder herunterladen und als Dateien auf der Festplatte speichern. Für blockierte oder gelöschte Blogs sind diese Bilder sehr wichtig. In China ist es sehr verbreitet und beliebt, Bilder zum Posten von Textinhalten zu verwenden, da diese Inhalte mit automatisierter textbasierter Filterung und Zensur auf den Servern von Internetunternehmen viel schwieriger zu erfassen sind.

Die Grundidee beim Erkennen blockierter oder gelöschter Beiträge besteht darin, ständig nach neuen Beiträgen aus einer bekannten Benutzerliste zu suchen und die Verfügbarkeit der Beiträge zu einem späteren Zeitpunkt erneut zu überprüfen. Ein Microblog kann innerhalb weniger Minuten oder Tage gelöscht oder blockiert werden. Daher besteht der Crawler aus zwei Hauptaufgaben: der Abrufaufgabe zum Abrufen neu geposteter Inhalte und der Überprüfungsaufgabe zum Überprüfen, ob zuvor veröffentlichte Inhalte zensiert wurden.

Zuerst habe ich den Crawler so konfiguriert, dass er Microblogs der 100 bekanntesten Benutzer von Weibo crawlt. Es stellte sich jedoch heraus, dass fast jeden Tag keine gelöschten Blogs entdeckt wurden. Der Grund dafür ist, dass die meisten Top-User kein Interesse an politischen oder öffentlich sensiblen Themen haben - sie veröffentlichen oder leiten diese Art von Microblogs niemals weiter. Beispielsweise, dieser Blogger Die Schauspielerin mit mehr als 10 Millionen Followern ist eine der beliebtesten Nutzerinnen, veröffentlicht jedoch niemals sensible Blogs.

Nach einigem Experimentieren und Nachdenken habe ich eine Technik entwickelt, um Benutzer, die konsequent zensiert werden, adaptiv zu finden. Das Social-Media-Netzwerk ist themenbezogen und Benutzer versammeln sich in der Regel nach Interesse in Gruppen. Wenn ein Benutzer Interesse an öffentlichen oder politischen Themen hat, ist es wahrscheinlicher, dass er Blogs anderer ähnlicher Benutzer veröffentlicht oder weiterleitet. Diese weitergeleiteten Beiträge bieten eine gute Möglichkeit, neue Benutzer zum Scannen zu identifizieren.

Angenommen, Benutzer A befindet sich bereits in der Datenbank, und der Crawler erkennt, dass ein Blog, das von Benutzer A erneut veröffentlicht wurde, gelöscht wird. Wenn sich Benutzer B, der ursprüngliche Autor des Blogs, nicht in der Datenbank befindet, speichert der Crawler Benutzer B. Wenn der Crawler beim nächsten Mal neue Blogs erneut scannt, scannt er auch neue Blogs von Benutzer B. Somit wird die Anzahl von scannbare Benutzer wachsen automatisch, indem sie diese Art von sozialer Interessenverbindung nutzen.

Nachdem ich den Crawler-Algorithmus optimiert hatte, um diese Methode zu nutzen, musste ich nur einige wichtige Benutzer festlegen, die ein starkes Interesse daran hatten, vertrauliche Blogs zu veröffentlichen, und der Crawler entdeckte automatisch neue Benutzer zum Scannen. Die täglich insgesamt zensierten Blogs, die entdeckt wurden, stiegen von Tag zu Tag stetig an. Das Folgende ist eine Momentaufnahme von archivierten gelöschten Blogs in meiner Mailbox.

• Ein historischer Dialog von Mao Zedong, der einen örtlichen Beamten zurechtwies, weil er die alte Stadtmauer von Chengdu nicht niedergerissen hatte.
• Ein Beitrag über Xu Zhiyong, einen Anwalt für aktive Rechte. Er hat vielen benachteiligten Menschen geholfen und die New Citizen's Movement in China ins Leben gerufen. Er wurde im Januar 2014 zu Gefängnis verurteilt.
• Kritik an der Regierungszeitung Volkszeitung
• Kommentar zur Verhaftung und zum Prozess gegen Wang Gongquan, einen Milliardär in China und Führer der New Citizen's Movement.
• Ein Hinweis auf die Verhaftung von Aktivisten, die sich an sozialen Bewegungen beteiligen.

Ergebnisse

Nach zwei Wochen Codierung und Debugging meines chinesischen Microblog-Bypass-Systems stellte ich die Site für bereit freeweibo.me . Nach einigen Wochen hat der Server jedoch keine neuen Blogs mehr erkannt. Bei einigen Nachforschungen fand ich zwei Probleme. Zum einen hatte die Weibo-Plattform ihre ursprüngliche API-Schnittstelle geändert. Das andere war, dass die API-Anforderungen des Crawlers aufgrund der Zunahme von Blogs und Benutzern in der Datenbank das Ratenlimit (1000 pro Minute) überschritten. Deshalb habe ich meinen Code so angepasst, dass er die neue Schnittstelle übernimmt und die Anzahl der API-Anforderungen pro Minute verringert. Der Crawler war von da an stabil.

Ich stand vor einem Dilemma, ob ich viele Leute über die Site informieren sollte oder nicht. Ich wusste, je mehr Leute die Seite besuchten, desto eher würde sie von der Regierung beschnüffelt und blockiert werden. Also habe ich nur die Seite mit geteilt einige meiner Freunde . Anfangs gab es nur etwa 10 bis 20 Besuche pro Tag. Aber einen Monat später erreichten die Besuche an einigen Tagen 80 oder mehr, und ich hatte Dutzende von E-Mail-Abonnenten.

Und dann, wie ich erwartet hatte, kam der Morgen, als ich feststellte, dass meine Website in China blockiert war. Es hatte ungefähr drei Monate gedauert. Um die Site danach zu erreichen, mussten Benutzer einen VPN-Tunneldienst verwenden, um die Site zu besuchen. Dies ist für die meisten chinesischen Internetnutzer unpraktisch.

Am selben Tag war ich jedoch erleichtert und erfreut, eine andere Seite zu finden. freeweibo.com , bietet genau den gleichen Service und ist anspruchsvoller als das, was ich gebaut habe. Das freeweibo.com-Projekt ist sehr einfallsreich. Es ist in sozialen Medien aktiv und bietet verschiedene Möglichkeiten für den Zugriff auf Inhalte, z. B. RSS-Feeds, E-Mail-Abonnements und Spiegelseiten für inländische Benutzer. Es hat sogar eine mobile App! Ich weiß nicht, wer die Website erstellt hat, aber ich bin froh, dass wir dieselbe Vision teilen.

Fazit

Aufgrund der Umstände war es offensichtlich, dass meine Website nicht mehr sehr nützlich war, und ich schloss sie einige Monate später.

Trotz des Ergebnisses habe ich nicht das Gefühl, dass das Projekt umsonst war. Im Gegenteil, es war eine wunderbare Erfahrung, obwohl sie nur einige Monate überlebte. Es hat mir geholfen, die Realität in meinem Land zutiefst zu schätzen.

Um in China ein Internetgeschäft zu betreiben, muss man bei der Zensur sehr vorsichtig sein, sonst gerät man früher oder später in Schwierigkeiten. Es gibt kaum eine Möglichkeit für Social-Media-Websites, erfolgreich zu sein, wenn sie nicht der strengen Zensur entsprechen und die Privatsphäre der Benutzer gefährden.

---

Aktualisieren

Das freeweibo.me Der Quellcode ist jetzt auf GitHub verfügbar Hier . Wie oben erwähnt, bezieht sich dieser Quellcode nicht auf die ähnliche Website freeweibo.com .