差别

这里会显示出您选择的修订版和当前版本之间的差别。

--- 画吧 [2024/02/05 12:03] – [功能] yzqzss
+++ 画吧 [2024/03/27 09:53] (当前版本) – [元数据] yzqzss
@@ 行 1: / 行 1: @@
-{{tag>inprogress closing}}
+{{:画吧:huabar_byebye_alpha.png?420 }}
+<wrap right>
+©《拜拜》由画吧用户“早点睡觉”创作，我们购得了这张画。
+</wrap>
+{{tag>saved closed}}
 <WRAP center round info 60%>
-这个存档项目正在进行中，请加入 https://t.me/saveweb_projects/15874 了解详情。
+此存档项目已结束，请加入 https://t.me/saveweb_projects/15874 了解详情。
+</WRAP>
+<WRAP center round info>
+如果您是画师，查看[[画吧:Takeout]]了解如何获取您的作品备份。 \\
+如果你在找“[[画吧:画吧纪念版]]”，请前往[[画吧:画吧纪念版]]。
 </WRAP>
@@ 行 17: / 行 28: @@
 | APK | [[wbm>20240129084549/https://huaba-operate.oss-cn-hangzhou.aliyuncs.com/huabarelease768.apk|huabarelease768.apk]] |
 | Android 包名 | com.haowan.huabar |
+| project code | [[github>saveweb/huabar]] |
 </WRAP>
 画吧是一个成立于 2013 年的绘画 APP，其特点是用户上传作品到社区时，APP 会同时上传工程文件。浏览者可以播放工程文件，看到每一笔一画的作画过程。
-在 2024-01-13 ，画吧宣布将于 2024-02-08 关站。
+在 2024-01-13 ，[[#关站公告|画吧宣布将于 2024-02-08 关站]]。((老板还欠着银行 25 万没有还，hhh。 {{ :画吧:2023_苏0591执1084号之一.pdf |}}))
+===== 截图 =====
-----
+==== Android ====
-<WRAP center round todo 60%>
+<gallery>
-条目以下内容还需要完善
+:画吧:huabar_home.jpg
-</WRAP>
+:画吧:huabar_me.jpg
+:画吧:huabar_bbs.jpg
+</gallery>
+----
+===== 绘画作品(note) =====
-欠银行 25 万。(({{ :画吧:2023_苏0591执1084号之一.pdf |}}))
-#TODO: 投资方撤资
-#TODO: 安全漏洞
-#TODO: 人员流失
-#TODO: API 列表
-#TODO: 存档过程
-#TODO: APK 反编译
-===== 存档过程 =====
 画吧主要使用七牛云的 oss 和 cdn ，我们如果从公网下载这 10TB 的数据，
 那么将给他们带来 4000 元以上的账单。因此我们在同地域设了一台 VPS，通过内网
-下载画吧的数据，再打包发送到我们的各个存储服务器。
+下载画吧的数据，再打包发送到我们的各个存储服务器暂存。
-==== 绘画作品 ====
+==== 元数据 ====
-=== 元数据 ===
+首先爬取全站绘画作品的元数据，扔进 MongoDB:
-首先爬取全站绘画作品的元数据，扔进 MongoDB：（#TODO: github href）
 <code>
@@ 行 67: / 行 64: @@
 }
 </code>
-响应示例：TODO: 示例
 方便起见，我们将响应里的 ''%%["recomNotes"]%%''（用于在页面底部显示其它的作品推荐）全替换为空列表。
@@ 行 98: / 行 93: @@
 </code>
-=== 下载 ===
+notes 元数据：[[https://archive.org/download/huabar_dumps/huabar.mongodb.notes.jsonl.zst|huabar.mongodb.notes.jsonl.zst]]
+==== 下载 ====
 然后 ''%%mongoexport --db huabar --collection notes --query '{}' --fields noteid,payload.noteossurl,payload.original_url  --type csv --sort '{"noteid": -1}' | zstd --adapt -v > huabar_works.oss_pics.urls.raw.csv.zst%%'' 导出。
@@ 行 109: / 行 105: @@
   * huaba-operate.oss-cn-hangzhou.aliyuncs.com 32(非最终数量)
-haowanlab.qiniudn.com 可在七牛杭州内网用下面的方式下载：
+haowanlab.qiniudn.com 可在七牛杭州内网((一个有趣的事实：七牛卖身阿里了，它的QVM其实是阿里云的ECS。而且从真阿里内网拉七牛OSS的带宽比七牛对七牛要大一个数量级。))用下面的方式下载：
 <code>
@@ 行 139: / 行 136: @@
 URLS 列表：[[atfile>yP0fm/huabar_works.old_content.notestatus_0.empty_ossurl.urls.txt.zst]] （[[abjob>7ksk89yddm7hdywkmvnf74gr6]]）
-<WRAP center round important 60%>
+<del>由于 ''%%/GetNoteContent%%'' API 极其缓慢（并发、多 IP也无改善），且响应越大，等待越久。这部分我们预计只能在关站前存 10%。</del> \\
-由于 ''%%/GetNoteContent%%'' API 极其缓慢（并发、多 IP也无改善），且响应越大，等待越久。这部分我们预计只能在关站前存 10%。
+[[atwiki>User:JustAnotherArchivist|JAA]] 发现并发实际上是有用的
-</WRAP>
+> The endpoint is slow, yeah, but I don't see any difference in response time between 50 and 100 connections, so that's nice. With a simple calculation, it looks like I'd need about 170 connections to retrieve it all in 2 days. More tests to follow.
+由于 AB 对同一个 host 限制 6 并发，JAA 就在本地跑 WARC。存档已上传至[[ia>huabar_note_content_20240205]]。
+而后 JAA 注意到一个糟糕的情况：
+> some notes with `null` in my archives that actually exist: noteid=1001301
+> It's a bit tricky to get decent numbers on this, but I have roughly 900 cases among my test runs where the response differed from the final run. The test runs covered roughly 20k IDs.
+返回 ''%%null%%'' 的 noteid 可能等一段时间后重试时又神奇地好了。但我们这时候已经没时间了。
+==== 上传 ====
-=== 上传 ===
+每个 ZIP 包（以及他们的 ''%%.keys%%'' 文件）根据它们的文件名上传到 ''%%huabar_[ali|qiniu]-draw-YYYYMMDD-HH%%'' 这样的 identifier 中——也就是同一小时的下载放进同一个 item 里。例如 ''huabar_qiniu-draw-20240128-01''和''huabar_ali-draw-20240130-00''。
-每个 ZIP 压缩包（以及他们的 ''%%.keys%%'' 文件）根据它们的文件名上传到 ''%%huabar_[ali|qiniu]-draw-YYYYMMDD-HH%%'' 这样的 identifier 中——也就是同一小时的下载放进同一个 item 里。例如 [[ia>huabar_qiniu-draw-20240128-01]]和[[ia>huabar_ali-draw-20240130-00]]。
+===== 直接打开工程文件 =====
-===== APK 反编译 =====
 有两种格式的工程文件。新的用：
@@ 行 174: / 行 179: @@
 用来把过期vip用户的云草稿变成不可点击，改成 do nothing 就行。
+登录貌似强制要求是 https，用 http 会弹 toast "server busy" 之类的，且没有实际请求发出。
 ===== 功能 =====
@@ 行 184: / 行 191: @@
   * 画吧论坛
-==== 用户收藏夹 ====
+==== 用户关注(fans/follow)====
+保存了用户之间的关注关系。没有做到全量保存，因为新用户默认关注画郎/画娘，数量太大，处理分页不方便。计 14,205,933 个用户 31,688,768 条关注关系（包含关注时时间戳）。
+SQLite 数据（未整理）：[[https://archive.org/download/huabar_dumps/huabar.follow.db.xz|huabar.follow.db.xz]]
+查看方法：
+<file sql>
+CREATE TEMP VIEW IF NOT EXISTS follow_view AS
+SELECT
+    u1.jid AS from_jid,
+    u2.jid AS to_jid,
+    f.orderid
+FROM
+    follow f
+    JOIN users u1 ON f.from_uid = u1.uid
+    JOIN users u2 ON f.to_uid = u2.uid;
+</file>
+==== 用户收藏(collection)====
 收藏按钮放在了分享按钮的次级菜单里，因此用的人很少。
-<WRAP center round info 60%>
+<code>
-存档中
+POST S_HTTP_PREFIX + "/RegisterDemo1/servlet/Collecting"
-</WRAP>
+</code>
+^ 参数名 ^ 类型 ^ 描述 ^
+| ''jid'' | ''string'' | 用户 ID |
+| ''subtype'' | 枚举 | 作品 ''2''，贴子 ''5'' |
+| ''collectionid'' | ''uint'' | 用于分页加载数据。若为 ''0''，则返回最新；不为 ''0''，返回数据中的所有项的 ''collectionid'' 小于此值 |
+=== 作品(note)收藏 ===
+== 示例 ==
+<code powershell>
+curl -X POST -H "Content-Type: application/octet-stream" -H "Accept-Encoding: gzip" -d '{"jid":"f3bhs-0@zhizhiyaya.com/HuaLiao","subtype":2,"collectionid":0}' http://s.haowanlab.com:8900/RegisterDemo1/servlet/Collecting
+</code>
+<file json response.json>
+{
+    "subtype": 2,
+    "requestid": "8b672a561fc64119a93c12c1ea449084",
+    "relist": [
+        {"headline": "这可是葬礼24h啊","noteid": 19065929,"bookid": 0,"nickname": "鉴奈小队长","pagenum": 0,"notetype": 3,"praise": 627,"jid": "q9q5xsbj-0@zhizhiyaya.com/HuaLiao","collectionid": 9509959,"url": "http://qncdn.haowanlab.com/5bb0ac88a68bc70515bd247488d79686-mid800","faceurl": "http://qncdn.haowanlab.com/5b4d035b7144b1812e0978fd1e4c4f23","aspectratio": 1.564,"user_ex": {"remark": "","frameid": 34}},
+        ...,
+        {"headline": "character setting  4","noteid": 18052405,"bookid": 0,"nickname": "贰拾肆","pagenum": 0,"notetype": 11,"praise": 231,"jid": "r3fhqp09-0@zhizhiyaya.com/HuaLiao","collectionid": 9261119,"url": "http://qncdn.haowanlab.com/7d05623c3827b585b7ece24fc20e9c19-mid800","faceurl": "http://qncdn.haowanlab.com/41b22bc9adbeaa2239f471d60bc5b8a5","aspectratio": 0.806,"user_ex": {"remark": "","frameid": 60}}
+    ]
+}
+</file>
+最后一项的 ''collectionid = 9261119'' 作为下一次请求的 ''collectionid''：
+<code powershell>
+curl -X POST -H "Content-Type: application/octet-stream" -H "Accept-Encoding: gzip" -d '{"jid":"f3bhs-0@zhizhiyaya.com/HuaLiao","subtype":2,"collectionid":9261119}' http://s.haowanlab.com:8900/RegisterDemo1/servlet/Collecting
+</code>
+== 存档情况 ==
+用户收藏夹由//OverflowCat//负责存档。所有发布过作品的用户（画师）的收藏夹已遍历；其他一般用户数量太多，存档效益不高，只存了部分就暂停了。
+SQLite 数据（未整理）：[[https://archive.org/download/huabar_dumps/huabar.note-collections.db.xz|huabar.note-collections.db.xz]]
+=== 论坛帖子收藏 ===
+所有发布过作品的用户（画师）的收藏夹已遍历，待整理。
+==== 画册(book) ====
+每个画册需要画币建立，可以放入作品（''element''），每个作品下可写图片的描述（''elementbrief''）。API 返回一个 ''elementlist''。
+没爬完，数据待整理。
 ==== 玄珠画板 ====
@@ 行 211: / 行 285: @@
 === 笔刷 ===
-<WRAP center round info 60%>
+<code>GET /RegisterDemo1/servlet/CustomBrush?jid={}&reqtype=getcblist&subtype={}</code>
-正在存档中
-</WRAP>
-subtype=1
-=== 纹理 ===
+获取某个用户拥有的笔刷。''%%subtype: 1 笔刷，2 纹理, 3 塑体模型%%''
-subtype=2
+//玉米狐狸//遍历了发过作品的用户(?)的笔刷（包含纹理和塑体模型）。第一次提出来的 URL 列表见：[[atfile>10b1Zu/huabar_brush.20240202.urls.txt.zst]]([[abjob>f0y9uwxoja117muh7543b4mjr]])，关站前增量补了一次新爬到和漏爬的 URL [[atfile>C7NFI/huabar_brush.20240202-20240208.increment.urls.txt]]([[abjob>9iv8nzda1sxui9hptilae2lkb]])
-=== 塑体模型 ===
+#TODO: 数据库整理后发布。
-subtype=3
 ==== 玄珠3D绘画 ====
@@ 行 300: / 行 368: @@
 结果： [[atfile>16hLUJ/huabar_all_courses.jsonl]]。提取的全部 URL：[[atfile>8buty/huabar_all_courses.urls.txt]] （[[abjob>20240129104500cxqb0]]）
-===== 截图 =====
-==== Android ====
-<gallery>
-:画吧:huabar_home.jpg
-:画吧:huabar_me.jpg
-:画吧:huabar_bbs.jpg
-</gallery>
 ===== 关站公告 =====