JSON（JavaScript Object Notation）是一種輕量級的數據交換格式，常用於將數據從伺服器發送到Web應用程式。 ...
本文分享自華為雲社區《GaussDB(DWS)——探究JSON,JSONB》，作者：yd_283975606。
1. 前言
- 適用版本：【8.1.1（及以上）】
JSON（JavaScript Object Notation）是一種輕量級的數據交換格式，常用於將數據從伺服器發送到Web應用程式。它採用人類易讀和機器易解析的文本格式，基於鍵值對的集合，用於表示結構。
2. json/jsonb簡介
json演進歷程
|
版本 | |
|---|---|
|
8.1.1 |
支持JSON數據類型 |
|
8.1.2 |
支持JSONB高級特性、索引 |
|
9.1.0 |
支持JSON列存、向量化，JSONB支持索引 |
2.1 json/jsonb簡介
參考DWS產品文檔，JSON數據類型可以用來存儲JSON（JavaScript Object Notation）數據。
可以是單獨的一個標量，也可以是一個數組，也可以是一個鍵值對象，其中數組和對象可以統稱容器(container)：
標量(scalar)：單一的數字、bool、string、null都可以叫做標量。- 數組(array)：[]結構，裡面存放的元素可以是任意類型的JSON，並且不要求數組內所有元素都是同一類型。
- 對象(object)：{}結構，存儲key:value的鍵值對，其鍵只能是用“”包裹起來的字元串，值可以是任意類型的JSON，對於重覆的鍵，按最後一個鍵值對為準。
2.2 json與jsonb的區別
存儲方式json是輸入字元串的完整拷貝，使用時再去解析，所以它會保留輸入的空格，重覆鍵以及順序等；
jsonb解析後存儲，刪除語義無關的細節和重覆的鍵，對鍵值也會進行排序，使用時不用再次解析。
性能差別json由於精確拷貝，因此插入時性能較好，但是其在處理函數時，必須在每個執行上重新解析，因此其查詢性能一般；
jsonb 數據以分解的二進位格式存儲， 這使得它由於添加了轉換機制而在輸入上稍微慢些。但是其由於插入後即預設有序排列，因此可以更好地支持的額外操作（如bool關係的比較，頂層元素存在的判斷）。並且，其在處理函數時， 不需要重新解析，查詢性能較好。同時，jsonb支持創建btree、gist和gin索引。
3. json/jsonb輸入格式
1.標量(scalar)：輸入為數字、布爾類型時，使用單引號 ’ '聲明，輸入為字元串時必須加 " "聲明
json_database=# SELECT '[1, 2, "foo", null, [[]], {}]'::jsonb; jsonb ------------------------------- [1, 2, "foo", null, [[]], {}] (1 row)
2.數組(array)：使用中括弧[]包裹，滿足數組書寫條件。數組內元素類型可以是任意合法的JSON，且不要求類型一致。
json_database=# SELECT '[1, 2, "foo", null, [[]], {}]'::jsonb; jsonb ------------------------------- [1, 2, "foo", null, [[]], {}] (1 row)
3.對象(object)：使用大括弧{}包裹，鍵必須是滿足JSON字元串規則的字元串，值可以是任意合法的JSON。
json_database=# SELECT '{"a": 1, "b": {"a": 2, "b": null}}'::json; json ------------------------------------- {"a": 1, "b": {"a": 2, "b": null}} (1 row)
4.嵌套數組和對象：數組array中可以是任意合法的json元素，對象object則嚴格遵循了key:value的格式，兩者結合可以方便地有序查找json值。
json_database=# SELECT '{"foo": [true, "bar"], "tags": {"a": 1, "b": null}}'::jsonb; jsonb ----------------------------------------------------- {"foo": [true, "bar"], "tags": {"a": 1, "b": null}} (1 row)
4. DWS的json與jsonb能力
當前DWS支持創建列存json、jsonb。
4.1 常用的json/jsonb函數及操作符(jsonb為例，json同理)
1.jsonb_object_field(jsonb, text)
描述：輸入的json類型為json-object，返回指定鍵對應的值（可能為json-object或json-array）
對應操作符：->
返回類型：jsonb
json_database=# SELECT jsonb_object_field('{"a": {"b":"foo"}}','a'); jsonb_object_field -------------------- {"b": "foo"} (1 row) json_database=# SELECT '{"a":{"b":"foo"}}'::jsonb->'a'; ?column? ------------- {"b":"foo"} (1 row)
2.jsonb_array_element(array-jsonb, integer)
描述：輸入的json類型為json-array，返回數組中指定下標的元素（為任意合法的JSON）
對應操作符：->
返回類型：jsonb
json_database=# SELECT jsonb_array_element('[1,true,[1,[2,3]],null]',2); jsonb_array_element --------------------- [1, [2, 3]] (1 row) json_database=# SELECT '[1,true,[1,[2,3]],null]'::jsonb->2; ?column? ------------- [1, [2, 3]] (1 row)
3.jsonb_extract_path((jsonb, VARIADIC text[])
描述：輸入為json-object或json-array，返回$2所指路徑的值。$2中可以為json-object對應的鍵值(字元串類型)，也可以為json-array對應的下標(整數類型)
對應操作符：#>
註意：GaussDB(DWS)對象標識符支持以符號"#“結尾，為避免a#>b解析過程出現歧義，因此操作符”#>"前後需要增加空格，否則解析報錯。
返回類型：jsonb
json_database=# SELECT jsonb_extract_path('{"f2":{"f3":1},"f4":{"f5":99,"f6":["stringy",1,true]}}', 'f4','f6',2); jsonb_extract_path -------------------- true (1 row) json_database=# SELECT '{"f2":{"f3":1},"f4":{"f5":99,"f6":["stringy",1,true]}}'::jsonb #> '{f4,f6,2}'; ?column? ---------- true (1 row)
4.2 jsonb高級特性
1.jsonb會丟棄空格等語義無關的細節
json_database=# select ' [1, " a ", {"a" :1 }] '::jsonb; jsonb ---------------------- [1, " a ", {"a": 1}] (1 row)
2.jsonb會預設對輸入鍵值的重新排序
json_database=# insert into test_json values('{"C":1,"B":2,"A":false}','{"C":1,"B":2,"A":false}'); INSERT 0 1 json_database=# select *from test_json; jj | jb -------------------------+------------------------------ {"C":1,"B":2,"A":false} | {"A": false, "B": 2, "C": 1} (1 row)
比較規則如下：
首先比較類型：object-jsonb > array-jsonb > bool-jsonb > num-jsonb > str-jsonb > null-jsonb
同類型則比較內容：
- str-json類型：依據text比較的方法，使用資料庫預設排序規則進行比較，返回值正數代表大於，負數代表小於，0表示相等。
- num-json類型：數值比較
- bool-json類型：true > false
- array-jsonb類型：長度長的 > 長度短的，長度相等則依次比較每個元素。
- object-jsonb類型：長度長的 > 長度短的，長度相等則依次比較每個鍵值對，先比較鍵，再比較值。
5.總結
DWS的JSON能力總結
目前，DWS的JSON/JSONB的功能基本完善。主要體現在函數、操作符、索引功能的支持。但目前來說，JSON列存仍然採用的是直接存儲JSON數據，即將原始的JSON數據存成單獨的一列，以完整的JSON值作為最小的粒度在磁碟上，具體如下：
|
json_data |
|---|
|
{“user_id”:1001, “user_name”: “Adam”, “gender”: “Male”, “age”: 16} |
|
{“user_id”:1002, “user_name”: “Bob”, “gender”: “Male”, “age”: 41} |
|
{“user_id”:1003, “user_name”: “Clair”, “gender”: “Female”, “age”: 21} |
優點是：JSON則天然支持Schema Evoluation，上游業務的變更，只需要在JSON列數據中進行增刪相應的欄位，無需對數倉中的表做任何DDL就能完成，也能對中間的ETL作業做到透明，最大程度地保留了半結構化數據的易用性和靈活性，能大大降低維護和管理表結構的成本。
缺點是：應用端查詢時需要選擇合適的處理函數和方法，才能解析到需要的數據，開發較為複雜，如果JSON較複雜，同時查詢性能會有退化，因為每次JSON列的數據參與計算的時候，都需要對JSON數據完整的解析一遍，比如需要抽取出整個JSON中某個欄位，那麼查詢引擎執行的時候就要讀出每一行JSON，解析一遍，取出需要的欄位再返回。這中間會涉及大量的IO和計算，而需要的可能只是JSON數據成百上千欄位當中的一個欄位，這中間的大量IO和計算都是浪費的。
另外，當前雲原生分支上JSON的向量化支持仍然是沿用的通用的向量化框架，沒有定製化的向量化函數。通用的向量化函數框架本質上來說仍然為行存的調用，並不是完全意義上的向量化。
後續演進路線
如上所述，後續想要提升JSON/JSONB的查詢性能，首先必須提升JSON的存儲方式，即在解析前端將JSON拍平成寬表，真正意義上發揮JSON半結構化數據的優勢。
|
user_id |
user_name |
gender |
age |
|---|---|---|---|
|
1001 |
Adam |
Male |
16 |
|
1002 |
Bob |
Male |
41 |
|
1003 |
Clair |
Female |
21 |
這種做法的優點是：寫入DWS時，因為是普通列寫入，所以寫入性能會更好，同時在查詢側，不需要對JSON數據進行解析，查詢性能也會更好。
缺點是：每當上游的數據格式有變更時，比如變更數據類型、增刪欄位、執行DDL進行加列或者刪列，中間的實時數據ETL作業也需要進行適配改動並重新上線，使用非常不靈活，也會額外增加運維和開發負擔。並且當JSON的每一個鍵值都為一列，若出現異常數據，可能導致列數的急速膨脹，進而影響性能。
當前Hologres的方案類似，但其對特殊的列採用單獨列（屬性為JSON）存儲那些同質化不強的json鍵值（極少數出現的json鍵值）
另外，當前列存JSON的性能當前瓶頸點在於向量化的性能，一方面需要提升通用當前DWS的向量化能力，另一方面也可以考慮對json函數做出優化。
