Розбір JSON за допомогою інструментів Unix

Я намагаюся розібрати JSON, який повернувся із запиту на завиток, як-от так:

curl 'http://twitter.com/users/username.json' |
    sed -e 's/[{}]/''/g' | 
    awk -v k="text" '{n=split($0,a,","); for (i=1; i<=n; i++) print a[i]}'

Наведене вище розбиває JSON на поля, наприклад:

% ...
"geo_enabled":false
"friends_count":245
"profile_text_color":"000000"
"status":"in_reply_to_screen_name":null
"source":"web"
"truncated":false
"text":"My status"
"favorited":false
% ...

Як надрукувати певне поле (позначене символом -v k=text)?

Існує ряд інструментів, спеціально розроблених для маніпулювання JSON з командного рядка, і вони будуть набагато простішими та надійнішими, ніж робити це з Awk, такі як jq:

curl -s 'https://api.github.com/users/lambda' | jq -r '.name'

Ви також можете це зробити за допомогою інструментів, які, ймовірно, вже встановлені у вашій системі, як-от Python, що використовує jsonмодуль , і таким чином уникайте зайвих залежностей, зберігаючи при цьому належну перевагу JSON-аналізатора. Далі припускаємо, що ви хочете використовувати UTF-8, в який повинен бути закодований оригінал JSON, а також використовується більшість сучасних терміналів:

Пітон 3:

curl -s 'https://api.github.com/users/lambda' | \
    python3 -c "import sys, json; print(json.load(sys.stdin)['name'])"

Пітон 2:

export PYTHONIOENCODING=utf8
curl -s 'https://api.github.com/users/lambda' | \
    python2 -c "import sys, json; print json.load(sys.stdin)['name']"

Історичні записки

Ця відповідь спочатку рекомендувала jsawk , який все ще повинен працювати, але трохи більш громіздкий у використанні, ніж jq, і залежить від встановленого окремого інтерпретатора JavaScript, який є менш поширеним, ніж інтерпретатор Python, тому наведені вище відповіді, ймовірно, бажані:

curl -s 'https://api.github.com/users/lambda' | jsawk -a 'return this.name'

Ця відповідь також спочатку використовувала API Twitter у запитанні, але той API більше не працює, тому важко копіювати приклади для тестування, а для нового API API потрібні ключі API, тому я перейшов на використання API GitHub, який можна легко використовувати без ключів API. Першою відповіддю на початкове запитання буде:

curl 'http://twitter.com/users/username.json' | jq -r '.text'

Для швидкого вилучення значень для певного ключа, я особисто люблю використовувати "grep -o", який лише повертає збіг регулярних виразів. Наприклад, щоб отримати поле "текст" з твітів, щось таке:

grep -Po '"text":.*?[^\\]",' tweets.json

Цей регулярний вираз є більш надійним, ніж можна подумати; наприклад, він чудово справляється з рядками, вбудованими комами та уникнутими цитатами. Я думаю, що за допомогою трохи більше роботи ви зможете зробити той, який фактично гарантовано витягує значення, якщо це атомне. (Якщо в ньому вкладено гніздо, то регулярний вираз не може це зробити.)

І подальші чистий (хоча і зберігаючи початкове витікання струни) , ви можете використовувати що - щось на кшталт: | perl -pe 's/"text"://; s/^"//; s/",$//'. (Я зробив це для цього аналізу .)

Для всіх ненависників, які наполягають, слід використовувати справжній аналізатор JSON - так, це важливо для коректності, але

1. Зробити дійсно швидкий аналіз, як-от підрахунок значень для перевірки помилок очищення даних або загального відчуття даних, швидше вибиваючи щось із командного рядка. Відкриття редактора для написання сценарію відволікає.
2. grep -o- на порядок швидше, ніж стандартна jsonбібліотека Python , принаймні, коли це робиться для твітів (що становить ~ 2 КБ кожен). Я не впевнений, чи це просто тому json, що повільно (я повинен колись порівнюватись з yajl); але в принципі, регулярний вираз повинен бути швидшим, оскільки він є кінцевим станом і набагато оптимізованішим, замість аналізатора, який повинен підтримувати рекурсію, і в цьому випадку витрачає багато процесорів на створення дерев для структур, які вам не цікаві. (Якщо хтось написав перетворювач кінцевого стану, який зробив правильний (обмежений глибиною) JSON розбір, це було б фантастично! Тим часом у нас є "grep -o".)

Для написання коду, що підтримується, я завжди використовую справжню бібліотеку розбору. Я не пробував jsawk , але якщо він працює добре, це би вирішило пункт №1.

Останнє, більш веселе, рішення: я написав сценарій, який використовує Python json і витягує потрібні ключі, у стовпчики, розділені на вкладки; то я пропускаю через обгортку навколо, awkщо дозволяє називати доступ до стовпців. Тут: сценарії json2tsv та tsvawk . Отже для цього прикладу було б:

json2tsv id text < tweets.json | tsvawk '{print "tweet " $id " is: " $text}'

Цей підхід не стосується №2, є більш неефективним, ніж один сценарій Python, і він трохи крихкий: він змушує нормалізувати нові рядки та вкладки в рядкових значеннях, щоб грати добре з поглядом на світ / обмеженим записом світу. Але це дозволяє вам залишатися в командному рядку, з більшою коректністю, ніж grep -o.

Виходячи з того, що деякі рекомендації (тут у коментарях) пропонують використовувати Python, я розчарувався, не знайшовши приклад.

Отже, ось один вкладиш, щоб отримати одне значення з деяких даних JSON. Це передбачає, що ви переносите дані в (звідкись), і тому вони повинні бути корисними в сценарії сценаріїв.

echo '{"hostname":"test","domainname":"example.com"}' | python -c 'import json,sys;obj=json.load(sys.stdin);print obj["hostname"]'

Слідом за керівництвом MartinR та Boecko:

$ curl -s 'http://twitter.com/users/username.json' | python -mjson.tool

Це дасть вам надзвичайно приємний вихід. Дуже зручно:

$ curl -s 'http://twitter.com/users/username.json' | python -mjson.tool | grep my_key

Ви можете просто завантажити jqбінарний файл для своєї платформи та запустити ( chmod +x jq):

$ curl 'https://twitter.com/users/username.json' | ./jq -r '.name'

Він витягує "name"атрибут з об'єкта json.

jqдомашня сторінка говорить, що це як sedдля даних JSON.

Використання Node.js

Якщо система має вузолвстановлено, можна використовувати прапори сценарію -pдруку та -eевакуації, JSON.parseщоб витягнути будь-яке необхідне значення.

Простий приклад, використовуючи рядок JSON { "foo": "bar" }і витягуючи значення "foo":

$ node -pe 'JSON.parse(process.argv[1]).foo' '{ "foo": "bar" }'
bar

Оскільки у нас є доступ до catінших утиліт, ми можемо використовувати це для файлів:

$ node -pe 'JSON.parse(process.argv[1]).foo' "$(cat foobar.json)"
bar

Або будь-який інший формат, такий як URL, що містить JSON:

$ node -pe 'JSON.parse(process.argv[1]).name' "$(curl -s https://api.github.com/users/trevorsenior)"
Trevor Senior

Використовуйте підтримку JSON Python замість того, щоб використовувати awk!

Щось на зразок цього:

curl -s http://twitter.com/users/username.json | \
    python -c "import json,sys;obj=json.load(sys.stdin);print obj['name'];"

Ви запитали, як стріляти себе в ногу, і я тут, щоб надати боєприпаси:

curl -s 'http://twitter.com/users/username.json' | sed -e 's/[{}]/''/g' | awk -v RS=',"' -F: '/^text/ {print $2}'

Ви можете використовувати tr -d '{}' замість цього sed. Але видача їх повністю, здається, також має бажаний ефект.

Якщо ви хочете зняти зовнішні лапки, переведіть результат вищезазначеного наскрізь sed 's/\(^"\|"$\)//g'

Я думаю, що інші забили достатню тривогу. Я буду стояти поруч з мобільним телефоном, щоб викликати швидку допомогу. Пожежте, коли будете готові.

Використання Bash з Python

Створіть функцію bash у файлі .bash_rc

function getJsonVal () { 
    python -c "import json,sys;sys.stdout.write(json.dumps(json.load(sys.stdin)$1))"; 
}

Тоді

$ curl 'http://twitter.com/users/username.json' | getJsonVal "['text']"
My status
$ 

Ось така ж функція, але з перевіркою помилок.

function getJsonVal() {
   if [ \( $# -ne 1 \) -o \( -t 0 \) ]; then
       cat <<EOF
Usage: getJsonVal 'key' < /tmp/
 -- or -- 
 cat /tmp/input | getJsonVal 'key'
EOF
       return;
   fi;
   python -c "import json,sys;sys.stdout.write(json.dumps(json.load(sys.stdin)$1))";
}

Якщо $ # -ne 1 гарантує щонайменше 1 вхід, а -t 0 переконайтеся, що ви переспрямовуєтесь з труби.

Приємна річ у цій реалізації полягає в тому, що ви можете отримати доступ до вкладених значень json та отримати json взамін! =)

Приклад:

$ echo '{"foo": {"bar": "baz", "a": [1,2,3]}}' |  getJsonVal "['foo']['a'][1]"
2

Якщо ви хочете бути по-справжньому фантазійними, ви можете досить роздрукувати дані:

function getJsonVal () { 
    python -c "import json,sys;sys.stdout.write(json.dumps(json.load(sys.stdin)$1, sort_keys=True, indent=4))"; 
}

$ echo '{"foo": {"bar": "baz", "a": [1,2,3]}}' |  getJsonVal "['foo']"
{
    "a": [
        1, 
        2, 
        3
    ], 
    "bar": "baz"
}

TickTick - синтаксичний аналізатор JSON, написаний bash (<250 рядків коду)

Ось авторський фрагмент з його статті " Уявіть собі світ, де Баш підтримує JSON :

#!/bin/bash
. ticktick.sh

``  
  people = { 
    "Writers": [
      "Rod Serling",
      "Charles Beaumont",
      "Richard Matheson"
    ],  
    "Cast": {
      "Rod Serling": { "Episodes": 156 },
      "Martin Landau": { "Episodes": 2 },
      "William Shatner": { "Episodes": 2 } 
    }   
  }   
``  

function printDirectors() {
  echo "  The ``people.Directors.length()`` Directors are:"

  for director in ``people.Directors.items()``; do
    printf "    - %s\n" ${!director}
  done
}   

`` people.Directors = [ "John Brahm", "Douglas Heyes" ] ``
printDirectors

newDirector="Lamont Johnson"
`` people.Directors.push($newDirector) ``
printDirectors

echo "Shifted: "``people.Directors.shift()``
printDirectors

echo "Popped: "``people.Directors.pop()``
printDirectors

Розбір JSON з PHP CLI

Можливо, поза темою, але оскільки панує пріоритет, це питання залишається незавершеним без згадки про нашого надійного та вірного PHP, я прав?

Використовуючи той же приклад JSON, але дозволяє призначити його змінній, щоб зменшити невизначеність.

$ export JSON='{"hostname":"test","domainname":"example.com"}'

Тепер на користь PHP, використовуючи file_get_contents та обгортку потоку php: // stdin .

$ echo $JSON|php -r 'echo json_decode(file_get_contents("php://stdin"))->hostname;'

або як вказувалося за допомогою fgets та вже відкритого потоку при CLI константі STDIN .

$ echo $JSON|php -r 'echo json_decode(fgets(STDIN))->hostname;'

nJoy!

Версія Native Bash: Також добре працює з косою рисою (\) та котируваннями (")

function parse_json()
{
    echo $1 | \
    sed -e 's/[{}]/''/g' | \
    sed -e 's/", "/'\",\"'/g' | \
    sed -e 's/" ,"/'\",\"'/g' | \
    sed -e 's/" , "/'\",\"'/g' | \
    sed -e 's/","/'\"---SEPERATOR---\"'/g' | \
    awk -F=':' -v RS='---SEPERATOR---' "\$1~/\"$2\"/ {print}" | \
    sed -e "s/\"$2\"://" | \
    tr -d "\n\t" | \
    sed -e 's/\\"/"/g' | \
    sed -e 's/\\\\/\\/g' | \
    sed -e 's/^[ \t]*//g' | \
    sed -e 's/^"//'  -e 's/"$//'
}


parse_json '{"username":"john, doe","email":"john@doe.com"}' username
parse_json '{"username":"john doe","email":"john@doe.com"}' email

--- outputs ---

john, doe
johh@doe.com

Версія, яка використовує Ruby та http://flori.github.com/json/

$ < file.json ruby -e "require 'rubygems'; require 'json'; puts JSON.pretty_generate(JSON[STDIN.read]);"

або більш стисло:

$ < file.json ruby -r rubygems -r json -e "puts JSON.pretty_generate(JSON[STDIN.read]);"

На жаль, топ проголосували відповідь , який використовує grepповертає повний матч , який не працював в моєму сценарії, але якщо ви знаєте формат JSON буде залишатися незмінною ви можете використовувати назад ' і попередній для вилучення тільки необхідних значень.

# echo '{"TotalPages":33,"FooBar":"he\"llo","anotherValue":100}' | grep -Po '(?<="FooBar":")(.*?)(?=",)'
he\"llo
# echo '{"TotalPages":33,"FooBar":"he\"llo","anotherValue":100}' | grep -Po '(?<="TotalPages":)(.*?)(?=,)'
33
#  echo '{"TotalPages":33,"FooBar":"he\"llo","anotherValue":100}' | grep -Po '(?<="anotherValue":)(.*?)(?=})'
100

Якщо хтось просто хоче витягти значення з простих об'єктів JSON без необхідності вкладених структур, можна використовувати регулярні вирази, навіть не залишаючи bash.

Ось функція, яку я визначив, використовуючи bash регулярні вирази на основі стандарту JSON :

function json_extract() {
  local key=$1
  local json=$2

  local string_regex='"([^"\]|\\.)*"'
  local number_regex='-?(0|[1-9][0-9]*)(\.[0-9]+)?([eE][+-]?[0-9]+)?'
  local value_regex="${string_regex}|${number_regex}|true|false|null"
  local pair_regex="\"${key}\"[[:space:]]*:[[:space:]]*(${value_regex})"

  if [[ ${json} =~ ${pair_regex} ]]; then
    echo $(sed 's/^"\|"$//g' <<< "${BASH_REMATCH[1]}")
  else
    return 1
  fi
}

Застереження: об'єкти та масиви не підтримуються як значення, але підтримуються всі інші типи значень, визначені у стандарті. Крім того, пара буде відповідна незалежно від того, наскільки глибоко в документі JSON вона знаходиться до тих пір, поки вона має точно таку ж ключову назву.

На прикладі ОП:

$ json_extract text "$(curl 'http://twitter.com/users/username.json')"
My status

$ json_extract friends_count "$(curl 'http://twitter.com/users/username.json')"
245

Існує простіший спосіб отримати властивість з рядка json. Використовуючи package.jsonфайл як приклад, спробуйте це:

#!/usr/bin/env bash
my_val="$(json=$(<package.json) node -pe "JSON.parse(process.env.json)['version']")"

Ми використовуємо, process.envоскільки це передає вміст файлу в node.js як рядок без будь-якого ризику, щоб шкідливий вміст уникнув їх цитування та був розбір як код.

Тепер, коли Powershell є крос-платформою, я подумав, що перекину його там, оскільки вважаю це досить інтуїтивно зрозумілим та надзвичайно простим.

curl -s 'https://api.github.com/users/lambda' | ConvertFrom-Json 

ConvertFrom-Json перетворює JSON в спеціальний об'єкт Powershell, тому ви можете легко працювати з властивостями з цього моменту вперед. Якщо ви хотіли, наприклад, властивості "id", ви просто зробите це:

curl -s 'https://api.github.com/users/lambda' | ConvertFrom-Json | select -ExpandProperty id

Якщо ви хочете покликатись на все з Bash, вам доведеться назвати це так:

powershell 'curl -s "https://api.github.com/users/lambda" | ConvertFrom-Json'

Звичайно, існує чистий спосіб Powershell зробити це без завитку, який би був:

Invoke-WebRequest 'https://api.github.com/users/lambda' | select -ExpandProperty Content | ConvertFrom-Json

Нарешті, є також "ConvertTo-Json", який так само легко перетворює спеціальний об'єкт у JSON. Ось приклад:

(New-Object PsObject -Property @{ Name = "Tester"; SomeList = @('one','two','three')}) | ConvertTo-Json

Що дозволило б отримати такий хороший JSON:

{
"Name":  "Tester",
"SomeList":  [
                 "one",
                 "two",
                 "three"
             ]

}

Правда, використання оболонки Windows на Unix є дещо неправдоподібним, але Powershell дуже хороший у деяких речах, і розбір JSON та XML - це пара з них. Ця сторінка GitHub для версії для кросплатформ https://github.com/PowerShell/PowerShell

Хтось, у якого також є XML-файли, може захотіти подивитися на мій Xidel . Це кліп , незалежний від JSONiq процесор . (тобто він також підтримує XQuery для обробки xml або json)

Приклад у питанні:

 xidel -e 'json("http://twitter.com/users/username.json")("name")'

Або із власним нестандартним синтаксисом розширення:

 xidel -e 'json("http://twitter.com/users/username.json").name'

Я не можу використати тут жодної відповіді. Немає доступних jq, немає масивів оболонок, немає оголошення, немає grep -P, немає перспектив і lookahead, ні Python, ні Perl, ні Ruby, ні - навіть Bash ... Залишилися відповіді просто не працюють добре. JavaScript прозвучав знайомо, але олово каже Nescaffe - так що це теж не йде :) Навіть якщо вони будуть доступні, для моєї простої потреби - вони будуть надмірними і повільними.

Тим не менше, для мене надзвичайно важливо отримати багато змінних з форматованої відповіді json мого модему. Я роблю це в ш, з дуже підстриженим BusyBox на моїх маршрутизаторах! Немає проблем із використанням однієї програми awk: просто встановіть роздільники та прочитайте дані. Для однієї змінної це все!

awk 'BEGIN { FS="\""; RS="," }; { if ($2 == "login") {print $4} }' test.json

Пам'ятаєте, у мене немає масивів? Мені довелося призначити в межах awk проаналізовані дані 11 змінним, які мені потрібні в сценарії оболонки. Куди б я не глянув, це говорилося про неможливу місію. З цим теж немає проблем.

Моє рішення просте. Цей код: 1) розбере .json-файл із запитання (фактично я запозичив зразок робочих даних із найбільш актуалізованої відповіді) та виберу цитовані дані, плюс 2) створить змінні оболонки зсередини awk, призначивши вільну названу оболонку назви змінних.

eval $( curl -s 'https://api.github.com/users/lambda' | 
awk ' BEGIN { FS="\""; RS="," };
{
    if ($2 == "login") { print "Login=\""$4"\"" }
    if ($2 == "name") { print "Name=\""$4"\"" }
    if ($2 == "updated_at") { print "Updated=\""$4"\"" }
}' )
echo "$Login, $Name, $Updated"

Немає проблем із заготовками всередині. У моєму використанні та сама команда аналізує довгий вихід одного рядка. Оскільки використовується eval, це рішення підходить лише для надійних даних. Його легко адаптувати до підбору даних, котируються без котирування. Для величезної кількості змінних, граничний приріст швидкості можна досягти, використовуючи ще, якщо. Відсутність масиву, очевидно, означає: відсутність декількох записів без зайвих фейдів. Але там, де доступні масиви, адаптувати це рішення - це просте завдання.

@maikel sed відповідь майже працює (але я не можу коментувати це). Для моїх добре відформатованих даних - це працює. Не так багато з прикладу, який тут використовується (відсутні цитати викидають його). Це складно і важко модифікувати. Крім того, мені не подобається робити 11 дзвінків, щоб витягти 11 змінних. Чому? Я приуротив 100 циклів, витягуючи 9 змінних: функція sed займала 48,99 сек, а мій розчин займав 0,91 сек! Нечесно? Виконується лише один видобуток 9 змінних: 0,51 проти 0,02 сек.

Ви можете спробувати щось подібне -

curl -s 'http://twitter.com/users/jaypalsingh.json' | 
awk -F=":" -v RS="," '$1~/"text"/ {print}'

Ви можете використовувати jshon:

curl 'http://twitter.com/users/username.json' | jshon -e text

ось один із способів зробити це з awk

curl -sL 'http://twitter.com/users/username.json' | awk -F"," -v k="text" '{
    gsub(/{|}/,"")
    for(i=1;i<=NF;i++){
        if ( $i ~ k ){
            print $i
        }
    }
}'

Для більш складного розбору JSON я пропоную використовувати модуль python jsonpath (від Стефана Госснера) -

1. Встановити його -

sudo easy_install -U jsonpath

1. Використай це -

Приклад file.json (від http://goessner.net/articles/JsonPath ) -

{ "store": {
    "book": [ 
      { "category": "reference",
        "author": "Nigel Rees",
        "title": "Sayings of the Century",
        "price": 8.95
      },
      { "category": "fiction",
        "author": "Evelyn Waugh",
        "title": "Sword of Honour",
        "price": 12.99
      },
      { "category": "fiction",
        "author": "Herman Melville",
        "title": "Moby Dick",
        "isbn": "0-553-21311-3",
        "price": 8.99
      },
      { "category": "fiction",
        "author": "J. R. R. Tolkien",
        "title": "The Lord of the Rings",
        "isbn": "0-395-19395-8",
        "price": 22.99
      }
    ],
    "bicycle": {
      "color": "red",
      "price": 19.95
    }
  }
}

Розберіть його (витягніть усі назви книг із ціною <10) -

$ cat file.json | python -c "import sys, json, jsonpath; print '\n'.join(jsonpath.jsonpath(json.load(sys.stdin), 'store.book[?(@.price < 10)].title'))"

Вийде -

Sayings of the Century
Moby Dick

ПРИМІТКА. Вищевказаний командний рядок не включає перевірку помилок. для повного рішення з перевіркою помилок ви повинні створити невеликий скрипт python та обернути його кодом за допомогою випробування.

Якщо у вас є php :

php -r 'var_export(json_decode(`curl http://twitter.com/users/username.json`, 1));'

Наприклад: у
нас є ресурс, який надає json країнам iso-коди: http://country.io/iso3.json, і ми можемо легко бачити його в оболонці з curl:

curl http://country.io/iso3.json

але це виглядає не дуже зручно і не читається, краще проаналізуйте json і побачити зручну структуру:

php -r 'var_export(json_decode(`curl http://country.io/iso3.json`, 1));'

Цей код надрукує щось на зразок:

array (
  'BD' => 'BGD',
  'BE' => 'BEL',
  'BF' => 'BFA',
  'BG' => 'BGR',
  'BA' => 'BIH',
  'BB' => 'BRB',
  'WF' => 'WLF',
  'BL' => 'BLM',
  ...

якщо ви вклали масиви, цей вихід буде виглядати набагато краще ...

Сподіваюся, що це допоможе ...

Також є дуже простий, але потужний інструмент для обробки JSON CLI fx - https://github.com/antonmedv/fx

Приклади

Використовуйте анонімну функцію:

$ echo '{"key": "value"}' | fx "x => x.key"
value

Якщо ви не передасте анонімну функцію param => ..., код буде автоматично перетворений в анонімну функцію. І ви можете отримати доступ до JSON за цим ключовим словом:

$ echo '[1,2,3]' | fx "this.map(x => x * 2)"
[2, 4, 6]

Або просто також використовуйте синтаксис крапки:

$ echo '{"items": {"one": 1}}' | fx .items.one
1

Ви можете передавати будь-яку кількість анонімних функцій для зменшення JSON:

$ echo '{"items": ["one", "two"]}' | fx "this.items" "this[1]"
two

Ви можете оновити існуючий JSON за допомогою оператора спред:

$ echo '{"count": 0}' | fx "{...this, count: 1}"
{"count": 1}

Просто звичайний JavaScript . Не потрібно вивчати новий синтаксис.

ОНОВЛЕННЯ 2018-11-06

fxтепер має інтерактивний режим ( ! )

https://github.com/antonmedv/fx

Це ще одна bashі pythonгібридна відповідь. Я опублікував цю відповідь, тому що хотів обробити більш складний вихід JSON, але, зменшивши складність моєї програми bash. Я хочу зламати наступний об’єкт JSON з http://www.arcgis.com/sharing/rest/info?f=json у bash:

{
  "owningSystemUrl": "http://www.arcgis.com",
  "authInfo": {
    "tokenServicesUrl": "https://www.arcgis.com/sharing/rest/generateToken",
    "isTokenBasedSecurity": true
  }
}

У наступному прикладі я створив власну реалізацію jqта unquoteвикористання python. Ви помітите, що щойно ми імпортуємо об’єкт jsonpython з словника python, ми можемо використовувати синтаксис python для навігації по словнику. Для навігації до вищезазначеного синтаксис:

• data
• data[ "authInfo" ]
• data[ "authInfo" ][ "tokenServicesUrl" ]

Використовуючи магію в баші, ми опускаємо dataі лише подаємо текст пітона праворуч від даних, тобто

• jq
• jq '[ "authInfo" ]'
• jq '[ "authInfo" ][ "tokenServicesUrl" ]'

Зверніть увагу, без параметрів, jq виступає як затискач JSON. За допомогою параметрів ми можемо використовувати синтаксис python для вилучення всього словника зі словника, включаючи навігацію до підручників та елементів масиву.

Ось робочий приклад, який демонструє вищесказане:

jq_py() {
cat <<EOF
import json, sys
data = json.load( sys.stdin )
print( json.dumps( data$1, indent = 4 ) )
EOF
}

jq() {
  python -c "$( jq_py "$1" )"
}

unquote_py() {
cat <<EOF
import json,sys
print( json.load( sys.stdin ) )
EOF
}

unquote() {
  python -c "$( unquote_py )"
}

curl http://www.arcgis.com/sharing/rest/info?f=json | tee arcgis.json
# {"owningSystemUrl":"https://www.arcgis.com","authInfo":{"tokenServicesUrl":"https://www.arcgis.com/sharing/rest/generateToken","isTokenBasedSecurity":true}}

cat arcgis.json | jq
# {
#     "owningSystemUrl": "https://www.arcgis.com",
#     "authInfo": {
#         "tokenServicesUrl": "https://www.arcgis.com/sharing/rest/generateToken",
#         "isTokenBasedSecurity": true
#     }
# }

cat arcgis.json | jq '[ "authInfo" ]'
# {
#     "tokenServicesUrl": "https://www.arcgis.com/sharing/rest/generateToken",
#     "isTokenBasedSecurity": true
# }

cat arcgis.json | jq '[ "authInfo" ][ "tokenServicesUrl" ]'
# "https://www.arcgis.com/sharing/rest/generateToken"

cat arcgis.json | jq '[ "authInfo" ][ "tokenServicesUrl" ]' | unquote
# https://www.arcgis.com/sharing/rest/generateToken

Я зробив це, "проаналізувавши" відповідь json для певного значення таким чином:

curl $url | grep $var | awk '{print $2}' | sed s/\"//g 

Зрозуміло, що $ url тут буде URL-адресою Twitter, а $ var - "текстом", щоб отримати відповідь на цей var.

Дійсно, я думаю, що єдине, що я робив, що ОП покинув, - це греп за лінію з конкретною змінною, яку він прагне. Awk хапає другий пункт на рядку, і sed забираю лапки.

Хтось розумніший за мене, мабуть, міг би роздумати цілком роздуто чи жартівливо.

Тепер ви можете це зробити лише за допомогою sed:

curl $url | sed '/text/!d' | sed s/\"text\"://g | sed s/\"//g | sed s/\ //g

таким чином, ні гад, ні греп ... Я не знаю, чому я не думав про це раніше. Гммм ...

Розбір JSON болючий у сценарії оболонки. З більш підходящою мовою створіть інструмент, який витягує атрибути JSON таким чином, що відповідає конвенціям про сценарій оболонки. Ви можете використовувати свій новий інструмент для вирішення негайної проблеми з сценарієм оболонки, а потім додати його до свого набору для майбутніх ситуацій.

Наприклад, розгляньте інструмент jsonlookup таким, що якщо я скажу, jsonlookup access token idвін поверне ідентифікатор атрибута, визначений в токені атрибута, визначеному в доступі до атрибуту від stdin, який, імовірно, є даними JSON. Якщо атрибута не існує, інструмент нічого не повертає (статус виходу 1). Якщо синтаксичний розбір не вдається, вийдіть із статусом 2 та наведіть повідомлення для stderr. Якщо пошук успішний, інструмент друкує значення атрибута.

Створивши інструмент unix для точної мети вилучення значень JSON, ви можете легко використовувати його в скриптах оболонки:

access_token=$(curl <some horrible crap> | jsonlookup access token id)

Будь-яка мова буде робити для реалізації jsonlookup . Ось досить лаконічна версія пітона:

#!/usr/bin/python                                                               

import sys
import json

try: rep = json.loads(sys.stdin.read())
except:
    sys.stderr.write(sys.argv[0] + ": unable to parse JSON from stdin\n")
    sys.exit(2)
for key in sys.argv[1:]:
    if key not in rep:
        sys.exit(1)
    rep = rep[key]
print rep

Дволінійний, який використовує пітон. Це особливо добре працює, якщо ви пишете один .sh-файл і не хочете залежати від іншого .py-файлу. Він також використовує трубу |. echo "{\"field\": \"value\"}"можна замінити будь-яким друком json на stdout.

echo "{\"field\": \"value\"}" | python -c 'import sys, json
print(json.load(sys.stdin)["field"])'

Це хороший шафа для pythonpy :

curl 'http://twitter.com/users/username.json' | py 'json.load(sys.stdin)["name"]'