Як отримати твіти з командного рядка?

Чи є простий спосіб отримати чиїсь твіти з командного рядка?

Обліковий запис буде загальнодоступним, а команда - або сценарій, якщо потрібно - отримає всі або вказану кількість останніх твітів у текстовий файл, по одному твіту на рядок, без метаданих, найновішим у першому рядку.

Без використання API, лише bash.

Починаючи з близької дати, Twitter не впустить вас у їх API, не маючи ключа OAuth. Але в якості вирішення можна використовувати API пошуку. Це RESTful, тому ви можете використовувати curlрезультати пошуку у форматі JSON. Наприклад, якщо ви хочете отримати твіти @ java та зберегти його у файл ~/.tweets, цей рядок коду можна використовувати:

curl http://search.twitter.com/search.json?q=from:java&page=1&rpp=10&callback=? >> $HOME/.tweets

І ви можете розібрати файл, використовуючи будь-який аналізатор JSON.

Існують інструменти для розбору JSON з інтерфейсу командного рядка. Хоча я ніколи цього не використовував, я покладу кілька посилань на деякі ресурси, щоб допомогти вам знайти найкращий інструмент:

• /programming/3858671/unix-command-line-json-parser
• http://www.conigliaro.org/2011/01/24/jazor-a-simple-command-line-json-parsing-tool/
• /programming/1955505/parsing-json-with-sed-and-awk
• http://kmkeen.com/jshon/

І як невеличка примітка, швидше використовувати деякі Python або Ruby (або інші).

Якщо ви не хочете використовувати API Twitter, ви можете захопити RSS-канал профілю Twitter за допомогою скрипту bash, а потім перейти до форматування його звідти.

• /programming/8632233/read-rss-feed-using-a-shell-script

Оскільки API API застарів RSS-канал, ви можете це вирішити, створивши RSS-канал, використовуючи результати пошуку.

Ось RSS-канал моїх твітів .

Однак вам доведеться зібрати необхідний сценарій bash. Від отримання RSS-каналу до форматування твітів відповідно до ваших вимог.

Це мій сценарій, створений для використання заставки

#!/bin/bash

user="$1"
user="${user:=pontifex_pl}"

last_status_url=$(lynx -dump https://twitter.com/$user \
    | grep -i "$user/status/" \
    | head -1 \
    | awk '{print $2}')

lynx -dump "$last_status_url" \
    | grep 'Twitter:' -m1 -A4 \
    | tr -d '\n' \
    | sed -e 's/[^"]*"//' -e 's/".*//' \
    | tr -s ' '

echo

Я зробив інструмент, який повинен робити майже точно те, що ви описали: twitter-screen-scrape . За замовчуванням він буде виводитись у JSON з метаданими, але тривіально передавати вихід через щось на зразок підкреслення-кліп, щоб викреслити все, що вам не хочеться.

$ twitter-screen-scrape -u slang800 | underscore pluck text --outfmt text > outputfile

Можна піти маршрутом python + tweepy:

1. Створення власної програми Twitter (для отримання ключів API)
2. Створіть маркери доступу для свого акаунта Twitter
3. Використовуйте такий сценарій разом із вашими обліковими даними: https://gist.github.com/yanofsky/5436496

Я просто перевірив це, і він чудово працює. Однак є користувачі, які захищають свої твіти, тому вони можуть не давати вам завантажувати все. Але це особливість щебетання.

Ліміт все ще 3200, і ви отримаєте файл CSV.

Ви можете використовувати twarcприклад, якщо ви хочете архівувати твіти Nassim Nicholas Taleb, якими ви користуєтесь.

twarc timeline nntaleb --format csv> taleb.csv 

Ви також можете використовувати інші формати: --format {json,csv,csv-excel}

Як налаштувати twarc: Єдиний спосіб отримати повні твіти використовує , до APIжаль , навіть якщо додаток прозоро вам потрібно мати первісну установку і настройку, необхідно також застосовувати для API(

Починаючи з липня 2018 року, ви повинні подати заявку на акаунт розробника Twitter і отримати схвалення, перш ніж створювати нові програми.

)

Отримавши ключі програми, ви можете сказати, twarcщо вони є з командою config.

twarc configure

Це буде зберігати облікові дані у файлі з ім'ям .twarcв вашому домашньому каталозі , тому вам не доведеться вводити їх знову . Якщо ви воліли б постачати їх безпосередньо ви можете встановити їх в навколишньому середовищі ( CONSUMER_KEY, CONSUMER_SECRET, ACCESS_TOKEN, ACCESS_TOKEN_SECRET) або з допомогою параметрів командного рядка ( --consumer_key, --consumer_secret, --access_token, --access_token_secret).