Нещодавно Stroustrup опублікував серію дописів, де розкриваються популярні міфи про C ++ . П'ятий міф: "C ++ - це лише для великих, складних програм". Щоб розблокувати його, він написав просту програму C ++, завантажуючи веб-сторінку та витягуючи з неї посилання . Ось:

#include <string>
#include <set>
#include <iostream>
#include <sstream>
#include <regex>
#include <boost/asio.hpp>

using namespace std;

set<string> get_strings(istream& is, regex pat)
{
    set<string> res;
    smatch m;
    for (string s; getline(is, s);)  // read a line
        if (regex_search(s, m, pat))
            res.insert(m[0]);              // save match in set
    return res;
}

void connect_to_file(iostream& s, const string& server, const string& file)
// open a connection to server and open an attach file to s
// skip headers
{
    if (!s)
        throw runtime_error{ "can't connect\n" };

    // Request to read the file from the server:
    s << "GET " << "http://" + server + "/" + file << " HTTP/1.0\r\n";
    s << "Host: " << server << "\r\n";
    s << "Accept: */*\r\n";
    s << "Connection: close\r\n\r\n";

    // Check that the response is OK:
    string http_version;
    unsigned int status_code;
    s >> http_version >> status_code;

    string status_message;
    getline(s, status_message);
    if (!s || http_version.substr(0, 5) != "HTTP/")
        throw runtime_error{ "Invalid response\n" };

    if (status_code != 200)
        throw runtime_error{ "Response returned with status code" };

    // Discard the response headers, which are terminated by a blank line:
    string header;
    while (getline(s, header) && header != "\r")
        ;
}

int main()
{
    try {
        string server = "www.stroustrup.com";
        boost::asio::ip::tcp::iostream s{ server, "http" };  // make a connection
        connect_to_file(s, server, "C++.html");    // check and open file

        regex pat{ R"((http://)?www([./#\+-]\w*)+)" }; // URL
        for (auto x : get_strings(s, pat))    // look for URLs
            cout << x << '\n';
    }
    catch (std::exception& e) {
        std::cout << "Exception: " << e.what() << "\n";
        return 1;
    }
}

Давайте покажемо Stroustrup, що насправді є маленькою та читаною програмою.

1. Завантажити http://www.stroustrup.com/C++.html

2. Список усіх посилань:

   http://www-h.eng.cam.ac.uk/help/tpl/languages/C++.html
   http://www.accu.org
   http://www.artima.co/cppsource
   http://www.boost.org
   ...
   

Ви можете використовувати будь-яку мову, але сторонні бібліотеки заборонені.

Переможець

Відповідь C ++ виграна голосами, але вона покладається на третьої сторонньої бібліотеки (яка заборонена правилами), і разом з іншим близьким конкурентом Bash покладається на злому HTTP-клієнта (він не працюватиме з HTTPS, gzip, переадресації тощо). Тож Вольфрам - явний переможець. Ще одне рішення, яке наближається за розмірами та читабельністю, це PowerShell (із покращенням коментарів), але воно не приділяло великої уваги. Основні мови ( Python , C # ) теж наблизилися.

Вольфрам

Це відчувається як повне обман

Import["http://www.stroustrup.com/C++.html", "Hyperlinks"]

Тому просто додайте трохи чесного розбору зверху

Cases[
 Import["http://www.stroustrup.com/C++.html", "XMLObject"],
 XMLElement["a", {___, "href" -> link_, ___}, ___] :> 
  link /; StringMatchQ[link, RegularExpression["((http://)?www([./#\\+-]\\w*)+)"]]
, Infinity]

C ++

#include <boost/asio.hpp>
#include <regex>
#include <iostream>
int main() {
    std::string server = "www.stroustrup.com";
    std::string request = "GET http://" + server + "/C++.html HTTP/1.0\r\nHost: " + server + "\r\n\r\n";
    boost::asio::ip::tcp::iostream s{server, "http"};
    s << request;
    std::regex pat{R"((http://)?www([./#\+-]\w*)+)"};
    std::smatch m;
    for (std::string l; getline(s, l);)
        if (std::regex_search(l, m, pat))
            std::cout << m[0] << "\n";
}

Основним недоліком є ​​незручний характер boost :: asio, я впевнений, що він може бути ще коротшим з кращою бібліотекою.

Pure Bash на Linux / OS X (без зовнішніх утиліт)

Програмне забезпечення для клієнтів HTTP сумно роздуто. Ми не хочемо таких залежностей. Натомість ми можемо натиснути відповідні заголовки вниз по потоку TCP і прочитати результат. Для аналізу результату не потрібно викликати архаїчні утиліти, такі як grep або sed.

domain="www.stroustrup.com"
path="C++.html"
exec 3<> /dev/tcp/$domain/80
printf "GET /$path HTTP/1.1\r\nhost: %s\r\nConnection: close\r\n\r\n" "$domain" >&3
while read -u3; do
    if [[ "$REPLY" =~ http://[^\"]* ]]; then
        printf '%s\n' "$BASH_REMATCH"
    fi
done

Мех - я думаю, це може бути читабельніше ...

Пітон 2

import urllib2 as u, re
s = "http://www.stroustrup.com/C++.html"
w = u.urlopen(s)
h = w.read()
l = re.findall('"((http)s?://.*?)"', h)
print l

Хлумка, але працює

C #

using System;
using System.Net;
using System.Text.RegularExpressions;

class Program {
    static void Main() {
        string html = new WebClient().DownloadString("http://www.stroustrup.com/C++.html");
        foreach (Match match in Regex.Matches(html, @"https?://[^""]+"))
            Console.WriteLine(match);
    }
}

"Немає сторонніх" - це помилка

Я думаю, що припущення "без сторонніх" - це помилка. І це специфічна помилка, яка вражає розробників C ++, оскільки так важко зробити багаторазовий код у C ++. Коли ви взагалі щось розробляєте, навіть якщо це невеликий сценарій, ви завжди будете використовувати будь-які фрагменти коду для багаторазового використання.

Річ у тому, що на таких мовах, як Perl, Python, Ruby (щоб назвати їх декілька), повторно використовувати чужий код не тільки просто, але це те, як більшість людей насправді пише код на більшій частині часу.

C ++, завдяки своїм майже неможливим у підтримці сумісним вимогам ABI, робить цю роботу набагато складнішою, ви закінчуєте такий проект, як Boost, який є жахливим сховищем коду та дуже малою складовою за його межами.

Приклад CPAN

Для задоволення це, ось приклад на основі CPAN, з належним розбором html, замість того, щоб намагатися використовувати регулярний вираз для розбору html

#!/usr/bin/perl
use HTML::LinkExtor;
sub callback {
   my ($tag, %links) = @_;
   print map { "$_\n" } values %links
}
$p = HTML::LinkExtor->new(\&callback, "http://www.stroustrup.com/C++.html");

Оболонка UNIX

lynx -dump http://www.stroustrup.com/C++.html | grep -o '\w*://.*'

Також знаходить ftp://посилання :)

Інший спосіб, не покладаючись на ://синтаксис:

lynx -dump -listonly http://www.stroustrup.com/C++.html | sed -n 's/^[ 0-9.]\+//p'

CSS 3

* {
  margin: 0;
  padding: 0;
}
*:not(a) {
  font: 0/0 monospace;
  color: transparent;
  background: transparent !important;
}
a {
  content: "";
}
a[href*="://"]::after {
  content: attr(href);
  float: left;
  clear: left;
  display: block;
  font: 12px monospace;
  color: black;
}

Цей код може бути використаний як стиль користувача для відображення лише абсолютних посилань на сторінці у неформатоване списку. Він може працювати неправильно, якщо ваш браузер застосовує мінімальний розмір шрифту.

Він коректно працює з http://www.stroustrup.com/C++.html(зверніть увагу !importantна background). Щоб працювати на інших сторінках з більшою кількістю стилів, його потрібно розширити (скинути більше властивостей, позначити властивості як важливі тощо).

Альтернативна версія, що включає відносні посилання, за винятком внутрішньосторінкових посилань, що починаються з хешей (на жаль, покладається на жорстко закодовану абсолютну посилання):

* {
  margin: 0;
  padding: 0;
}
*:not(a) {
  font: 0/0 monospace;
  color: transparent;
  background: transparent !important;
  float: none !important;
  width: auto !important;
  border: none !important;
}
a {
  content: "";
}
a::after {
  display: none;
}
a:not([href^="#"])::after {
  content: attr(href);
  float: left;
  clear: left;
  display: block;
  font: 12px monospace;
  color: black;
}
a:not([href*="://"])::after {
  content: "http://www.stroustrup.com/" attr(href);
}

Clojure

(->> (slurp "http://www.stroustrup.com")
     (re-seq #"(?:http://)?www(?:[./#\+-]\w*)+"))

Emacs Lisp

(with-current-buffer (url-retrieve-synchronously "http://www.stroustrup.com/C++.html")
  (while (re-search-forward "https?://[^\\\"]*")
    (print (match-string 0))))

Скала

"""\"(https?://.*?)\"""".r.findAllIn(scala.io.Source.fromURL("http://www.stroustrup.com/C++.html").mkString).foreach(println)

PHP 5

<?php
preg_match_all('/"(https?:\/\/.*?)"/',file_get_contents('http://www.stroustrup.com/C++.html'),$m);
print_r($m[1]);

PowerShell

Пошук тексту за всіма повноцінними URL - адресами (включаючи JavaScript, CSS тощо):

[string[]][regex]::Matches((iwr "http://www.stroustrup.com/C++.html"), '\w+://[^"]+')

Або отримувати посилання лише в тегах прив’язки (включає відносні URL-адреси):

(iwr "http://www.stroustrup.com/C++.html").Links | %{ $_.href }

Короткі версії з коментарів:

(iwr "http://www.stroustrup.com/C++.html").Links.href

(iwr "http://www.stroustrup.com/C++.html").Links.href-match":"

D

import std.net.curl, std.stdio;
import std.algorithm, std.regex;

void main() {
foreach(_;byLine("http://www.stroustrup.com/C++.html")
    .map!((a)=>a.matchAll(regex(`<a.*?href="(.*)"`)))
    .filter!("a")){ writeln(_.front[1]); }
}

Node.js

var http = require('http');

http.get('http://www.stroustrup.com/C++.html', function (res) {
    var data = '';
    res.on('data', function (d) {
        data += d;
    }).on('end', function () {
        console.log(data.match(/"https?:\/\/.*?"/g));
    }).setEncoding('utf8');
});

Рубін

require 'net/http'
result = Net::HTTP.get(URI.parse('http://www.stroustrup.com/C++.html'))
result.scan(/"((http)s?://.*?)"/)

Хаскелл

Деякі проблеми з "\w"Text.Regex.Posix

import Network.HTTP
import Text.Regex.Posix
pattern = "((http://)?www([./#\\+-][a-zA-Z]*)+)"
site = "http://www.stroustrup.com/C++.html"

main = do
    file <- getResponseBody =<< simpleHTTP (getRequest site)
    let result = getAllTextMatches $ file =~ pattern
    putStr $ unlines result -- looks nicer

PHP

Наскільки я можу сказати, більшість сучасних PHP-установок оснащені обробкою DOM, тож ось ця, яка насправді перебирає якіри всередині HTML:

foreach (@DOMDocument::loadHTMLFile('http://stroustrup.com/C++.html')->getElementsByTagName('a') as $a) {
    if (in_array(parse_url($url = $a->getAttribute('href'), PHP_URL_SCHEME), ['http', 'https'], true)) {
        echo $url, PHP_EOL;
    }
}

Внутрішню петлю можна скоротити до:

preg_match('~^https?://~', $url = $a->getAttribute('href')) && printf("%s\n", $url);

Unix Shell

wget -q -O - http://www.stroustrup.com/C++.html | sed -n '/http:/s/.*href="\([^"]*\)".*/\1/p' | sort

Хоча я мушу визнати, що це не працює, якщо в рядку є більше одного посилання.

Java

import java.util.regex.*;
class M{
    public static void main(String[]v)throws Throwable{
        Matcher m = Pattern.compile( "\"((http)s?://.*?)\"" )
            .matcher(
                 new Scanner(
                         new URL( "http://www.stroustrup.com/C++.html" )
                             .openStream(),
                         "UTF-8")
                     .useDelimiter("\\A")
                     .next());
        while(m.find())
            System.out.println(m.group());
    }
}

Groovy

"http://www.stroustrup.com/C++.html".toURL().text.findAll(/https?:\/\/[^"]+/).each{println it}

SQL (SQL Anywhere 16)

Визначте збережену процедуру для отримання веб-сторінки

CREATE OR REPLACE PROCEDURE CPPWebPage()
URL 'http://www.stroustrup.com/C++.html'
TYPE 'HTTP';

Створіть набір результатів за допомогою одного запиту

SELECT REGEXP_SUBSTR(Value,'"https?://[^""]+"',1,row_num) AS Link  
FROM (SELECT Value FROM CPPWebPage() WITH (Attribute LONG VARCHAR, Value LONG VARCHAR) 
      WHERE Attribute = 'Body') WebPage, 
      sa_rowgenerator( 1, 256 ) 
WHERE Link IS NOT NULL;

Обмеження: це створює до 256 посилань. Якщо існує більше посилань, підключіть 256 до відповідного значення.

CoffeeScript / NodeJS

require('http').get 'http://www.stroustrup.com/C++.html', (r) ->
    dt = '';
    r.on 'data', (d) -> dt += d
    r.on 'end' , (d) -> console.log dt.match /"((http)s?:\/\/.*?)"/g

Perl

use LWP;
use feature 'say';

my $agent = new LWP::UserAgent();
my $response = $agent->get('http://www.stroustrup.com/C++.html');

say for $response->content =~ m<"(https?://.+?)">g;

R

html<-paste(readLines("http://www.stroustrup.com/C++.html"),collapse="\n")
regmatches(html,gregexpr("http[^([:blank:]|\\\"|<|&|#\n\r)]+",html))

... хоча R написано головним чином на C ... тому, ймовірно, кілька рядків коду C позаду цих 2 рядків коду R.

Ціль-С

NSString *s;
for (id m in [[NSRegularExpression regularExpressionWithPattern:@"\"((http)s?://.*?)\"" options:0 error:nil] matchesInString:(s=[NSString stringWithContentsOfURL:[NSURL URLWithString:@"http://www.stroustrup.com/C++.html"]])]){
    NSLog(@"%@",[s substringWithRange:[m range]]);
}

Tcl

package require http
set html [http::data [http::geturl http://www.stroustrup.com/C++.html]]
puts [join [regexp -inline -all {(?:http://)?www(?:[./#\+-]\w*)+} $html] \n]

Іди

package main

import (
    "fmt"
    "io/ioutil"
    "net/http"
    "os"
    "regexp"
)

func main() {
    resp, err := http.Get("http://www.stroustrup.com/C++.html")
    if err != nil {
        fmt.Fprintln(os.Stderr, err)
        os.Exit(1)
    }
    defer resp.Body.Close()
    data, _ := ioutil.ReadAll(resp.Body)
    results := regexp.MustCompile(`https?://[^""]+`).FindAll(data, -1)
    for _, row := range results {
        fmt.Println(string(row))
    }
}

PS цей код зчитує все джерело в пам’яті, тому розгляньте використання regexp.FindReaderIndexдля пошуку в потоці, що зробить додаток бездоганним.

CJam

У CJam немає регулярного вираження, тому мені довелося використовувати інший підхід у цьому:

"http://www.stroustrup.com/C++.html"g''/'"*'"/(;2%{_"http://"#!\"https://"#!e|},N*

Я спочатку перетворити все , 'щоб ", потім я розділив на всіх ", візьміть кожну альтернативну рядок , а потім , нарешті , відфільтрувати цей список для рядків , що починаються з http://або https://. Після цього просто надрукуйте кожен відфільтрований рядок у новому рядку.

Спробуйте це за допомогою інтерпретатора Java, як

java -jar cjam-0.6.2.jar file.cjam

де file.cjam містить вміст коду, що вказаний вище.

F #

Цей код може бути набагато коротшим, але я б написав щось подібне, якби я коли-небудь сподівався прочитати чи використовувати цей код ще раз, щоб він мав багато зайвих приміток. Він демонструє використання активного шаблону MatchValue, щоб увімкнути узгодження шаблонів зі стандартним CLR типу Match

open System.Net

let (|MatchValue|) (reMatch: Match) : string = reMatch.Value

let getHtml (uri : string) : string = 
    use webClient = WebClient() in
        let html : string = webClient.DownloadString(uri)
        html

let getLinks (uri : string) : string list =
    let html : string = getHtml uri
    let matches : MatchCollection = Regex.Matches(html, @"https?://[^""]+") 
    let links = [ for MatchValue reMatch in matches do yield reMatch ]
    links

let links = getLinks "http://www.stroustrup.com/C++.html" 
for link in links do
    Console.WriteLine(link)

Редагувати Я зробив getLinks власну функцію