Вишкрібання: SSL: помилка CERTIFICATE_VERIFY_FAILED для http://en.wikipedia.org

Я практикую код із "Веб-скребування за допомогою Python", і у мене постійно виникає така проблема сертифіката:

from urllib.request import urlopen 
from bs4 import BeautifulSoup 
import re

pages = set()
def getLinks(pageUrl):
    global pages
    html = urlopen("http://en.wikipedia.org"+pageUrl)
    bsObj = BeautifulSoup(html)
    for link in bsObj.findAll("a", href=re.compile("^(/wiki/)")):
        if 'href' in link.attrs:
            if link.attrs['href'] not in pages:
                #We have encountered a new page
                newPage = link.attrs['href'] 
                print(newPage) 
                pages.add(newPage) 
                getLinks(newPage)
getLinks("")

Помилка:

  File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/urllib/request.py", line 1319, in do_open
    raise URLError(err)
urllib.error.URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1049)>

До речі, я також практикував скрапінг, але постійно отримував проблему: команда не знайдена: скрапі (я пробував всілякі рішення в Інтернеті, але жодне не працює ... справді засмучує)

Колись я спотикався з цим питанням. Якщо ви використовуєте macOS, перейдіть до Macintosh HD> Програми> Папка Python3.6 (або будь-яку іншу версію python, яку ви використовуєте)> двічі клацніть на файлі "Встановити сертифікати.command". : D

щоб використовувати неперевірений ssl, ви можете додати це до свого коду:

import ssl
ssl._create_default_https_context = ssl._create_unverified_context

Щоб вирішити це:

Все, що вам потрібно зробити, це встановити сертифікати Python! Поширена проблема у macOS.

Відкрийте ці файли:

Install Certificates.command
Update Shell Profile.command

Просто запустіть ці два сценарії, і у вас більше не буде цієї проблеми.

Сподіваюся, це допомагає!

Ця команда терміналу:

open /Applications/Python\ 3.7/Install\ Certificates.command

Знайдено тут: https://stackoverflow.com/a/57614113/6207266

Вирішив це для мене. За допомогою мого конфігурації

pip install --upgrade certifi

не мав впливу.

Для початківців користувачів ви можете перейти в папку Applications та розгорнути папку Python 3.7. Тепер спочатку запустіть (або двічі клацніть) команду Встановити сертифікати.com, а потім Оновіть Shell Profile.command

У мене працювали два кроки: - перехід на Macintosh HD> Програми> Папка Python3.7 - натисніть "Встановити сертифікати.command"

Для всіх, хто використовує анаконду, ви повинні встановити certifiпакет, дивіться більше на:

https://anaconda.org/anaconda/certifi

Щоб встановити, введіть цей рядок у своєму терміналі:

conda install -c anaconda certifi

Погляньте на цю публікацію, схоже, що для пізніших версій Python сертифікати не встановлюються попередньо, що, здається, спричиняє цю помилку. Ви повинні мати можливість виконати таку команду для встановлення пакета certifi:/Applications/Python\ 3.6/Install\ Certificates.command

Повідомлення 1: Помилка urllib та "SSL: CERTIFICATE_VERIFY_FAILED"

Повідомлення 2: Помилка повітряного гальма: помилка urlopen [SSL: CERTIFICATE_VERIFY_FAILED] не вдалося перевірити сертифікат: не вдалося отримати сертифікат місцевого емітента

Я міг знайти це рішення і чудово працює:

cd /Applications/Python\ 3.7/
./Install\ Certificates.command

Я не вирішив проблему, на жаль. але мені вдалося змусити коди працювати (майже всі мої коди мають цю проблему до речі) проблема місцевого сертифіката видавця трапляється під python3.7, тому я повернувся до python2.7 QAQ і все, що потрібно було змінити, включаючи "з urllib2 import urlopen" замість "з urllib.request імпортувати urlopen" так сумно ...

Якщо ви працюєте на Mac, ви можете просто шукати Install Certificates.commandв центрі уваги та натискати Enter.

Використовувати бібліотеку запитів. Спробуйте це рішення або просто додайте https://перед URL-адресою:

import requests
from bs4 import BeautifulSoup
import re

pages = set()
def getLinks(pageUrl):
    global pages
    html = requests.get("http://en.wikipedia.org"+pageUrl, verify=False).text
    bsObj = BeautifulSoup(html)
    for link in bsObj.findAll("a", href=re.compile("^(/wiki/)")):
        if 'href' in link.attrs:
            if link.attrs['href'] not in pages:
                #We have encountered a new page
                newPage = link.attrs['href']
                print(newPage)
                pages.add(newPage)
                getLinks(newPage)
getLinks("")

Перевірте, чи це працює для вас

Я відносний новачок у порівнянні з усіма експертами з Stack Overflow.

У мене запущено 2 версії ноутбука jupyter (одна через свіжу інсталяцію Anaconda Navigator і одна через ????). Я думаю, це тому, що Anaconda була встановлена ​​як локальна установка на моєму Mac (відповідно до інструкцій Anaconda).

У мене вже був встановлений python 3.7. Після цього я використовував свій термінал для відкриття ноутбука jupyter, і я думаю, що він поставив іншу версію глобально на мій Mac.

Однак я не впевнений, бо я просто вчусь шляхом спроб і помилок!

Я зробив команду терміналу:

conda install -c anaconda certifi 

(як зазначено вище, але це не спрацювало.)

Мій python 3.7 встановлений в ОС Catalina10.15.3 у:

• /Library/Python/3.7/site-packages І
• ~ / Library / Python / 3.7 / lib / python / site-пакети

Сертифікат знаходиться за адресою:

• ~ / Library / Python / 3.7 / lib / python / site-Packages / certifi-2019.11.28.dist-info

Я намагався знайти команду Install Certificate.com ... але не зміг знайти її, переглядаючи файлові структури ... не в Програмах ... не в посиланнях вище.

Нарешті я встановив його, знайшовши через Spotlight (як хтось запропонував вище). І це двічі клацнуло автоматично і встановило ІНШИЙ сертифікат в ту ж папку, що і:

• ~ / Бібліотека / Python / 3.7 / lib / python / site-пакети /

Ніхто з перерахованого не вирішив для мене нічого ... Я все одно отримав ту саму помилку.

Отже, я вирішив проблему за допомогою:

1. закриваючи мій блокнот.
2. відкриття навігатора Anaconda.
3. відкриття блокнота jupyter через графічний інтерфейс Navigator (замість терміналу).
4. відкривши свій блокнот і запустивши код.

Не можу сказати, чому це спрацювало. Але це вирішило проблему для мене.

Я просто хочу врятувати когось клопоту наступного разу. Якщо хтось може сказати мені, чому це спрацювало, це було б приголомшливо.

Я не пробував інші команди терміналу через 2 версії ноутбука jupyter, які, як я знав, були проблемою. Я просто не знаю, як це виправити.

Для мене проблема полягала в тому, що я встановлював REQUESTS_CA_BUNDLEу своєму.bash_profile

/Users/westonagreene/.bash_profile:
...
export REQUESTS_CA_BUNDLE=/usr/local/etc/openssl/cert.pem
...

Після того, як я встановив REQUESTS_CA_BUNDLEпорожній (тобто видалений з .bash_profile), requestsзнову працював.

export REQUESTS_CA_BUNDLE=""

Проблема виявляється лише під час виконання python requestsчерез CLI (інтерфейс командного рядка). Якби я запустив requests.get(URL, CERT)це вирішено просто чудово.

Mac OS Catalina (10.15.6). Пиєнв від 3.6.11. Повідомлення про помилку, яке я отримував:[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1056)

Моя відповідь в іншому місці: https://stackoverflow.com/a/64151964/4420657

Я використовую Debian 10 buster і спробуйте завантажити файл за допомогою youtube-dl і отримати цю помилку: sudo youtube-dl -k https://youtu.be/uscis0CnDjk

[youtube] uscis0CnDjk: Завантаження веб-сторінки ПОМИЛКА: Не вдається завантажити веб-сторінку: <помилка urlopen [SSL: CERTIFICATE_VERIFY_FAILED] не вдалося перевірити сертифікат: не вдалося отримати сертифікат місцевого емітента (_ssl.c: 1056)> (спричинено помилкою URLEr (SSLCertVerificationError (1, ', 1' [SSL: CERTIFICATE_VERIFY_FAILED] не вдалося перевірити сертифікат: не вдалося отримати сертифікат місцевого емітента (_ssl.c: 1056) ')))

Сертифікати з python2 та python3.8 встановлені правильно, але я постійно отримую ту саму помилку. нарешті (що не є найкращим рішенням, але для мене працює, щоб усунути перевірку сертифіката, оскільки це надано як опцію в youtube-dl) за допомогою цієї команди sudo youtube-dl -k --no-check-certificate https://youtu.be/uscis0CnDjk

Встановіть Certificates.command на ваш Mac.

Це спрацює. Встановіть змінну середовища PYTHONHTTPSVERIFY на 0.

• Набравши команду linux:

export PYTHONHTTPSVERIFY = 0

АБО

• Використання в коді python:

import os
os.environ["PYTHONHTTPSVERIFY"] = "0"