Як github визначає мову проекту?

Нещодавно я працював над проектом github як в JavaScript, так і на C ++, і помітив, що github позначив проект як C ++. Якщо вам потрібно вибрати одну мову, це, мабуть, правильне позначення, оскільки код С ++ скомпільований як бібліотека JavaScript, але це змусило мене задуматися ... як github з’ясовує, якою мовою позначати кожен проект?

Оновлення, квітень 2013 р., NuclearSandwich (команда підтримки GitHub або "supportocat"):

• на сторінці довідки " Моє сховище позначено як неправильну мову " згадується про використання тепер бібліотеки лінгвістів для визначення мови файлів для виділення синтаксису та статистики репо. Лінгвіст виключить певні імена файлів та шляхи зі статистики, виключаючи певні файли та каталоги постачальників .

• на сторінці довідки " Чому мою улюблену мову не розпізнають? " додано:

Якщо ваша потрібна мова не отримує підсвічування синтаксису, ви можете внести її до бібліотеки Linguist, щоб додати її.

(Оригінальна відповідь, жовтень 2012 р.)

Це пояснює підтримка GitHub :

Це просто підсумовує розміри файлів для кожного розширення. Найбільший з них "виграє".

Ми хотіли б уникати відкриття файлів та аналізу їх вмісту, оскільки обидва вони уповільнюють процес ... але це може бути єдиним методом вирішення конфліктів, подібних до цього.

Оскільки це не є на 100% точним, це призвело до додавання:

Я теж проголосував би за простий перемикач ручного перевизначення випадків, коли припущення помиляється.

Примітка: як згадує Марк Рушаков у своїй відповіді (проти), з тих пір здогадки покращились завдяки проекту лінгвістів (відкрито з червня 2011 р.).
Ви бачите, що все ще існують проблеми: Проблеми з мовознавством GitHub .
Детальніше див. Тут :

Як тільки мова буде виявлена, вона передається Albino , обгортці Pygments , яка робить власне підсвічування синтаксису.

І ви можете додати лінгвістичні директиви у файл .gitattributes .

В даний час лінгвістичний проект Github - це те, що використовується для визначення мовної статистики, як описано в цій публікації в блозі Github (яка вийшла через кілька місяців після того, як це питання було спочатку поставлене).

По-перше, знайте, що ви можете замінити мову, виявлену для файлів у вашому сховищі, використовуючи заміни Linguist .

Тепер, у двох словах,

1. Кожне сховище позначено першою мовою з мовної статистики .
2. Статистика мови підраховує загальний розмір файлів для кожної виявленої мови програмування або розмітки. Продані, документація та генеровані файли не враховуються.
3. Мова кожного файлу визначається проектом з відкритим кодом Linguist .

Як лінгвіст виявляє мови?

Лінгвіст покладається на наступні стратегії по порядку і повертає мову, як тільки знаходить ідеальний збіг (повертається стратегія з однією мовою).

1. Шукайте моделі Emacs та Vim .
2. Відома назва файлу. Деякі імена файлів пов'язані з певними мовами (подумайте Makefile).
3. Шукайте шебанга. Файл із #!/bin/bashшебангом буде класифікований як Shell.
4. Відоме розширення файлу. Мови мають набір розширень, пов’язаних з ними. Однак із цією стратегією існує багато конфліктів. Суперечливі результати (думаю, C ++, C та Objective-C for .h) уточнюються наступними стратегіями.
5. Набір евристичних правил . Зазвичай вони покладаються на регулярні вирази над вмістом файлів, щоб спробувати визначити мову (наприклад, ^[^#]+:-для Prolog ).
6. Наївний байєсівський класифікатор, навчений на зразках файлів . Остання стратегія, найнижча точність. Байєсівський класифікатор завжди бере підмножину мов як вхідні дані; він не призначений для класифікації серед усіх мов. Повертається найкращий збіг, знайдений класифікатором.

Що таке файли без документів та документації?

Лінгвіст вважає деякі файли проданими , тобто вони не включені до мовної статистики. До них належать сторонні бібліотеки, такі як jQuery, і вони визначені у vendor.ymlфайлі конфігурації. Ви також можете продавати або видавати файли у своєму сховищі, використовуючи перевизначення Linguist .

Подібним чином, файли документації визначені в documentation.ymlі можуть бути змінені за допомогою перевизначень Linguist .

Як виявляються генеровані файли?

Лінгвіст покладається на прості правила для виявлення сформованих файлів, використовуючи як шляхи, так і вміст файлів. Створені файли не враховуються в мовній статистиці та не відображаються у відмінностях на github.com.

А як щодо мов програмування та розмітки?

У лінгвісті кожна мова має тип. Ці типи можуть бути знайдені в головному файлі конфігурації languages.yml. У статистиці враховуються лише мови програмування та розмітки.

Після деякої розмови з лінгвістом я це помітив.

Для файлів із Shebang , Shebang враховується при визначенні мови, але, здається, рівномірно зважений щодо інших лексем . Це, здається, велика помилка, оскільки Shebang повинен остаточно визначити мову файлу.

Це може спричинити проблеми із виділенням.

Розширення файлів - це перше, що мені спадає на думку.