mirror of
https://github.com/VinciGit00/Scrapegraph-ai.git
synced 2026-07-12 21:01:56 +08:00
docs: fixed readme по русский
Последнее китайское предупреждение
This commit is contained in:
parent
fed9ebbe2d
commit
23730735ba
@ -2,7 +2,7 @@
|
|||||||
# 🕷️ ScrapeGraphAI: You Only Scrape Once
|
# 🕷️ ScrapeGraphAI: You Only Scrape Once
|
||||||
[English](https://github.com/VinciGit00/Scrapegraph-ai/blob/main/README.md) | [中文](https://github.com/VinciGit00/Scrapegraph-ai/blob/main/docs/chinese.md) | [日本語](https://github.com/VinciGit00/Scrapegraph-ai/blob/main/docs/japanese.md)
|
[English](https://github.com/VinciGit00/Scrapegraph-ai/blob/main/README.md) | [中文](https://github.com/VinciGit00/Scrapegraph-ai/blob/main/docs/chinese.md) | [日本語](https://github.com/VinciGit00/Scrapegraph-ai/blob/main/docs/japanese.md)
|
||||||
| [코리아노](https://github.com/VinciGit00/Scrapegraph-ai/blob/main/docs/korean.md)
|
| [코리아노](https://github.com/VinciGit00/Scrapegraph-ai/blob/main/docs/korean.md)
|
||||||
| [русский](https://github.com/VinciGit00/Scrapegraph-ai/blob/main/docs/russian.md)
|
| [Русский](https://github.com/VinciGit00/Scrapegraph-ai/blob/main/docs/russian.md)
|
||||||
|
|
||||||
|
|
||||||
[](https://pepy.tech/project/scrapegraphai)
|
[](https://pepy.tech/project/scrapegraphai)
|
||||||
|
|||||||
@ -1,5 +1,12 @@
|
|||||||
# 🕷️ ScrapeGraphAI: Вы скрейпите только один раз
|
# 🕷️ ScrapeGraphAI: Вы скрейпите только один раз
|
||||||
|
|
||||||
|
[](https://pepy.tech/project/scrapegraphai)
|
||||||
|
[](https://github.com/pylint-dev/pylint)
|
||||||
|
[](https://github.com/VinciGit00/Scrapegraph-ai/actions/workflows/pylint.yml)
|
||||||
|
[](https://github.com/VinciGit00/Scrapegraph-ai/actions/workflows/codeql.yml)
|
||||||
|
[](https://opensource.org/licenses/MIT)
|
||||||
|
[](https://discord.gg/gkxQDAjfeX)
|
||||||
|
|
||||||
ScrapeGraphAI - это библиотека для веб-скрейпинга на Python, которая использует LLM и прямую графовую логику для создания скрейпинговых пайплайнов для веб-сайтов и локальных документов (XML, HTML, JSON и т.д.).
|
ScrapeGraphAI - это библиотека для веб-скрейпинга на Python, которая использует LLM и прямую графовую логику для создания скрейпинговых пайплайнов для веб-сайтов и локальных документов (XML, HTML, JSON и т.д.).
|
||||||
|
|
||||||
Просто укажите, какую информацию вы хотите извлечь, и библиотека сделает это за вас!
|
Просто укажите, какую информацию вы хотите извлечь, и библиотека сделает это за вас!
|
||||||
@ -10,39 +17,44 @@ ScrapeGraphAI - это библиотека для веб-скрейпинга
|
|||||||
|
|
||||||
## 🚀 Быстрая установка
|
## 🚀 Быстрая установка
|
||||||
|
|
||||||
Референсная страница для Scrapegraph-ai доступна на официальной странице PyPI: pypi.
|
Референсная страница для Scrapegraph-ai доступна на официальной странице PyPI: [pypi](https://pypi.org/project/scrapegraphai/).
|
||||||
|
|
||||||
bash
|
```bash
|
||||||
Copia codice
|
|
||||||
pip install scrapegraphai
|
pip install scrapegraphai
|
||||||
Примечание: рекомендуется устанавливать библиотеку в виртуальную среду, чтобы избежать конфликтов с другими библиотеками 🐱
|
```
|
||||||
|
|
||||||
|
**Примечание**: рекомендуется устанавливать библиотеку в виртуальную среду, чтобы избежать конфликтов с другими библиотеками 🐱
|
||||||
|
|
||||||
## 🔍 Демонстрация
|
## 🔍 Демонстрация
|
||||||
|
|
||||||
Официальная демонстрация на Streamlit:
|
Официальная демонстрация на Streamlit:
|
||||||
|
|
||||||
|
[](https://scrapegraph-ai-web-dashboard.streamlit.app)
|
||||||
|
|
||||||
Попробуйте ее прямо в интернете, используя Google Colab:
|
Попробуйте ее прямо в интернете, используя Google Colab:
|
||||||
|
|
||||||
|
[](https://colab.research.google.com/drive/1sEZBonBMGP44CtO6GQTwAlL0BGJXjtfd?usp=sharing)
|
||||||
|
|
||||||
## 📖 Документация
|
## 📖 Документация
|
||||||
|
|
||||||
Документация для ScrapeGraphAI доступна здесь.
|
Документация для ScrapeGraphAI доступна [здесь](https://scrapegraph-ai.readthedocs.io/en/latest/)..
|
||||||
|
|
||||||
Посмотрите также Docusaurus здесь.
|
Посмотрите также Docusaurus [здесь](https://scrapegraph-doc.onrender.com/).
|
||||||
|
|
||||||
## 💻 Использование
|
## 💻 Использование
|
||||||
|
|
||||||
Существует три основных скрейпинговых пайплайна, которые можно использовать для извлечения информации с веб-сайта (или локального файла):
|
Существует три основных скрейпинговых пайплайна, которые можно использовать для извлечения информации с веб-сайта (или локального файла):
|
||||||
|
|
||||||
SmartScraperGraph: скрейпер одной страницы, которому требуется только пользовательский запрос и источник ввода;
|
`SmartScraperGraph`: скрейпер одной страницы, которому требуется только пользовательский запрос и источник ввода;
|
||||||
SearchGraph: многопользовательский скрейпер, который извлекает информацию из топ n результатов поиска поисковой системы;
|
`SearchGraph`: многопользовательский скрейпер, который извлекает информацию из топ n результатов поиска поисковой системы;
|
||||||
SpeechGraph: скрейпер одной страницы, который извлекает информацию с веб-сайта и генерирует аудиофайл.
|
`SpeechGraph`: скрейпер одной страницы, который извлекает информацию с веб-сайта и генерирует аудиофайл.
|
||||||
SmartScraperMultiGraph: скрейпер нескольких страниц по одному запросу.
|
`SmartScraperMultiGraph`: скрейпер нескольких страниц по одному запросу.
|
||||||
Можно использовать различные LLM через API, такие как OpenAI, Groq, Azure и Gemini, или локальные модели, используя Ollama.
|
|
||||||
|
|
||||||
Пример 1: SmartScraper с использованием локальных моделей
|
Можно использовать различные LLM через API, такие как **OpenAI**, **Groq**, **Azure** и **Gemini**, или локальные модели, используя **Ollama**.
|
||||||
Не забудьте установить Ollama и загрузить модели, используя команду ollama pull.
|
|
||||||
|
### Пример 1: SmartScraper с использованием локальных моделей
|
||||||
|
|
||||||
|
Не забудьте установить [Ollama](https://ollama.com/) и загрузить модели, используя команду `ollama pull`.
|
||||||
|
|
||||||
```python
|
```python
|
||||||
from scrapegraphai.graphs import SmartScraperGraph
|
from scrapegraphai.graphs import SmartScraperGraph
|
||||||
@ -71,16 +83,18 @@ smart_scraper_graph = SmartScraperGraph(
|
|||||||
result = smart_scraper_graph.run()
|
result = smart_scraper_graph.run()
|
||||||
print(result)
|
print(result)
|
||||||
```
|
```
|
||||||
|
|
||||||
Выходные данные будут представлять собой список проектов с их описаниями, например:
|
Выходные данные будут представлять собой список проектов с их описаниями, например:
|
||||||
|
|
||||||
```python
|
```python
|
||||||
{'projects': [{'title': 'Rotary Pendulum RL', 'description': 'Open Source проект, направленный на управление реальным роторным маятником с использованием алгоритмов RL'}, {'title': 'DQN Implementation from scratch', 'description': 'Разработан алгоритм Deep Q-Network для обучения простого и двойного маятника'}, ...]}
|
{'projects': [{'title': 'Rotary Pendulum RL', 'description': 'Open Source проект, направленный на управление реальным роторным маятником с использованием алгоритмов RL'}, {'title': 'DQN Implementation from scratch', 'description': 'Разработан алгоритм Deep Q-Network для обучения простого и двойного маятника'}, ...]}
|
||||||
```
|
```
|
||||||
Пример 2: SearchGraph с использованием смешанных моделей
|
|
||||||
Мы используем Groq для LLM и Ollama для встраивания.
|
|
||||||
|
|
||||||
python
|
### Пример 2: SearchGraph с использованием смешанных моделей
|
||||||
Copia codice
|
|
||||||
|
Мы используем **Groq** для LLM и **Ollama** для встраивания.
|
||||||
|
|
||||||
|
```python
|
||||||
from scrapegraphai.graphs import SearchGraph
|
from scrapegraphai.graphs import SearchGraph
|
||||||
|
|
||||||
# Определите конфигурацию для графа
|
# Определите конфигурацию для графа
|
||||||
@ -106,15 +120,19 @@ search_graph = SearchGraph(
|
|||||||
# Запустите граф
|
# Запустите граф
|
||||||
result = search_graph.run()
|
result = search_graph.run()
|
||||||
print(result)
|
print(result)
|
||||||
|
```
|
||||||
|
|
||||||
Выходные данные будут представлять собой список рецептов, например:
|
Выходные данные будут представлять собой список рецептов, например:
|
||||||
|
|
||||||
```python
|
```python
|
||||||
{'recipes': [{'name': 'Sarde in Saòre'}, {'name': 'Bigoli in salsa'}, {'name': 'Seppie in umido'}, {'name': 'Moleche frite'}, {'name': 'Risotto alla pescatora'}, {'name': 'Broeto'}, {'name': 'Bibarasse in Cassopipa'}, {'name': 'Risi e bisi'}, {'name': 'Smegiassa Ciosota'}]}
|
{'recipes': [{'name': 'Sarde in Saòre'}, {'name': 'Bigoli in salsa'}, {'name': 'Seppie in umido'}, {'name': 'Moleche frite'}, {'name': 'Risotto alla pescatora'}, {'name': 'Broeto'}, {'name': 'Bibarasse in Cassopipa'}, {'name': 'Risi e bisi'}, {'name': 'Smegiassa Ciosota'}]}
|
||||||
Пример 3: SpeechGraph с использованием OpenAI
|
```
|
||||||
|
|
||||||
|
### Пример 3: SpeechGraph с использованием OpenAI
|
||||||
|
|
||||||
Вам просто нужно передать ключ API OpenAI и название модели.
|
Вам просто нужно передать ключ API OpenAI и название модели.
|
||||||
|
|
||||||
python
|
```python
|
||||||
Copia codice
|
|
||||||
from scrapegraphai.graphs import SpeechGraph
|
from scrapegraphai.graphs import SpeechGraph
|
||||||
|
|
||||||
graph_config = {
|
graph_config = {
|
||||||
@ -143,6 +161,7 @@ speech_graph = SpeechGraph(
|
|||||||
result = speech_graph.run()
|
result = speech_graph.run()
|
||||||
print(result)
|
print(result)
|
||||||
```
|
```
|
||||||
|
|
||||||
Выходные данные будут представлять собой аудиофайл с резюме проектов на странице.
|
Выходные данные будут представлять собой аудиофайл с резюме проектов на странице.
|
||||||
|
|
||||||
## Спонсоры
|
## Спонсоры
|
||||||
@ -160,20 +179,27 @@ print(result)
|
|||||||
|
|
||||||
Не стесняйтесь вносить свой вклад и присоединяйтесь к нашему серверу Discord, чтобы обсудить с нами улучшения и дать нам предложения!
|
Не стесняйтесь вносить свой вклад и присоединяйтесь к нашему серверу Discord, чтобы обсудить с нами улучшения и дать нам предложения!
|
||||||
|
|
||||||
Пожалуйста, ознакомьтесь с руководством по участию.
|
Пожалуйста, ознакомьтесь с [руководством по участию](https://github.com/VinciGit00/Scrapegraph-ai/blob/main/CONTRIBUTING.md).
|
||||||
|
|
||||||
|
[](https://discord.gg/uJN7TYcpNa)
|
||||||
|
[](https://www.linkedin.com/company/scrapegraphai/)
|
||||||
|
[](https://twitter.com/scrapegraphai)
|
||||||
|
|
||||||
## 📈 Дорожная карта
|
## 📈 Дорожная карта
|
||||||
|
|
||||||
Посмотрите дорожную карту проекта здесь! 🚀
|
Посмотрите дорожную карту проекта [здесь](https://github.com/VinciGit00/Scrapegraph-ai/blob/main/docs/README.md)! 🚀
|
||||||
|
|
||||||
Хотите визуализировать дорожную карту более интерактивно? Посмотрите визуализацию markmap, скопировав содержимое markdown в редактор!
|
Хотите визуализировать дорожную карту более интерактивно? Посмотрите визуализацию [markmap](https://markmap.js.org/repl), скопировав содержимое markdown в редактор!
|
||||||
|
|
||||||
|
## ❤️ Разработчики программного обеспечения
|
||||||
|
|
||||||
|
[](https://github.com/VinciGit00/Scrapegraph-ai/graphs/contributors)
|
||||||
|
|
||||||
## 🎓 Цитаты
|
## 🎓 Цитаты
|
||||||
|
|
||||||
Если вы использовали нашу библиотеку для научных исследований, пожалуйста, укажите нас в следующем виде:
|
Если вы использовали нашу библиотеку для научных исследований, пожалуйста, укажите нас в следующем виде:
|
||||||
|
|
||||||
text
|
```text
|
||||||
Copia codice
|
|
||||||
@misc{scrapegraph-ai,
|
@misc{scrapegraph-ai,
|
||||||
author = {Марко Перини, Лоренцо Падоан, Марко Винчигуэрра},
|
author = {Марко Перини, Лоренцо Падоан, Марко Винчигуэрра},
|
||||||
title = {Scrapegraph-ai},
|
title = {Scrapegraph-ai},
|
||||||
@ -181,20 +207,25 @@ Copia codice
|
|||||||
url = {https://github.com/VinciGit00/Scrapegraph-ai},
|
url = {https://github.com/VinciGit00/Scrapegraph-ai},
|
||||||
note = {Библиотека на Python для скрейпинга с использованием больших языковых моделей}
|
note = {Библиотека на Python для скрейпинга с использованием больших языковых моделей}
|
||||||
}
|
}
|
||||||
|
```
|
||||||
|
|
||||||
## Авторы
|
## Авторы
|
||||||
|
|
||||||
<p align="center">
|
<p align="center">
|
||||||
<img src="https://raw.githubusercontent.com/VinciGit00/Scrapegraph-ai/main/docs/assets/logo_authors.png" alt="Authors_logos">
|
<img src="https://raw.githubusercontent.com/VinciGit00/Scrapegraph-ai/main/docs/assets/logo_authors.png" alt="Authors_logos">
|
||||||
</p>
|
</p>
|
||||||
Контактная информация
|
|
||||||
Марко Винчигуэрра
|
|
||||||
Марко Перини
|
|
||||||
Лоренцо Падоан
|
|
||||||
📜 Лицензия
|
|
||||||
|
|
||||||
ScrapeGraphAI лицензирован под MIT License. Подробнее см. в файле LICENSE.
|
| | Контактная информация |
|
||||||
|
|--------------------|------------------------|
|
||||||
|
| Marco Vinciguerra | [](https://www.linkedin.com/in/marco-vinciguerra-7ba365242/) |
|
||||||
|
| Marco Perini | [](https://www.linkedin.com/in/perinim/) |
|
||||||
|
| Lorenzo Padoan | [](https://www.linkedin.com/in/lorenzo-padoan-4521a2154/) |
|
||||||
|
|
||||||
|
## 📜 Лицензия
|
||||||
|
|
||||||
|
ScrapeGraphAI лицензирован под MIT License. Подробнее см. в файле [LICENSE](https://github.com/VinciGit00/Scrapegraph-ai/blob/main/LICENSE).
|
||||||
|
|
||||||
## Благодарности
|
## Благодарности
|
||||||
|
|
||||||
Мы хотели бы поблагодарить всех участников проекта и сообщество с открытым исходным кодом за их поддержку.
|
- Мы хотели бы поблагодарить всех участников проекта и сообщество с открытым исходным кодом за их поддержку.
|
||||||
ScrapeGraphAI предназначен только для исследования данных и научных целей. Мы не несем ответственности за неправильное использование библиотеки.
|
- ScrapeGraphAI предназначен только для исследования данных и научных целей. Мы не несем ответственности за неправильное использование библиотеки.
|
||||||
Loading…
Reference in New Issue
Block a user