Как написать парсер для телеграмм

python3 -m pip install telethon

from telethon.sync import TelegramClient
 
import csv
 
from telethon.tl.functions.messages import GetDialogsRequest
from telethon.tl.types import InputPeerEmpty

api_id = 18377495
api_hash = 'a0c785ad0fd3e92e7c131f0a70987987'
phone = 'ваш номер телефона, привязанный к профилю'
 
client = TelegramClient(phone, api_id, api_hash)

client.start()

chats = []
last_date = None
size_chats = 200
groups=[]

result = client(GetDialogsRequest(
            offset_date=last_date,
            offset_id=0,
            offset_peer=InputPeerEmpty(),
            limit=size_chats,
            hash = 0
        ))
chats.extend(result.chats)

for chat in chats:
   try:
       if chat.megagroup== True:
           groups.append(chat)
   except:
       continue

print('Выберите номер группы из перечня:')
i=0
for g in groups:
   print(str(i) + '- ' + g.title)
   i+=1

g_index = input("Введите нужную цифру: ")
target_group=groups[int(g_index)]

print('Узнаём пользователей...')
all_participants = []
all_participants = client.get_participants(target_group)
 
print('Сохраняем данные в файл...')
with open("members.csv","w",encoding='UTF-8') as f:
   writer = csv.writer(f,delimiter=",",lineterminator="n")
   writer.writerow(['username','name','group'])
   for user in all_participants:
       if user.username:
           username= user.username
       else:
           username= ""
       if user.first_name:
           first_name= user.first_name
       else:
           first_name= ""
       if user.last_name:
           last_name= user.last_name
       else:
           last_name= ""
       name= (first_name + ' ' + last_name).strip()
       writer.writerow([username,name,target_group.title])     
print('Парсинг участников группы успешно выполнен.')

python3 main.py

Научитесь: Профессия Python-разработчик
Узнать больше

Время на прочтение
7 мин

Количество просмотров 29K

Тема создания ботов для Telegram становится все более популярной, привлекая программистов попробовать свои силы на этом поприще. У каждого периодически возникают идеи и задачи, которые можно решить, написав тематического бота. Для меня, как программиста на JS, пример такой актуальной задачи — мониторинг рынка вакансий по соответствующей тематике.

Однако одним из наиболее популярных языков и технологий в сфере создания ботов является Python, предлагающий программисту огромное количество хороших библиотек для обработки и парсинга различных источников информации в виде текста. Мне же захотелось сделать это именно на JavaScript — одном из моих любимых языков.

Задача

Основная задача: создать детализированную ленту вакансий с тегированием и приятной визуальной разметкой. Ее можно разбить на отдельные подзадачи:

• взаимодействие с Telegram API;
• парсинг RSS-лент сайтов с вакансиями;
• парсинг отдельно взятой вакансии;
• тематическое тегирование;
• визуальное оформление информации;
• предотвращение дублирования.

Сначала я думал использовать универсального готового бота, например, @TheFeedReaderBot. Но после его детального изучения выяснилось, что тегирование полностью отсутствует, а возможности по настройке отображения контента сильно ограничены. К счастью, современный Javascript предоставляет множество библиотек, которые помогут решить эти проблемы. Но обо всем по порядку.

Каркас бота

Конечно, можно было бы напрямую взаимодействовать с REST API Telegram, но с точки зрения трудозатрат проще взять готовые решения. Поэтому я выбрал npm-пакет slimbot, на который ссылаются официальные туториалы по созданию ботов. И хотя мы будем только отправлять сообщения, этот пакет существенно упростит жизнь, позволив создать внутренний API бота как сущности:

const Slimbot = require('slimbot');
const config = require('./config.json');
const bot = new Slimbot(config.TELEGRAM_API_KEY);

bot.startPolling();

function logMessageToAdmin(message, type='Error') {
    bot.sendMessage(config.ADMIN_USER, `<b>${type}</b>n<code>${message}</code>`, {
        parse_mode: 'HTML'
    });
}

function postVacancy(message) {
    bot.sendMessage(config.TARGET_CHANNEL, message, {
        parse_mode: 'HTML',
        disable_web_page_preview: true,
        disable_notification: true
    });
}

module.exports = {
    postVacancy,
    logMessageToAdmin
};

В качестве планировщика будем использовать обычный setInterval, а для парсинга RSS – feed-read, а источником вакансий будут сайты «Мой круг» и hh.ru.

const feed = require("feed-read");
const config = require('./config.json');
const HhAdapter = require('./adapters/hh');
const MoikrugAdapter = require('./adapters/moikrug');
const bot = require('./bot');
const { FeedItemModel } = require('./lib/models');

function processFeed(articles, adapter) {
  articles.forEach(article => {
    if (adapter.isValid((article))) {
      const key = adapter.getKey(article);
      new FeedItemModel({
        key,
        data: article
      }).save().then(
        model => adapter.parseItem(article).then(bot.postVacancy),
        () => {}
      );
    }
  });
}

setInterval(() => {
    feed(config.HH_FEED, function (err, articles) {
        if (err) {
            bot.logMessageToAdmin(err);
            return;
        }
        processFeed(articles, HhAdapter);
    });

    feed(config.MOIKRUG_FEED, function (err, articles) {
        if (err) {
            bot.logMessageToAdmin(err);
            return;
        }

        processFeed(articles, MoikrugAdapter);
    });
}, config.REQUEST_PERIOD_TIME);

Парсинг отдельно взятой вакансии

Из-за различной структуры страниц с вакансиями для каждого сайта-источника реализация парсинга своя. Поэтому в ход пошли адаптеры, предоставляющие унифицированный интерфейс. Для работы с DOM на сервере подошла библиотека jsdom, с которой можно выполнять стандартные операции: нахождение элемента по CSS-селектору, получение содержимого элемента, которые мы активно используем.

const request = require('superagent');
const jsdom = require('jsdom');
const { JSDOM } = jsdom;
const { getTags } = require('../lib/tagger');
const { getJobType } = require('../lib/jobType');
const { render } = require('../lib/render');

function parseItem(item) {

    return new Promise((resolve, reject) => {
        request
            .get(item.link)
            .end(function(err, res) {
                if(err) {
                    console.log(err);
                    reject(err);
                    return;
                }

                const dom = new JSDOM(res.text);
                const element = dom.window.document.querySelector(".vacancy_description");
                const salaryElem =  dom.window.document.querySelector(".footer_meta .salary");
                const salary = salaryElem ? salaryElem.textContent : 'Не указана.';
                const locationElem =  dom.window.document.querySelector(".footer_meta .location");
                const location = locationElem && locationElem.textContent;
                const title =  dom.window.document.querySelector(".company_name").textContent;
                const titleFooter =  dom.window.document.querySelector(".footer_meta").textContent;
                const pureContent = element.textContent;

                resolve(render({
                    tags: getTags(pureContent),
                    salary: `ЗП: ${salary}`,
                    location,
                    title,
                    link: item.link,
                    description: element.innerHTML,
                    jobType: getJobType(titleFooter),
                    important: Array.from(element.querySelectorAll('strong')).map(e => e.textContent)
                }))
            });
    });
}

function getKey(item) {
    return item.link;
}

function isValid() {
    return true
}

module.exports = {
    getKey,
    isValid,
    parseItem
};

const request = require('superagent');
const jsdom = require('jsdom');
const { JSDOM } = jsdom;
const { getTags } = require('../lib/tagger');
const { getJobType } = require('../lib/jobType');
const { render } = require('../lib/render');

function parseItem(item) {
    const splited = item.content.split(/n<p>|</p><p>|</p>n/).filter(i => i);
    const [
        title,
        date,
        region,
        salary
    ] = splited;

    return new Promise((resolve, reject) => {
        request
            .get(item.link)
            .end(function(err, res) {
                if(err) {
                    console.log(err);
                    reject(err);
                    return;
                }

                const dom = new JSDOM(res.text);
                const element = dom.window.document.querySelector('.b-vacancy-desc-wrapper');
                const title = dom.window.document.querySelector('.companyname').textContent;
                const pureContent = element.textContent;
                const tags = getTags(pureContent);

                resolve(render({
                    title,
                    location: region.split(': ')[1] || region,
                    salary: `ЗП: ${salary.split(': ')[1] || salary}`,
                    tags,
                    description: element.innerHTML,
                    link: item.link,
                    jobType: getJobType(pureContent),
                    important: Array.from(element.querySelectorAll('strong')).map(e => e.textContent)
                }))
            });
    });
}

function getKey(item) {
    return item.link;
}

function isValid() {
    return true
}

module.exports = {
    getKey,
    isValid,
    parseItem
};

Форматирование

После парсинга нужно представить информацию в удобном виде, но с API Telegram не так много возможностей для этого: в сообщениях можно проставлять только теги и символы юникода (смайлики и стикеры не в счет). На входе получается пара смысловых полей в описании и само описание в «сыром» HTML. После недолгого поиска находим решение — библиотеку html-to-text. После детального изучения API и его реализации невольно удивляешься, почему функции форматирования вызываются не из динамического конфига, а через замыкание, что нивелирует многие плюсы, предоставленные конфигурационными параметрами. И чтобы красиво выводить bullets вместо li в списках, приходится немного схитрить:

const htmlToText = require('html-to-text');
const whiteSpaceRegex = /^s*$/;

function render({
    title, location, salary, tags, description, link, important = [], jobType='' 
}) {
    let formattedDescription = htmlToText
        .fromString(description, {
            wordwrap: null,
            noLinkBrackets: true,
            hideLinkHrefIfSameAsText: true,
            format: {
                unorderedList: function formatUnorderedList(elem, fn, options) {
                    let result = '';
                    const nonWhiteSpaceChildren = (elem.children || []).filter(
                        c => c.type !== 'text' || !whiteSpaceRegex.test(c.data)
                    );
                    nonWhiteSpaceChildren.forEach(function(elem) {
                        result += ' <b>●</b> ' + fn(elem.children, options) + 'n';
                    });
                    return 'n' + result + 'n';
                }
            }
        })
        .replace(/ns*n/g, 'n');

    important.filter(text => text.includes(':')).forEach(text => {
        formattedDescription = formattedDescription.replace(
            new RegExp(text, 'g'),
            `<b>${text}</b>`
        )
    });

    const formattedTags = tags.map(t => '#' + t).join(' ');
    const locationFormatted = location ? `#${location.replace(/ |-/g, '_')} `: '';

    return `<b>${title}</b>n${locationFormatted}#${jobType}n<b>${salary}</b>n${formattedTags}n${formattedDescription}n${link}`;
}

module.exports = {
    render
};

Тегирование

Допустим, у нас есть красивые описания вакансий, но не хватает тегирования. Чтобы решить этот вопрос, я токенизировал естественный русский язык с помощью библиотеки az. Так у меня получилась фильтрация слов в потоке токенов и замена тегами при наличии соответствующих слов в словаре тегов.

const Az = require('az');
const namesMap = require('../resources/tagNames.json');

function onlyUnique(value, index, self) {
    return self.indexOf(value) === index;
}

function getTags(pureContent) {
    const tokens = Az.Tokens(pureContent).done();
    const tags = tokens.filter(t => t.type.toString() === 'WORD')
        .map(t => t.toString().toLowerCase().replace('-', '_'))
        .map(name => namesMap[name])
        .filter(t => t)
        .filter(onlyUnique);
    return tags;
}

module.exports = {
    getTags
};

{
  "js": "JS",
  "javascript": "JS",
  "sql": "SQL",
  "ангуляр": "Angular",
  "angular": "Angular",
  "angularjs": "Angular",
  "react": "React",
  "reactjs": "React",
  "реакт": "React",
  "node": "NodeJS",
  "nodejs": "NodeJS",
  "linux": "Linux",
  "ubuntu": "Ubuntu",
  "unix": "UNIX",
  "windows": "Windows"
   ....
}

Деплой и все остальное

Чтобы публиковать каждую вакансию только один раз, я использовал базу данных MongoDB, сведя все к уникальности ссылок самих вакансий. Для мониторинга процессов и их логов на сервере выбрал менеджер процессов pm2, где деплой осуществляется обычным bash скриптом. К слову сказать, в качестве сервера используется самый простой Droplet от Digital Ocean.

#!/usr/bin/env bash
# rs - алиас для конфигурацци доступа к серверу
rsync ./ rs:/var/www/js_jobs_bot --delete -r --exclude=node_modules
ssh rs "
. ~/.nvm/nvm.sh
cd /var/www/js_jobs_bot/ 
mv prod-config.json config.json
npm i && pm2 restart processes.json
"

Выводы

Делать простеньких ботов оказалось не сложно, нужно лишь желание, знание какого-нибудь языка программирования (желательно Python или JS) и пара дней свободного времени. Результаты работы моего бота (как и тематическую ленту вакансий) вы можете найти в соответствующем канале — @jsjobs.

P.S. Полную версию исходников можно найти в моем репозитории

Просмотров статьи: 883

Регистрация аккаунта разработчика и настройка клиента

Всем привет! Парсинг сайтов — дело веселое, можно использовать эти данные для своего ресурса или же делать это на заказ. А что если скачать, к примеру, все сообщения из телеграм-чата или список его участников, а затем использовать эти данные для аналитики или еще лучше, для формирования своей базы данных пользователей, которым интересна та или иная тема.

В этой серии статей мы с Вами рассмотрим как написать свой отдельный клиент Telegram, который будет собирать данные из интересных нам чатов, а также посмотрим, как сохранять эти сведения в свою базу данных.

Для создания отдельного клиента хорошо подойдет асинхронная библиотека «Telethon» (Вот репозиторий библиотеки). Сама библиотека может использоваться как для создания телеграм-ботов, так и для создания отдельных приложений работающих с API Telegram. Главным преимуществом является понятная документация в которой можно найти ответы на все вопросы (необходимо знание английского языка).

Создание нашего проекта начнем с регистрации аккаунта разработчика здесь

Вводим пришедший в Telegram численно-буквенный код и попадаем на страницу регистрации нового приложения. Заполняем форму, достаточно первых двух граф:

Если все введено верно вы увидите следующие сведения.

Сразу оговорюсь, данных будет немного больше, но нам важны параметры App api_id и App api_hash.

Поздравляю! Вы зарегистрировали ваше приложение в API Telegram. Закрывать страничку пока не стоит. Мы будем брать оттуда значения App api_id, App api_hash, Short_name для нашего приложения.

Переходим в PyCharm

Хорошим тоном будет не хранить в коде наш хэш и app_id, поэтому давайте сделаем красиво =) Используем библиотеку configparser для создания файла настроек. Создайте в корне проекта файл с расширением .ini (пример config.ini) и давайте поместим туда наши данные из аккаунта разработчика который мы зарегистрировали.

И да, я знаю про venv и переменные окружения. Вы можете использовать удобный вам метод.

Далее нас ждет самое интересное. Давайте установим в наш проект саму библиотеку Telethon командой «pip install telethon» и импортируем в проект класс TelegramClient из нашей установленной библиотеки.

import configparser
from telethon import TelegramClient

Далее давайте настроим передачу наших данных в подключение из файла настроек

config = configparser.ConfigParser()
config.read("config.ini")
# Присваиваем значения внутренним переменным
api_id: str = config['Telegram']['api_id']
api_hash = config['Telegram']['api_hash']
username = config['Telegram']['username']
client = TelegramClient(username, api_id, api_hash)
client.start()

Обратите внимание что в файле «config.ini» первой строкой мы указали [Telegram]. С помощью этих тэгов мы просто не будем путаться в переменных настроек и разделять их в одном файле.

Создадим нашу главную функцию и запросим у сервера телеграм сведения о нас.

async def main():
    about_me = await client.get_entity('me')
    print(about_me)

Наша библиотека Telethon асинхронная а значит функции и методы мы будем использовать с добавлением ключевых слов async и await (кстати можно и без них но не рекомендую)

Для того, что бы наш клиент не закрывался после запуска мы добавим в конце нашего файла такую запись

with client:
    client.loop.run_until_complete(main())

……почти =)

Первый запуск

При первом запуске в консоли PyCharm вас попросит ввести ваш номер телефона или токен бота

Это нужно, что бы создать файл сессии он будет хранится в корне проекта с расширением .session ( удалять их не стоит о них поговорим позднее)

Вводите ваш номер телефона в международном формате без «+»

Вам снова пришел код в аккаунт телеграмм только теперь из 5 цифр. Введите их.

Поздравляю вы запустили ваш клиент Телеграм.

Так что же вернула нам наша функция main

about_me = await client.get_entity('me')

наша переменная about_me теперь содержит объект User с специфическим типом данных библиотеки telethon.

Внутри объекта вы можете увидеть данные о вашем аккаунте.

Для того, что бы посмотреть отдельные сведения давайте сделаем вот такой код

async def main():
    about_me = await client.get_entity('me')
    print('Имя:', about_me.first_name)
    print('Ник:', about_me.username)
    print('Id', about_me.id)
    print('Телефон', about_me.phone)

И вуаля….

Имя: Lesharack

Ник: Davengerist

Id 1060217*****

Телефон 375297******

Ну в вашем случае звездочек не будет.

Только что сервер Телеграм рассказал вам о вас чуть больше чем вы видите в своем аккаунте. В следующей статье мы немного обнаглеем и соберем с серверов Телеграм сведения об участниках какого-нибудь чата.

Утечка данных из Telegram — проблема Telegram.

прим. автора

Все сведения которые мы будем получать являются общедоступными. И эти же сведения мы можем увидеть и через официальное приложение. Но я все-таки призываю Вас не использовать полученные знания в плохих целях. Вся изложенная информация подается с целью образования и популяризации языка программирования, его библиотек и возможностей.

Полный код парсера Телеграм

import configparser
from telethon import TelegramClient

config = configparser.ConfigParser()
config.read("config.ini")
# Присваиваем значения внутренним переменным
api_id: str = config['Telegram']['api_id']
api_hash = config['Telegram']['api_hash']
username = config['Telegram']['username']
client = TelegramClient(username, api_id, api_hash)
client.start()

async def main():
    about_me = await client.get_entity('me')
    print('Имя:', about_me.first_name)
    print('Ник:', about_me.username)
    print('Id', about_me.id)
    print('Телефон', about_me.phone)
with client:
    client.loop.run_until_complete(main())

Мы уже рассказывали про Телеграм-боты для пробива. Сегодня продолжим говорить про телегу и рассмотрим еще одну популярную тему — парсинг телеграм каналов и чатов.

Еще по теме: Угон Телеграм и как от этого защититься

Последнее время, на всяких компьютерных форумах и сайтах часто поднимают вопрос парсинга чатов и каналов Телеграм. Некоторые пытаются впарить свои сервисы, которые как правило еще то разводилово. Другие, делая умный, вид пытаются чему-то научить. Непорядок подумал я пос­мотрев на это дело и решил самос­тоятель­но разоб­рать­ся.

Парсинг телеграм каналов и чатов

В данной статье я пос­тара­юсь понятным языком (даже для далеких от программирования пользователей) рас­ска­зать, как парсить Телеграм, что мож­но сде­лать, а что нель­зя и насколько это трудоемко. Заранее предупреждаю. Я не буду выкладывать готовые исходни­ки, но покажу при­меры для наг­ляднос­ти.

Всем извес­тно, что в телег­е существуют чаты и каналы, где иногда кучкуются большое количество поль­зовате­лей. Стоит иметь список юзеров, нап­ример для рассылки или приг­лашений.

Как правило под сло­вом «пар­синг» в кон­тек­сте Telegram подразумевается получе­ние спис­ка поль­зовате­лей чата или канала. Но иногда, еще и получе­ние спис­ка сооб­щений.

Парсинг телеграм каналов

Канал — это площадка в Телег­рам, где подписчикам разрешается толь­ко чита­ть сооб­щения создателя канала. Писать коментарии юзеры не могут, за исклю­чени­ем тех слу­чаев, ког­да к каналу Telegram при­вязан чат для ком­мента­риев. Тог­да у пользователей появ­ляет­ся воз­можность ком­менти­ровать сооб­щения канала.

Вы можете по­лучить спи­сок под­писчи­ков канала без при­вязан­ного к нему чата с ком­мента­риями, толь­ко если это ваш канал и у него менее 200 пользотелей. Если какое-то из этих усло­вий не выпол­няет­ся, пар­синг Телеграм реализовать не получится и ник­то не смо­жет его про­вес­ти, что бы вам там ни обе­щали. Может быть, в ближайщем будущем появятся новые спо­собы, но на даннй момент рабочих спо­собов не существует.

Ес­ли к каналу привязан чат с ком­мента­риями, тогда спар­сить поль­зовате­лей телеги вы сможете точ­но так же, как в слу­чае с каким-ниобудь чатом.

Списо­к сооб­щений на канале мож­но получить двумя способами: прог­рам­мно, через API Telegram и ручками, экспор­том спи­ска сооб­щений с помощью кли­ента.

Для этого в меню чата выбираем пункт «Экспорт».

После этого выбираем формат для экспорта и жмем «Сохранить».

Парсинг телеграм чатов

С чатами гораз­до инте­рес­нее. Вруч­ную вытащить спи­сок юзе­ров через стан­дар­тный кли­ент не получит­ся, раз­ве что сидеть с блок­нотом и руч­кой и выписы­вать всю инте­ресу­ющую информа­цию. Спо­соб не очень, так что при­дет­ся пос­мотреть в сто­рону род­ного API Телеграм или, если хотите упростить себе жизнь, на какую‑нибудь биб­лиоте­ку, нап­ример Telethon.

В Telethon есть фун­кция GetParticipantsRequest, которая получа­ет на вход некую сущ­ность (entity), а на выходе выда­ет спи­сок поль­зовате­лей.

Итак, поп­робу­ем скор­мить ей какой‑нибудь чат.

И пос­мотрим, что мож­но получить с помощью данной фун­кции:

Ча­ще все­го тре­буют­ся поля
id,
username,
first_name и
last_name,
phone. Кро­ме того, здесь еще и куча приз­наков:
bot,
verified,
scam,
fake,
photo,
status и т.д.

Как видите, информа­ция самая раз­ная. Некото­рые спе­циалис­ты по пар­сингу Telegram при этом умуд­ряют­ся заяв­лять, что им уда­лось получить толь­ко ID, а юзер­ней­мы с телефо­нами — за отдель­ные день­ги. Лов­ко, ничего не ска­жешь!

Те­лефо­ны, конеч­но, в этом спис­ке будут отоб­ражать­ся толь­ко в том слу­чае, если поль­зователь в нас­трой­ках не отклю­чил показ телефо­на всем.

Кста­ти, иног­да пред­лага­ют опре­делять еще и пол поль­зовате­ля. Таких дан­ных Telegram не пре­дос­тавля­ет и не име­ет. Мне извес­тно толь­ко два спо­соба получать эту информа­цию:

• ана­лизи­ровать юзер­ней­мы и име­на, про­гонять их по заранее соз­данной базе и делать, если воз­можно, какие‑то выводы. Если имя поль­зовате­ля, нап­ример, Карина, Юля или Алё­на, мож­но счи­тать его жен­щиной;
• ска­чивать все сооб­щения из чата для каж­дого поль­зовате­ля, вытас­кивать отту­да гла­голы и смот­реть, нас­коль­ко час­то они закан­чива­ются на бук­ву «а». Логич­но пред­положить, что у жен­щин таких слу­чаев будет гораз­до боль­ше, чем у муж­чин.

Оче­вид­но, что оба спо­соба не дают никаких гаран­тий и поз­воля­ют опре­делять пол лишь с некото­рой веро­ятностью и к тому же тре­буют допол­нитель­ных уси­лий.

Вни­матель­но прис­мотрев­шись к резуль­тату работы GetParticipantsRequest, мы уви­дим, что незави­симо от чис­ла учас­тни­ков чата и от парамет­ра
limit нам выда­ют мак­симум 200 поль­зовате­лей. Ког­да в груп­пе мень­ше 200 учас­тни­ков, это­го дос­таточ­но, но если их боль­ше, то при­дет­ся еще под­напрячь­ся.

Мои экспе­римен­ты с парамет­ром
offset показа­ли, что он нужен, что­бы ука­зывать сме­щение в спис­ке поль­зовате­лей. По умол­чанию это сме­щение рав­но нулю, но если орга­низо­вать цикл, на каж­дой ите­рации которо­го уве­личи­вать
offset, то будет ска­чивать­ся по 200 юзе­ров и мож­но пар­сить до бес­конеч­ности (ну или пока не закон­чатся все юзе­ры). Нап­ример, так:

Од­нако доволь­но быс­тро выяс­няет­ся, что фун­кция GetParticipantsRequest воз­вра­щает мак­симум 10 тысяч пользователей. Как уве­личить этот лимит, выяс­нить пока не уда­лось. Есть мне­ние, что это невоз­можно.

Па­раметр
filter поз­воля­ет задать кри­терии, которым дол­жны соот­ветс­тво­вать воз­вра­щаемые резуль­таты.

Есть сле­дующие вари­анты:

• ChannelParticipantsAdmins;
• ChannelParticipantsBanned;
• ChannelParticipantsBots;
• ChannelParticipantsContacts;
• ChannelParticipantsKicked;
• ChannelParticipantsMentions;
• ChannelParticipantsRecent;
• ChannelParticipantsSearch.

Тут уже мож­но экспе­римен­тировать: поп­робовать получить спи­сок всех адми­нов, нап­ример, или всех, кто онлайн. Пар­сить поль­зовате­лей в онлай­не — вооб­ще хорошая идея. Если делать это регуляр­но, то мож­но отсе­ять неак­тивных учас­тни­ков, которые добави­лись в груп­пку и забыли о ней.

Нас боль­ше все­го дол­жен заин­тересо­вать параметр ChannelParticipantsSearch, поз­воля­ющий искать поль­зовате­лей по юзер­ней­му или его час­ти. Давайте поп­робу­ем замутить цикл:

По­ясняю: мы взя­ли весь алфа­вит и переб­рали бук­вы, пыта­ясь най­ти пользователей, в
user_name которых она есть.

Смот­рим, что получи­лось:

Как вид­но, иног­да спи­сок резуль­татов содер­жит мень­ше 10 тысяч, и тог­да мы можем вытащить его пол­ностью, иног­да — боль­ше, и тог­да мы опять получим толь­ко пер­вые 10 тысяч. Одна­ко тест на груп­пе со 190 тысяча­ми юзе­ров поз­волил узнать дан­ные о 140 тысячах, а это уже немало!

На­вер­няка сущес­тву­ют и дру­гие спо­собы поиг­рать с филь­тра­ми и вытащить еще боль­ше людей из чата. Пусть это будет вам домаш­ним задани­ем.

Об­ратите вни­мание: этот спо­соб работа­ет нам­ного доль­ше, и пар­синг груп­пы с нес­коль­кими десят­ками юзе­ров может занимать до нес­коль­ких десят­ков минут.

Сох­ранять резуль­таты я рекомен­дую не в тек­сто­вый файл, а в какую‑нибудь базу дан­ных, нап­ример SQLite:

Так сра­зу отсе­ивают­ся дуб­ликаты, и потом будет нам­ного удоб­нее работать с получен­ными дан­ными: искать, сор­тировать, кон­верти­ровать.

Заключение

Итак, я вам показал, как извле­чь из чата информа­цию о 10 тысячах его учас­тни­ков, а с при­мене­нием филь­тров — гораз­до боль­ше. Нем­ного поэк­спе­римен­тировав, вы смо­жете написать скрип­ты, которые соберут нуж­ную вам информа­цию в удоб­ном виде.

Ес­ли вдруг зна­ете еще какие‑то инте­рес­ные методы по этой теме, не забудьте поделить­ся с нами в комм­ента­х!

РЕКОМЕНДУЕМ:

• Сколько стоит пробить человека
• Лучшие сайты для пробива людей