Сканфильтр. Скачивание и импорт объявлений в базу Квартал ПРО

[Akella]

Программа Сканфильтр антипосредник умеет разбирать объявления "на запчасти", т.е выделять из объявления некую информацию, например, тип объекта недвижимости, цену, телефоны, площадь, этажность, район, количество комнат - это называется синтаксический анализ текста или по простому - парсинг.
Поиск такой информации в тексте объявления осуществляется специальными функциями. Такие функции поддаются небольшой корректировке. Для чего корректировка. В одном городе стиль написания объявлений такой-то, а в другом свой. Т.е. как бы можно подстроить Сканфильтр.

Т.е. берём объявления в текстовом виде:

101   2-комн. кв., Алексеевка, ул. Ахсарова, 8/9, "полька", тел., 49/28/7, газ, балкон заст., жилое сост., код под., 36000 у. е. Тел. 775-21-20, 067 579-51-15.

и получаем (программа выполняет синтаксический анализ текстов объявлений):



Подробнее здесь>>>

Если у кого есть вопросы по этой теме - задавайте здесь, не стесняйтесь.


поисковые тэги:
анализ частных объявлений
фильтр телефонов
детектор телефонов
фильтр посредников
обработка объявлений
сканфильтр ключ кряк
программа скачивания объявления
Сканфильтр. Скачивание и импорт объявлений в базу Квартал ПРО

[kadik@bk.ru]

Очень бы хотелось чтобы программу можно было бы уметь "настраивать на структуру" импортного файла.



формат файла который они представляют для загрузки *.ads? при рассмотрении которого видим что это текстовый файл со своеобразной структтурой.

Как бы предусмотреть этот момент??

[Akella]

Этот момент уже учтён 
Ведётся доработка Сканфильтра на работу с профилями.

[Akella]

Отправьте пример такого файла в техподдержку.

[kadik@bk.ru]

link=topic=18.msg26#msg26 date=1249675796]
Отправьте пример такого файла в техподдержку.
[/quote]

...[quote author=Akella

[nataly-oz]

Здравствуйте Сергей, перед отправкой объявлений из скаанфильтра мы видим текст объявления,
когда я открываю квартал, поиск вижу объявления в таком виде

[Akella]

1. Включите для отображения колонку "Текст объявления". Как управлять таблицами - есть в документации к программе.

2. Какое отношение имеет данные вопрос по Кварталу к теме про Сканфильтр?

[nataly-oz]

Сергей в программе сканфильтр перед отправкой объявлений в базу появляется список, почему в объявлении стоит дом, а программа определяет тип квартира?
В объявлении написано п. Мелентьевка, программа определяет автозавод, в объявлении п.Тургояк определяет автозавод. И ещё хотелось бы чтобы программа по названию улицы определяла район.

[Akella]

почему в объявлении стоит дом, а программа определяет тип квартира?

Иногда немного сложнее определить тип объекта недвижимости.

Советую при выборе профиля выбирать не Универсальный, а конкретный профиль Квартира или Дома.

[Akella]

И ещё хотелось бы чтобы программа по названию улицы определяла район.

В программе нет связи между улицами и районами.

[Akella]

В объявлении написано п. Мелентьевка, программа определяет автозавод, в объявлении п.Тургояк определяет автозавод.

нужно рассматривать конкретные случаи, тем более Вы не хотите приводить полных текстов объявлений, а что там написано ещё, сами понимаете, отгадать сложно.

[nataly-oz]

выбрала профиль квартира получила 3 графа снизу видно дом, а тип стоит квартира. И ещё если я выбиру тип квартира и все квартиры пойдут в базу квартал, а дома как останутся не в базе?

[Akella]

3 графа снизу видно дом, а тип стоит квартира

Ну правильно, Вы же выбрали профиль Квартира?

[Akella]

Если у Вас в текстовых файлах все типы объектов недвижимости вперемешку, то конечно же выбирайте профиль Универсальный. Я думаю, что тут и так понятно для чего эти профили были созданы, разве нет?

[Akella]

А потом уже, где Сканфильтр неправильно определил тип или район, то выставляйте непосредственно в таблице предварительного просмотра, а потом только импортируйте в базу.

[nataly-oz]

почему тогда если я выбираю тип универсальный, некоторые дома определяются как квартира. Потом даже если я вручную исправлю, в базе они не показываются по улицам.

[Akella]

Я уже давал ответ

[nataly-oz]

Сергей попробуйте сделать так, чтоб объявления которые уже есть в базе можно было бы как то пометить.

[Akella]

Сначала нужно с улицами разобраться.

Вопрос в том,  зачем Вы обрабатываете Скафильтром и импортируете в Квартал одни и те же объявления?

[nataly-oz]

Выходит новая газета, некоторые объявления повторяются, люди дают объявы пока не продадут квартиру, поэтому бывает что повторяется

[Akella]

Ясно. Будем думать.

[Akella]

Обращайте внимание на этот пункт: http://makeit-team.com/kvxandscanfilter.html#supertype

Многие читают документацию "по диагонали", а потом говорят, что у них ничего не получается и в Квартале не те данные, которые они импортировали через Сканфильтр, или не все данные, или не там отображаются. В общем обращайте внимание, какой тип выбираем программа Сканфильтр в окне предварительного просмотра.

[Akella]

nataly-oz, для Вас предлагаю небольшую инструкцию, чтобы Сканфильтр более точно и правильно определял типы объектов недвижимости при синтаксическом анализе.


Исходя из текстов Ваших объявлений:

1-комн. `брежн.` по ул. Уральской, 1 (4/5, балкон, жел. дверь, космет. ремонт) -- 850 т. р. Варианты обмена. Тел.: ...
1-комн. `сталин.` (точнее полуторку) по ул. Калинина, 33 (кирп. д., без балкона, жел. дверь, душ. кабина, кухня 8 кв. м, квартира уютненькая, в тихом дворе, центр автозавода)....

Можно выполнить следующее:


1. Откройте общие справочники в программе Квартал (меню "Справочники/Общие справочники...").
2. Зайдите на вкладку Типы и создайте 2 типа "хрущевка",  и "сталинка" у супертипа КВАРТИРЫ, если они ещё не созданы:



3. Теперь выберите тип "хрущевка" и перейдите вниз, в таблицу уточняющих типов.


4. Создайте здесь несколько записей типа "1-комн. `брежн." без кавычек:






5. Теперь тоже самое и для сталинок:




6. Теперь скачайте zip-архив из этого сообщения (я прикрепил файл uni_profile.zip к сообщению), распакуйте этот архив, там будет 1 файл - "Универсальный.regs". Это профиль "Универсальный". Скопируйте файл "Универсальный.regs" с заменой в папку \Мои документы\Сканфильтр\ProfilesParsing\




7. Запустите Сканфильтр и попробуйте обработать текстовый файл, удалите лишнее, а потом выполните синтаксический анализ. У меня вот что получается:




Как видите, Сканфильтр правильно определил типы.

[Akella]

Теперь по поводу района "автозавод".
Вы писали, что у Вас Сканфильтр неправильно определяет районы, и указывает автозавод, вместо реального района.
Я бы на Вашем месте для начала, потратив совсем немного времени, просто проанализировал тексты таких объявлений, что я и сделал.


В них часто встречается слово "автозавод" или "автозаводе".
Также в Вашем справочнике районов присутствует район под названием "Автозавод".

Я надеюсь, что Вы догадались теперь в чем дело 


Совет. Переименуйте район в справочнике, или перед началом обработки с помощью текстового редактора, например, в Блокноте, сделайте замену слова "автозаводе" на другое, например, на "авто-заводе" или вообще на пустоту, чтобы Блокнот удалил это слово:







Но есть вероятность того, что Сканфильтр теперь перестанет корректно определять район у тех объявлений, которые реально относятся к району "Автозавод". Тут уж ничего не поделаешь. Кто ж виноват, что люди  именно так подают объявления.

[nataly-oz]

Сергей спасибо за проделанную работу, у меня была мысль, что надо несколько вариантов написать в районах подтипы, теперь поэкспериментирую на неделе.